05 · 服务

私有 AI 实验室

私有模型,经过实测;再加上让模型真正属于您的数据与评测。 当数据不能离开您的基础设施时,模型就必须来到数据所在之处。我们在您的硬件上挑选、量化并部署开放模型,构建能证明其效果的数据集和评测集,并在我们自己的工厂所依赖的开源项目中参与上游工作。

问题所在

公共部门、医疗和金融领域的数据往往不能交给云端模型。而一个在排行榜上表现亮眼的开放模型,在您的任务上仍可能失败。您需要一个适配您硬件的模型、一份实测的服务配置,以及来自您自身领域的测试数据,用来在智能体依赖它之前证明模型是否足够好。

我们交付什么

  • 根据您的任务、数据规则和硬件选择模型,用您的案例测试,而不是看排行榜
  • 开放模型的优化与量化,附实测的服务配置:内存、速度、质量
  • 在您的基础设施中进行私有部署,并在其上配置智能体与访问控制
  • 数据集与评测:领域训练数据与合成训练数据,数据整理与质量过滤
  • 每个模型、每次更新都必须通过的评测集和回归关口
  • 开放模型的 LoRA 微调,前提是您的评测表明它优于提示词调优良好的基础模型
  • 上游开源工作:在我们依赖的项目中报告并复现问题、提出功能建议

如何推进

审计 → 构建 → 长期服务:每项服务都走同一条生产线,并针对本服务量身调整。每个阶段结束后,由您决定是否继续。

  1. 01

    审计

    数据规则、硬件、用例和第一套评测集:哪些模型是候选,以及对您的任务来说“足够好”意味着什么。

  2. 02

    构建

    模型构建与服务配置、私有部署、数据集与评测集;在评测证明值得的地方进行 LoRA 微调。

  3. 03

    长期服务

    新的开放模型一出现就用您的关口测试,更新以发布形式推出,评测集随真实案例持续扩充。

相关行业

以下是本服务与我们深度熟悉的行业的交汇点。

常见问题

我们的数据可以留在企业内部吗?

可以。当数据不能离开您的基础设施时,我们基于本地和自托管模型构建,并严格限定智能体可访问的每一个工具。

你们做模型微调吗?

我们把开放模型的 LoRA 微调作为服务提供,前提是评测表明它优于提示词调优良好的基础模型。我们公开的 Qwen3-4B LoRA 适配器是在我们自己的合成数据集上微调得到的;其他公开模型是现有开放模型的量化构建版本,并非微调模型;我们始终会说明哪个是哪个。

我们需要什么硬件?

这取决于模型和负载,因此每个构建都附有实测的服务配置。举一个我们已发布构建中的例子:一个 1250 亿参数的混合专家模型,可在一台约 40 GB 内存的 Mac 上运行。

为什么要构建自己的评测集?

因为公开基准并不了解您的文档、规则和语言。几十个已知正确答案的真实案例,就能很快看出一个模型是否足够好,并成为之后每次更新的回归关口。

用 30 分钟把事情谈清楚。

带上一个流程和您的技术栈。我们会做好准备,坦诚告诉您智能体是否值得投入,以及哪项服务是合适的起点。