开发者中心 · StartAI

🧰

开源工具箱

按功能分类，标注协议与大模型依赖

⌕

🌲

自训练决策树

要不要自己训练模型？按这个流程判断

你有什么数据？

数据是判断是否需要自训练的核心依据。有私有数据才值得折腾训练，否则直接用 API。

没数据直接用 API，RAG 也用公开数据。别浪费钱自训练。 ¥0

有私有数据先试试 RAG + API，能解决 80% 的问题。省钱、见效快。 ¥数百/月

你的场景是什么？

不是所有场景都值得训练。通用能力（对话、写作、翻译）API 已经很强。

通用对话直接调用 API，训练边际收益为 0。 ¥0

垂直领域法律、医疗、金融、代码——可以尝试微调，让 AI 懂你的术语和规范。 ¥数千~数万

风格/行为控制需要模型按固定格式、语气、流程输出 → LoRA 微调效果最好。 ¥数千

需要完全自主数据安全要求极高、不能调用任何外部 API → 必须自部署 + 微调。 ¥数万~数十万

你的预算多少？

训练成本差异极大，从几百到几十万都有可能。按预算选路径。

< ¥1万/年别自训。用 API + RAG，足够跑通业务。攒够用户再考虑训练。 ¥0~500/月

¥1~10万 LoRA 微调，消费级 4090 可行，数据量 1K~10K 条对话。 ¥1~10万

¥10万+ 全参数微调 / 从头训练。需要 A100 集群，周期数周~数月。 ¥10万+

你的技术储备够吗？

训练不是「装个包」那么简单，需要分布式训练、显存优化、评测pipeline。

不太熟先用 Dify + RAG 跑通产品。效果好再考虑微调，技术债更小。建议先 RAG

会用 Python 可以用 LLaMA-Factory 做 LoRA 微调，门槛低很多。可尝试 LoRA

有 ML 经验可以搞全参数微调，框架选 DeepSpeed + Megatron-DeepSpeed。可全参数微调

训练完之后呢？

训练只是第一步，推理部署才是持续成本。

推理成本 LoRA 微调后的模型，推理成本和原模型相同。用 vLLM 部署，显存优化可省 30%。持续成本

评测不能省训练后必须用 OpenCompass 或 lm-evaluation-harness 评测，避免「感觉好了但实际更差」。必做

迭代机制建立数据飞轮：用户使用 → 收集 bad case → 定期重训 → 持续提升。长期运营

🖥️

GPU 服务器选购

国内 + 海外主流平台，按场景推荐

服务商	显卡	价格区间	优点	缺点	适合场景
AutoDL	4090 / 3090 / A100	¥0.6~2.4/时	最便宜	需抢机器	个人实验、短期跑图
优云智算	4090 / A800 / H100	¥1.6~15/时	性价比高、4090 便宜	品牌较小	深度学习、长期部署
阿里云	A10 / T4 / V100	¥3~20/时	稳定、大厂可信	贵	企业级、长期项目
腾讯云	A10 / L40 / H800	¥4~18/时	生态好、国内合规	GPU种类少	国内企业应用
潞晨云	H100 / A100	按量计费	超大规模、Colossal-AI	价格高	大模型训练、并行训练
Google Colab	T4 / V100	免费 ~ ¥80/月	免费、有 T4	不稳定、需翻墙	尝鲜、快速实验
RunPod	4090 / A100 / H100	按秒计费	海外生态好、ComfyUI镜像	需信用卡	生图、视频、Stable Diffusion
Vast.ai	4090 / A100	¥0.8~3/时	价格低、竞价实例	文档少、需技术排查	预算有限、有经验开发者

模型 × 显存需求对照表

Qwen-7B / Phi-3

16GB · RTX 4060 Ti 够用 ✅

Qwen-14B

28GB · 4090 24G 勉强（需量化）

Qwen-32B / DeepSeek-33B

64GB · A100 40G / 2×4090

Qwen-72B / DeepSeek-V3

140GB+ · 8×A100 80G

Llama-70B

145GB+ · 8×A100 80G

⚡

快速开始

三步跑起来

选一个 API

国内推荐硅基流动（DeepSeek/Qwen，便宜稳定）或智谱 Flash（免费额度）。

# 硅基流动示例
OPENAI_API_BASE=https://api.siliconflow.cn/v1
OPENAI_API_KEY=sk-xxxxxxxx

# 智谱AI示例（免费额度）
OPENAI_API_BASE=https://open.bigmodel.cn/api/paas/v4
OPENAI_API_KEY=xxxxxxxx

选一个框架

5 分钟上线用 Dify。想深度定制用 LangChain + FastAPI。零代码用 Coze。

# Dify 一键部署
docker run -d -p 80:80 -v ~/.dify:/data ghcr.io/dify-ai/dify-ce

# LangChain + FastAPI
pip install langchain langchain-openai fastapi uvicorn

写 10 行代码

用 Python 调用 OpenAI 兼容接口，3 种方式任选。

# 方式1: OpenAI SDK（最推荐）
from openai import OpenAI
client = OpenAI(api_key="sk-xxx", base_url="...")
resp = client.chat.completions.create(
    model="deepseek-chat",
    messages=[{"role":"user","content":"你好"}]
)
print(resp.choices[0].message.content)

⚖️

合规与备案

国内开发者必须了解的规则

Q: 需要算法备案吗？

日活超过 100 万的生成式 AI 应用，或面向公众提供服务的深度合成技术，需要向 CAC（国家互联网信息办公室）备案。备案地址：beian.cac.gov.cn

Q: RAG 算不算生成式 AI？

接入别人模型 + 检索已有数据，不算训练，不强制备案。但如果用自己的数据对模型做了深度改造，或做 fine-tuning，则可能需要。

Q: 境外模型 API 能直接用吗？

企业级使用需评估合规风险，个人开发者目前暂无明确限制。建议优先使用国内合规平台（百度千帆、阿里云百炼、腾讯混元、智谱 GLM）。

Q: 数据隐私有什么要求？

遵守《个人信息保护法》《数据安全法》，收集用户数据需明确告知并获同意，不得用于未经授权的用途。用户对话日志建议脱敏处理。

Q: AI 生成内容需要标识吗？

是的。依据《互联网信息服务深度合成管理规定》，AI 生成的文本、图片、视频需添加显著标识，不得误导用户以为是人类创作。

Q: 训练数据有版权风险吗？

使用未授权数据训练存在侵权风险。商业项目建议使用开源数据集（CC 协议）或自有数据。Llama 3 / Qwen 等开源模型本身已解决训练数据合规问题。

Build withOpen Source