「机器造梦」：合成数据——AI 训练的「第二口粮」

（本文为中文深度解读。点击右上角 中 / EN 按钮可切换查看英文概要）

从「数据红利」到「数据荒」：AI 快吃不动互联网了

过去十几年大模型突飞猛进，底气来自一个简单前提：互联网上有取之不尽的高质量文本。这个前提正在松动。研究机构对公开语料的测算引发过广泛讨论：公开网页、书籍、论文、代码这类高质量数据的增速，已经明显跟不上大模型参数膨胀的速度，「数据墙」的说法自此成为行业里的高频词。

• 高质量语料早被「扫」过多轮：维基、论文库、开源代码这些金矿，新模型基本是反复精炼着吃，老料新炒。
• 新增数据质量参差：短视频、营销号、AI 生成内容占比上升，「真人写的长文」反而越来越稀缺。
• 版权与合规收紧：越来越多网站限制爬虫，数据获取的合规成本逐年走高。

合成数据是什么：AI 自己出的「模拟卷」

合成数据，顾名思义，就是由模型或程序生成、再拿去训练另一个（或自己下一代）模型的数据。一个贴切的比喻：真题是历年真卷，合成数据就是按真题风格出的模拟卷——不是原题，但练的是同一种能力。

• 文本类：指令微调的问答对、带解题步骤的数学题、代码题与测试用例。
• 偏好类：同一问题的好坏两个回答，用来做对齐训练（RLHF/DPO 的对比样本）。
• 仿真类：自动驾驶的虚拟路况、机器人的模拟抓取环境，现实中采不到或太贵的数据。

三条主流路线：蒸馏、自举、仿真

工业界生成合成数据，主流是三条路线，各有各的适用场景：

路线一：蒸馏——大模型当老师

让能力强的「教师模型」批量生成答案，再用这些答案训练小模型。小模型学到的不只是答案，还有老师的解题思路。这也是开源小模型快速追赶的常用手段：站在巨人肩膀上「抄作业」，但抄的是方法论。

路线二：自举——自己给自己出题

模型自己生成指令、自己作答，再用程序化规则筛选（比如代码题直接跑测试，数学题对答案），只留下验证正确的样本。Self-Instruct、拒绝采样（rejection sampling）都是这个路数：把「可验证」作为质量的第一道闸。

路线三：仿真——在虚拟世界里「刷经验」

自动驾驶、机器人这类领域，真实数据又贵又危险，仿真环境可以无限生成极端场景（暴雨夜路、行人突然闯入）。仿真数据的优势是标注天然准确、长尾场景可控；短板是「仿真到现实的鸿沟」，虚拟里练的功夫到现实可能打折。

路线	做法	优点	短板
蒸馏	大模型生成，小模型学	见效快，成本低	上限被老师封顶；版权争议
自举	自己出题+程序化筛选	质量可控，可验证	只适合有客观答案的任务
仿真	虚拟环境批量生成	长尾场景无限，标注准确	仿真到现实的鸿沟

代价与风险：「模型崩溃」不是危言耸听

合成数据最大的争议，来自 2024 年发表在《自然》上的一项研究：当模型连续多代只在「自己生成的数据」上训练，会发生「模型崩溃」（Model Collapse）——输出分布逐渐塌缩，罕见但重要的尾部知识最先丢失，模型越练越「平庸化」、越来越像复读机。

• 多样性流失：模型倾向于输出「平均脸」答案，小众观点、方言、长尾知识被系统性抹掉。
• 错误放大：模型偶尔的幻觉一旦被当作训练数据喂回去，下一代会把它当「真理」巩固下来。
• 反馈污染：网上 AI 生成内容占比上升，下一代模型爬到的数据里「合成料」越来越多，形成闭环。

好消息是：研究同时指出，只要训练数据里保留足够比例的真实人类数据作为「锚」，崩溃可以大幅缓解。合成数据的正确姿势从来不是「替代」，而是「补充」。

工业界的「质量闸门」：合成数据怎么用才安全

头部实验室今天的共识是：合成数据可以用，但必须过闸。常见的五道闸门：

• 过滤：用分类器、规则和人工抽检三层筛掉低质、重复、有毒样本，宁缺毋滥。
• 保多样性：刻意用高温度采样、多样化提示词、多个不同模型生成，避免「一言堂」。
• 真人数据做锚：混合训练时真实数据保底，合成数据做增量，比例靠评测曲线定。
• 评测驱动：每加一轮合成数据就跑一遍基准评测，指标不涨反降立刻回滚。
• 来源标注与去重：记录每条数据的生成链路，避免同一批料被反复计入。

小团队落地法：低成本合成数据四步

没有大算力、买不起标注团队，小团队也能吃到合成数据的红利，关键是选对任务、四步走：

1. 定任务：优先选「有客观校验标准」的任务——代码、数学、客服问答（有标准答案库），避开纯主观的创意写作。
2. 生成：调用现成大模型 API 批量生成「问题+答案」，提示词里要求给出解题步骤，方便后面校验。
3. 校验：程序化为主（代码跑测试、数学对答案）、人工抽检为辅，目标是把错误率压到可接受线以下。
4. 混合训练：先小比例混入真实数据，看评测曲线再决定加不加量；永远保留一份纯真人数据的对照组。

常见问题 FAQ

合成数据和「数据增强」有什么区别？

数据增强是对已有真实数据做变换（裁剪、改写、同义替换），不创造新知识；合成数据是从零生成全新样本，可以补上真实数据里根本没有的长尾场景。两者常配合使用。

模型崩溃真的会发生吗？是不是理论吓唬人？

在「连续多代、纯合成数据递归训练」的实验条件下确实被观测到（2024 年《自然》论文）。但实践中只要保留足够比例的真实数据做锚、做好过滤，风险可控。它更像一个警示牌，而不是禁行令。

用合成数据能绕开版权问题吗？

不能简单绕开，这是灰色地带：如果教师模型本身是在版权语料上训练的，蒸馏产物的法律地位仍有争议。稳妥做法是走授权数据、公开数据或自有业务数据这条路，重要项目先做合规评估。

小团队没有大算力，能用合成数据吗？

可以。最低成本路径是「调用现成大模型 API 生成 + 程序化校验」，不需要自己训练大模型。很多团队用这套方法把客服、代码补全这类垂直任务的数据量翻了几倍，成本只有人工标注的零头。