文 | 王方玉快播伦理电影网

剪辑 | 苏建勋

12 月 7 日北京时间凌晨两点，OpenAI 公司带来了一语气 12 天发布会的第二场直播。

本次直播中，OpenAI 带来了新的有磋磨——强化微调（Reinforcement Fine-Tuning）。该有磋磨和功能瞻望将于 2025 年认真推出。

强化微调是一种全新的模子定制圭臬，它将一个预检修好的通用模子，通过在特定领域的小界限数据集上进一步检修，使其适合特定任务的技巧。浅显来说便是在一个"学过好多东西"的大模子上快播伦理电影网，再让它针对某个具体任务"要点熟悉"，让它更得算作念这件事。

OpenAI 高管先容称，强化微调不错将大型谈话模子从"高中水平"擢升至"博士级民众"的能力，妥当高校、盘考东谈主员和企业打造私有的 AI 治理有磋磨。举例 OpenAI 正在与汤森路透配合，打造专属于该公司的法律专科模子。

莫得参与本场直播的 OpenAI CEO Sam Altman 在酬酢媒体表上："效力一级棒，是我 2024 年最大的惊喜，期待看到东谈主们构建什么！"

"强化微调让行业民众大模子的杀青变得容易了。"一位 AI 大模子专揽企业的首创东谈主告诉 36 氪，这是一项和世俗用户相关不大，但对专科领域责任者很有价值的新有磋磨。

直播现场，OpenAI 展示了一个典型的案例——凄凉遗传病盘考。

OpenAI 与伯克利本质室和德国 Charit é 病院的盘考东谈主员配合，使用强化微调检修 GPT o1 Mini 模子。该模子学会了灵验推理凄凉疾病的成因，并在性能上特出了更大的 GPT o1 模子，展示了其在会诊和衔接复杂病情方面的后劲。

值得一提的是，强化微调与此前的微调神志有着权臣各别。与传统微调不同，强化微调并不是浅显地让模子"记取谜底"，而是通过检修模子在特定领域中学会推理，找到正确谜底。

具体来说，强化微调有两个不同数据相聚，一个是微调数据集，一个是测试数据相聚，模子先基于微调数据相聚去检修，然后用测试数据相聚考据，反复自我推理检修考据，最终达到很高的水平。因而强化微调不错杀青在数据量有限的情况下（巧合仅需几十个样本）也能杀青权臣性能擢升。

不外，强化微调有磋磨现在仍处于盘考预览阶段，OpenAI 筹备在 2025 年全面推出。

现在 OpenAI 正邀请盘考机构、大学以及企业参与强化微调盘考筹备。OpenAI 但愿与安稳分享数据集的组织配合快播伦理电影网，进一步优化模子性能。