为什么deepseek的回答里会说自己必须要符合openAI的政策?

为什么deepseek的回答里会说自己必须要符合openAI的政策?。套个公式:DeepSeek可能蒸馏了ChatGPT的数据,但DeepSeek套壳ChatGPT不太可能。大模型混淆自我身份认知无非几种可能,一是直接API套壳,二是训

为什么deepseek的回答里会说自己必须要符合openAI的政策?。

套个公式:DeepSeek 可能蒸馏了 ChatGPT 的数据,但 DeepSeek 套壳 ChatGPT 不太可能。

大模型混淆自我身份认知无非几种可能,一是直接 API 套壳,二是训练中蒸馏模型或利用了其他模型输出的合成数据,三是角色扮演,四是模型幻觉说错了,因为有时也未必故意蒸数据,现在互联网抓取的合成数据很多,可能是混杂的数据没清洗干净。

前段时间有一篇论文[1],研究大语言模型的蒸馏量化。从论文中的结论来看,除了 Claude 和豆包,其他各家多少都蒸馏了模型数据:

为什么deepseek的回答里会说自己必须要符合openAI的政策?

豆包发布 1.5 Pro 还专门强调了自己「不使用任何其他模型的蒸馏数据,确保数据来源的独立性和可靠性。」

Sam Altman 之前也阴阳说「复制一些已有的工作相对容易」[2],被很多人解读为是在批评 DeepSeek,也有很多人猜测

为什么deepseek的回答里会说自己必须要符合openAI的政策?

但是我个人还是支持 DeepSeek,原因有二,其一是 DeepSeek 开源,且在 AI Infra 和算法上有所创新,属于是在帮 OpenAI 体面;其二是蒸馏模型、合成数据会使模型性能下降,而 DeepSeek R1 表现足够惊艳。

比如有一个新的测试集,叫做人类最后的考试(HLE):

HLE 包含 3000 道题目,涉及数学、人文学科和自然科学等多个领域,是由全球各学科专家共同开发的,题目包括适合自动评分的选择题和简答题。该测试集处于人类知识的最前沿,旨在成为该类型的最终封闭式学术基准,并且覆盖广泛的学科领域。

在这个测试集上,GPT-4o 和 Claude 3.5 Sonnet 分别获得了 3.3% 和 4.3% 的正确率;而 o1 和 DeepSeek-R1 获得了 9.1% 和 9.4% 的正确率(R1 是文本模型,所以没有测试多模态题目):

为什么deepseek的回答里会说自己必须要符合openAI的政策?

但依然可以看出,R1 的能力是能持平甚至略优于 o1 的,所以 R1 即便蒸馏了一些 o1 的数据,也肯定有自己的数据和方法。

更何况,OpenAI o1 是隐藏自己 CoT 过程的,API 中的只计费,不可见:

为什么deepseek的回答里会说自己必须要符合openAI的政策?

而 DeepSeek R1 则大方地提供了生成的 CoT 数据:

为什么deepseek的回答里会说自己必须要符合openAI的政策?

总之,作为用户,我不会纠结所谓 DeepSeek 套壳 OpenAI 的猜测,只希望 DeepSeek 加大力度,给大家带来更平价好用的模型。

本文转载于MSN,文章来源于知乎作者:段小草,文中观点仅代表作者本人,本站仅供信息存储

本站部分文章来自网络或用户投稿,如无特殊说明或标注,均为本站原创发布。涉及资源下载的,本站旨在共享仅供大家学习与参考,如您想商用请获取官网版权,如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
科技资讯

使用Cline+deepseek实现VsCode自动化编程,吃着火锅就把代码写完了

2025-1-26 17:36:57

投稿

奔驰电动车eqc纯电suv价格图片(奔驰eqc纯电动suv2022款价格)

2023-1-23 23:04:49

搜索