微软的 Phi-3：在 iPhone 上运行的 ChatGPT 挑战者

微软 Phi-3：移动聊天 GPT 挑战者？OpenAI 已发出通知！

微软刚刚发布了全新的 Phi-3 系列小型语言模型，这在人工智能领域引发了轰动。这些模型专为在移动设备上运行而设计，其功能强大，甚至可以与 OpenAI 的 GPT-3.5 相媲美。

微型泰坦：Phi-3-mini

即使只有 38 亿个参数，Phi-3-mini 在众多基准测试中的表现也优于 Llama 3 (8B)。这款针对移动部署进行了优化的模型可以在 iPhone 14 Pro 和 iPhone 15 中的 Apple A16 芯片上以每秒 12 个令牌的速度运行。这意味着现在可以直接在手机上获得 ChatGPT 级别的体验！

不仅仅是迷你：

微软并没有止步于“迷你”版本。他们还发布了支持多语言的 Phi-3-small（7B 参数）和 Phi-3-medium（14B 参数），后者在大多数测试中都超越了 GPT-3.5 和 Mixtral 8x7b MoE。未来计划推出更大的“Phi-3-large”。

数据优势：成功的关键

微软的秘密武器是什么？数据。他们发现，单纯的参数大小并不是一切；精心策划的训练数据会带来巨大的不同。Phi-3 利用大型语言模型本身生成的合成数据，以及经过严格筛选的高质量数据。这种“教科书就是你所需要的一切”方法可以在较小的模型中带来显著的性能提升。

大规模训练数据：

Phi-3-medium 经过了 48 万亿个 token 的训练，强调教育性和事实性内容，而不是嘈杂或不相关的信息。这种数据改进，结合独特的指令微调和 RLHF 训练，产生了令人印象深刻的对话能力和安全措施。

局限性和未来展望：

虽然 Phi-3 表现出了非凡的能力，但小型模型仍然存在局限性。它们存储大量知识的能力受到限制。微软承认这一点，并建议整合搜索引擎以进行事实核查和知识扩展。

Phi-3 的前景一片光明。微软致力于进一步增强其多语言功能、安全功能和整体性能。

OpenAI 面临压力？

由于 Phi-3 在某些领域超越了 ChatGPT，OpenAI 面临着推出 GPT-3.5 继任者的压力。这一开源进步可能会极大地重塑人工智能格局，让每个人都能使用强大的模型。