异军突起的小模型，有多大想象空间？
2023-12-1511:09
模型层进入“平台期”的当下，小模型的出现，无疑为市场打开了新的可能。
大模型之战进入到今日，许多开发者都面临着一个共同的挑战：如何在保证高性能的同时，降低资源和算力的需求？这一困境在端侧应用尤为明显，因为许多设备和应用场景对计算能力和存储空间有严格的限制。这无疑大大制约了大模型在各种设备和场景中的普及。如何突破这一桎梏，实现性能与资源的完美平衡，从而打开潜在的市场？近期，一些小型模型，如 Mistral AI 推出的 Mixtral8x7B 和微软发布的 Phi-2，提供了一个可能的解决方案。
这些小模型在参数规模上相对较小，但在性能上却表现出了惊人的实力，甚至在某些方面超越了 Llama2 等规模更大的竞争对手。而这也意味着，套在很多场景上的“参数枷锁”，也将有望被打破。一个新的增量市场，已经呼之欲出。从技术上说，Mistral 和 Phi-2 的特点就是一个词：短小精悍。Mistral 8x7B 由来自欧洲的 Mistral AI 打造，采用了稀疏混合专家模型（SMoE）技术，结合了多个针对特定任务训练的较小模型，提高了运行效率。
在许多基准测试中，Mistral 8x7B 的性能已经达到甚至超越了规模是其 25 倍的 Llama2 70B。而微软推出的 Phi-2 虽然规模更小（仅 27 亿参数），但得益于“教科书质量”数据的训练，以及学习其他模型传递的洞见的技术，目前已在某些基准测试中超过了更大的模型，如 70 亿参数的 Mistral 和 130 亿参数的 Llama2。
Mistral 7B 在所有基准测试中超越了 Llama2 13B那么，这些异军突起的小模型，将会给已进入“平台期”的模型层，带来怎样新的想象？具体来说，针对目前大模型的种种局限，小模型至少在两个方面实现了逆袭。其中一个方面，就是其横向扩展了模型的使用范围，打开了之前因资源、算力而被束缚的市场。以手机市场为例，根据 Statista 的数据，2021 年全球智能手机用户数量已达到约 39 亿。由于手机设备上的内存和计算能力有限，为了平衡内存占用、执行速度和功耗，目前手机厂商普遍采用端云协同的解决方案，但这并非长远之计。对于手机厂商来说，使用云端资源会产生额外的成本。随着用户规模的扩大，这些成本可能会不断增加，从而限制了其盈利规模的上限。
因此，最好的选择，就是能让手机在本地就能运行一款参数不大，但性能又能与云端大模型媲美的小模型。同样地，在一些需要快速部署，实现实时响应的边缘场景，例如自动驾驶、物联网（IoT）中，实时决策和数据处理就显得至关重要。根据 ResearchAndMarkets 的报告，全球自动驾驶汽车市场规模在 2020 年达到了约 558 亿美元。预计到 2027 年，这一数字将增长至约 5,260 亿美元。目前的车载计算平台，如英伟达的 DRIVE AGX Orin，计算能力是 254 TOPS（每秒 254 万亿次操作），在高速公路等相对简单的场景中，由于数据量和计算复杂度较低，其算力并不是很吃紧。然而，在更复杂的城市驾驶场景中，自动驾驶系统需要处理更多、更复杂的数据和任务，如实时检测和识别各种障碍物、预测其他道路用户的行为、规划安全路径等。
在这种情况下，有限的算力，就会限制自动驾驶的进一步普及。Mistral 和 Phi-2 这类小模型由于其较小的模型体积和较低的计算需求，可以在这些有限资源下高效运行。因为车载系统需要在有限的能源和散热条件下运行，而较低的计算需求还有助于提高处理速度，实现实时决策和响应。这一点对于推动自动驾驶和智能座舱技术的发展具有重要意义。除了打通原先被限制的市场外，Mistral 和 Phi-2 这类小模型的另一大逆袭之处，就是其与 Agent 的关系。Mistral AI 的 CEO Arthur Mensch 曾言：让模型变小一定会有助于 Agents 的开发和应用。而在模型层鲜有重大突破的今天，越来越多的人已经意识到：Agent 就是大模型的未来。对比 AI 与人类的交互模式，目前已从过去的嵌入式工具型 AI（例如 Siri）向助理型 AI 发展，目前的各类 AI Copilot 不再是机械地完成人类指令，而是可以自动化地完成各种人类工作流，如果说 Copilot 这类生成式 AI 是“副驾驶”，那么 Agent 则可以算得上一个初级的“主驾驶”。
比尔·盖茨曾言：在计算行业中，平台是应用程序和服务构建的基础技术。Android、iOS 和 Windows 都是平台的例子。而 Agent 将成为下一个平台。到了那时，要创建一个新的应用或服务，你不需要掌握编程或图形设计技能。Agent 将能够帮助处理几乎所领域的事务。那么 Arthur Mensch 为什么会断言小模型一定会有助于 Agents 的开发和应用？这里主要有两个原因：一是推理成本，二是模型复杂度。在推理成本方面，除了绝对数值外（即每 1000 个 Token 的成本），更重要的，是模型的推理预算与实际效能之比。从目前的情况来看，Mixtral 拥有 46.7B 的总参数量，但每个 token 只使用 12.9B 参数，也就是说，Mixtral 的实际执行速度和所需的成本和一个 12.9B 的模型相当。下图展示了官方公布的模型生成质量与推理消耗成本的关系，与 Llama2 相比，Mistral7B 和 Mixtral8x7B 表现出自己高能效的优势。
这意味着，与大模型相比，在保持高效能的情况下，Mixtral 这类小模型通常需要更少的计算资源和时间来进行推理，因此更加适合用于实时交互和在线学习。其次，小模型也有助于 Agents 的开发和应用，因为它们通常具有更低的模型复杂度，更容易被理解和调试。Arthur Mensch 对此谈到：当人们走向一个 Agents 和 AI 交互的世界，系统的复杂性也会因此大幅增加。这种高度复杂的情境可能导致崩溃（Collapse），即机器学习中的一种一切都停滞不前的状态，如果没有足够的自组织和解决问题的意愿，人们可能无法有效地应对和管理这些挑战。为了解决这个问题，需要在设计和实现 AI 系统时充分考虑系统的可扩展性、模块化和可解释性。而小模型通常具有更简单的结构和更少的参数，这使得具有更好的可调试性，从而便于让开发人员更容易理解和控制模型的性能，从而更快地将 Agents 推向市场。在模型层市场被少数头部企业左右的当下，小模型的出现，无疑为市场打开了新的可能。从总的态势来说，之后的模型层竞争中，小模型可能会对大模型形成一种“农村包围城市”的态势。“农村”象征着小模型主要占据的应用领域。这些领域通常包括资源受限的环境，如物联网设备、智能家居、移动设备和边缘计算场景。在这些领域，小模型的灵活性、低成本和低能耗等特点使它们具有竞争优势。此外，小模型在定制化和迁移学习方面的优势，使它们能够更好地适应各种细分市场和特定任务。“城市”则象征着大模型主要占据的应用领域。这些领域通常包括计算资源丰富、对性能要求较高的场景，如数据中心、云计算和高性能计算环境。
在这样的态势下，凭借着细分市场的优势，以及开源社区的协作和共创，小模型在性能上会不断迭代，并逐渐对大模型主导的领域形成一种“钳制”的优势。这种关系，类似于农村为城市提供粮食等资源，维持城市的正常运行。在 AI 领域，大模型在特定领域的优化和提升，将愈发难以脱离小模型提供的实践场景和技术支持。而面对这样的态势，头部的大模型企业，自然也不甘被钳制，因此，这些大厂可能的应对之策之一，是通过蒸馏（Distillation）或者合成数据（Synthetic data generation）等技术来训练出质量更高的小模型。或者更简单粗暴一些，直接将小模型团队收购、兼并，为己所用。在这样的情况下，未来小模型领域，怎样的企业更有可能胜出？就大小模型的差异而言，小模型并不像大模型一样，需要庞大的算力、数据作为支撑，在这个领域，更考验的是对技术的理解，以及深厚的理论基础。因此，将来在小模型领域，更有可能脱颖而出的团队，应该会是那些具有强大学术、技术背景，且一线研究者、技术人员具有更大话语权的企业。例如这次的 Mixtral 的团队 Mixtral AI， 就是由 DeepMind 和 Meta 的三位青年科学家建立。
联创三人，Arthur Mensch，CEO，前 DeepMind 研究科学家；Guillaume Lample，首席科学家，前 Meta 研究科学家，Llama 项目带头；Timothee Lacroix，CTO，前 Llama 工程带头。在创立 Mistral 前，Arthur Mensch 在 DeepMind 任职，并主导了 LLM、RAG、多模态三个领域最重要的论文，十分全能。对一线研究者而言，唯有自由地践行自己的技术构想，在初期不过多地被资本干涉与左右，才更有可能做出亮眼的成果。
一封邀请信：
您好！诚邀您加入我们的 AI 精英俱乐部，这是一个永久免费但门槛较高的、聚集 AI 精英与爱好者的专业组织。我们致力于推动 AI 技术在投资领域的应用，为成员们提供一个共享和交流的平台，促进互相学习和合作，共同探索 AI 技术在投资中的无限可能性。
作为成员，您将有机会与世界各地的 AI 专业人士互动，分享您的知识和经验，以及从他们那里学习到更多的技术和行业见解。
我们要求加入俱乐部的成员满足以下标准：
一、乐于分享：我们希望能积极分享自己的知识和经验，与俱乐部的其他成员共同成长和进步；
二、有 AI 技术背景：我们欢迎在 AI 领域具有丰富经验和专业知识的成员，包括但不限于机器学习、深度学习、自然语言处理、计算机视觉等领域的从业者和研究者；
三、愿意将 AI 技术应用到投资领域：包括但不限于量化交易、资产管理、风险评估、市场预测等，共同探索 AI 技术在投资领域的应用前景；
四、拥有独特资源：包括但不限于资金、人脉、数据资源等，这将有助于俱乐部的技术和项目合作。
如果您满足以上标准，并且对 AI 技术在投资领域有浓厚兴趣，我们诚邀您加入。
请将个人的有特点的介绍及微信号发送到 changzhang@arfgc.com，审核通过后，我们会邀请您加入。
【免责声明】市场有风险，投资需谨慎。本文不构成投资建议，用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。
