通过 OPEN AI 出现以来半年的观察，遍访头部的 AI 企业，在基础芯片、算法、算力、工具及应用层做深度的研究与访谈，试图描绘完整的行业版图。

在我们身边，AI 的影响已经无处不在，无论是在艺术创作、自动驾驶、教育还是其他领域。现在，AI 正大步走进游戏产业，带来了革命性的变革。从玩家的体验变得更沉浸，到游戏本身的玩法和趣味性，到游戏开发商的内部工作流程，都将会带来质的飞跃。

市场规模

游戏产业本身的市场规模足够大，能够支撑 AI+ 游戏的潜在市场增长。预估 2023 年全球游戏市场营收规模为 1877 亿美元，同比增长 2.6%。

就涉及的应用类型（2D 艺术、3D 艺术、音效、音乐、对话等）而言，游戏是最复杂的娱乐形式。游戏也是最具互动性的，强调实时体验。

以《荒野大镖客 2》（Red Dead Redemption）为例，它是有史以来最昂贵的游戏之一，制作成本接近 5 亿美元。原因很简单，它拥有市场上所有游戏中最美丽、最完整的虚拟世界之一。这款游戏也花了近 8 年的时间来制作，拥有超过 1000 个 NPC（non-playable characters），每个角色都有自己的个性和配音演员。这款游戏包含一个面积近 30 平方英里的世界，有 100 多个任务分布在 6 个章节中，还有由 100 多名音乐家创作的近 60 个小时的音乐。

从实际参与者的体验上来看：

对于C 端用户来说：

• AI 可以带来更真实、更富有生活气息的游戏环境。

• AI 改变了游戏的难度调整方式，让游戏难度能够更好地适应玩家的技能水平。

• AI 使得 NPC（非玩家角色）的行为变得更加智能和自然。

• AI 在游戏设计中的应用，使得游戏具有更高的可重玩性。

Note:荒野大镖客

对于游戏开发者来说：

• AI 技术可以帮助提升游戏画面和音效的质量和效率，游戏开发者在美术资源的制作上节省时间和成本。

• AI 技术可以帮助游戏开发者在游戏玩法和体验上提供更多的可能性和创新，让游戏更加智能和有趣。

Note:风格化头部模型生成技术：网易游戏《猎手之王》、《故土》等多款游戏已经使用了这项技术。

我们梳理了美国和中国的产业图谱：

General Mapping

US

China

接下来我们从引擎、2D、3D、材质、动画、世界构建、NPC、音乐、对话等方向来看一看头部的美国和中国公司：

Engine

Unity

Unity 成立于 2004 年，是全球领先的交互式实时 3D 内容创作和运营平台，提供以 Unity 引擎为核心的一整套完善的软件解决方案，在移动、PC、主机、增强现实和虚拟现实设备等平台上创作、运营和变现任何实时互动的 2D 和 3D 内容，客户包括 Apple 等。2020 年 9 月，Unity 科技公司（NYSE: U）在纽交所挂牌上市。

根据 Unity 公司最新财报显示，2023 年上半年，Unity 总收入达 10.34 亿美元，同比增长 40.3%。截至 2022 年底，全球排名前 1000 的移动游戏中，使用 Unity 打造的游戏占比高达 70% 以上。

Unity 中国

2022 年 8 月 9 日，Unity 宣布已与合作伙伴达成协议，在中国成立合资企业 Unity 中国，并引入阿里巴巴、中国移动、抖音集团、OPPO、吉比特、米哈游和佳都科技等战略投资者，Unity 中国的投后估值为 10 亿美元。据悉，Unity 大中华区 2022 财年收入占全年总收入 13.9 亿美元的 13.3%。

过去一年多，Unity 中国持续深耕本土化。今年 2 月，Unity 中国宣布计划在上海临港新片区设立研发中心，继续加大在华投资力度。Unity 中国总裁张俊波当时表示，中国或将诞生全球最大元宇宙世界。在中国 3D 渲染、元宇宙行业热度攀升的背景下，其十分看好 Unity 在中国的市场业务前景。据悉，Unity 中国临港办公室在今年 7 月已经落成。

此次推出的团结引擎，是 Unity 中国专为国内开发者和客户推出的首个本土化软件产品。

具体来说，Unity 团结引擎基于中国开发者需求，进行多项原创性本土优化，不仅兼容适配中国科技生态内的更多软硬件平台，也为包括小游戏、智能座舱等细分领域提供全面的技术赋能与效率提升。未来，Unity 中国还将不断完善团结引擎的功能，持续优化开发体验，提升开发效率。

AI+Unity

在 2023 年 6 月 8 日举办的 Unity 技术开放日北京站上，Unity 中国首次对外提出了要构建 Unity 中国版引擎 Copilot——U3D Copilot 的构想。

Copilot AI 是对 AI 辅助工具的代称，Unity 中国 AI 技术负责人暴林超对此解释道：“通过建立大语言模型和用户交互这样一个更自然的交互界面，来串联起我们的 3D AIGC 模型，以及 Unity 引擎内部可以提供的一些工具（如程序化生成等）。同时我们会探索将用户的隐私数据更安全地在本地做管理，在保护用户隐私的情况下，用户可以实现在本地部署引擎，并以这样的方式接入 Copilot。”

游戏行业的 AI 应用目前主攻的是两个方向，其一是智能 NPC，其二是游戏引擎 AI 辅助工具。

针对后者，现阶段 AI 生成 2D 图像的技术已经较为成熟，Unity 的 Unity ArtEngine，就可以通过 API 方式链接到外部的 AI 图片生成工具，在游戏制作中的角色立绘制作、材质和贴图生成等环节发挥作用。

1. 3D 的数据表示达不到生产的质量要求；
2. 3D 数据的呈现需要综合贴图、材质、光照、动画等多方因素；
3. 3D 高质量数据相对较稀缺。

Unity Muse：快速创建游戏资产的 AI 工具

Unity Muse 是 Unity 推出的一款基于生成式 AI 技术的内容创建工具。通过输入文本，开发者可以快速创建角色动画和 2D sprite 资产，并生成逼真的纹理。这项创新的技术使得创建游戏角色变得更加容易和高效。以往，开发者需要手工绘制或使用复杂的动画工具来创建角色动画，而现在，通过 Unity Muse，他们可以简单地描述出动画的行为，然后由 AI 推理引擎自动生成所需的动画资产，从而大大减少了开发时间和工作量。

Unity Sentis：

Unity Sentis：将 AI 融入游戏体验的运行时推理引擎

该引擎允许开发者将神经网络集成到游戏中的任何平台上，实现使用 AI 驱动角色动画和智能交互。借助 Unity Sentis，开发者可以构建更加逼真、智能的角色，使其能够通过推理和学习与玩家进行有趣而个性化的互动。这种 AI 驱动的交互将使游戏中的角色表现出更加人性化的行为，提升了游戏的沉浸感和可玩性。

人工智能市场：

人工智能市场：支持游戏开发者的一站式平台

为了进一步支持开发者，Unity 还推出了一个专门的人工智能市场。这个市场提供了各种生成式 AI 工具、AI 和机器学习集成解决方案以及为游戏中的 AI 角色提供支持的系统。开发者可以在市场上寻找并购买所需的 AI 工具，快速集成到他们的游戏项目中。这个一站式平台为开发者提供了便捷的资源和解决方案，加速了他们的创作过程，同时也丰富了游戏的内容和体验。

Unity 财务情况：

Epic Games (Unreal)

Epic Games 是近十年来最负盛名的游戏制作团队之一，主要是因为旗下最为畅销的《战争机器》系列。团队研发的虚幻 3 引擎为无数的游戏制作团队所采用。2011 年，Epic Games 发售的《战争机器 3》引来了业界的广泛好评。代表作品另有《子弹风暴》、《堡垒之夜》等。

Epic Games 是近十年来最负盛名的游戏制作团队之一，主要是因为旗下最为畅销的《战争机器》系列。团队研发的虚幻 3 引擎为无数的游戏制作团队所采用。2011 年，Epic Games 发售的《战争机器 3》引来了业界的广泛好评。代表作品另有《子弹风暴》、《堡垒之夜》等。

腾讯在 2012 年 7 月以 3.3 亿美元收购 EpicGames 已发行股本 48.4% 的股份。财报指出，EpicGames 已属腾讯集团的联营公司，且腾讯有权在 EpicGames 董事会提名董事。

2022 年 4 月 11 日，Epic Games 公司宣布了一轮 20 亿美元的融资，获索尼和乐高母公司 20 亿美元融资，估值 315 亿美元。

2022 年 2 月，Epic Games 宣称其用户账号总数已经突破 5 亿个，这些账号包括在 PC、游戏主机和移动设备上的所有账号数量，不过用户开设 Epic Games 账号玩游戏的门槛相当低，玩家可以随便开设一个没有名称的账号就能在主机上玩《堡垒之夜》（Fortnite），甚至无需绑定电子邮箱。

相比之下，更有意义的是 Epic Store 的用户数量，在 2021 年达到 1.94 亿人，相比上一年增加了 34%。尖峰日活跃用户数为 3110 万人，尖峰同时在线人数为 1320 万人。

Epic Games China

Epic Games 于 2014 年设立了 Epic Games China 全资子公司，办公室坐落于上海，负责大中华和东南亚地区的虚幻引擎商业授权，技术支持与培训，虚幻引擎社区维护和 Epic Games 在该地区的市场推广等业务。

虚幻引擎

虚幻引擎允许跨多个平台的开发，从 PC 到游戏机，如 PS4，Xbox One 和任天堂 Switch。这便是虚幻引擎被广泛使用的部分原因，可灵活的在不同平台上发挥作用。

除此之外，虚幻引擎强大的蓝图特性，可以使有经验的程序员可以使用 C++ 语言来制作他们自己的运行在游戏引擎中的脚本。更多的开发人员可预制代码块，可以添加到对象中进行交互。

China Comps

Cocos（触控科技）

雅基软件的母公司触控科技曾经在移动互联网早期开发、运营市场知名的《捕鱼达人》、发行《时空猎人》、《我叫 MT》、《秦时明月》等知名游戏，年度整体收入超过 15 亿人民币。Cocos 引擎商业化的进程依托触控科技过去在行业积累的产品、运营、数据、技术资源与 Cocos 引擎全球领先的占有率。

2023 年 09 月 06 日消息，游戏开发引擎及工具提供方 Cocos（雅基软件）宣布，已于 8 月完成 A 轮融资，估值 1.2 亿美元。本轮融资由景林投资领投，一粟资本、赛富基金跟投。此前，2023 年 09 月 06 日 12 月，公司获得赛富基金 Pre-A 轮投资。

Cocos 引擎是一家游戏引擎服务商，致力于为移动游戏行业提供技术和服务，让游戏开发者可以更加专注的进行游戏内容创作，采用 Cocos 引擎开发的游戏覆盖市面全品类。目前，Cocos 引擎的客户遍及全球 203 个国家和地区的 130 万游戏开发者，覆盖全球超过 8 亿玩家。在原生手游市场，Cocos 引擎国内市占率超过 50%、全球市占率达到 30%；此外，根据阿拉丁 9 月小程序榜单，35 款小游戏入选国内 Top100 小程序榜单，且超过 51% 的小游戏使用 Cocos 引擎开发，而在 MAU 最高的 50 款 Facebook 小游戏中，Cocos 占有率达到 30% 为全球第一。

雅基软件自研的 Cocos Runtime 技术解决方案，已为大量平台渠道提供小游戏运行环境。雅基软件已与 Facebook、Google 以及硬核手机联盟厂商等签订了长期的技术支持和内容供应合同，进一步巩固 Cocos 的领先市场地位和商业价值。接下来，雅基软件将重点发展小游戏内容平台，提供从底层技术到产品及游戏内容的全方位服务。

数据：

Cocos 引擎发端于移动游戏领域，作为与 Unreal，Unity 并列的全球三大跨平台游戏引擎之一， 采用 Cocos 引擎开发的游戏覆盖市场全品类，在全球范围得到广泛的使用和认可，中国移动游戏市场份额占比 40 %， 全球移动游戏市场份额占比 30 %。腾讯、网易、任天堂、育碧等均已使用 Cocos 引擎开发并推出了自己的游戏产品。

使用 Cocos 引擎的历年代表作包括《捕鱼达人》、《开心消消乐》、《梦幻西游》、《乱世王者》、《列王的纷争》、《火焰纹章》等。

Cocos 已积累 150 万注册开发者，30 万月活跃开发者，开发者遍布全球超过 203 个国家和地区，覆盖设备超过 16 亿。Cocos 的开源项目在 Github 上累计获得了超过 3 万个 star，超过 1 万个 fork。全球开发者已自发出版中英日韩西班牙语 5 种语言的近 80 多本教程书籍。

AI+WEB3+GAMING ENGINE

MUD

Lattice 的 MUD 时在 2022 年第三季度的 0xParc Residency 期间创建的。期间 Lattice 尝试创建几个全链游戏，尽管玩法和风格等都不同，但都遇到了相同的区块链问题。不是复杂困难的技术难题，而是大量繁忙的工作量。就这样，他们推出了 MUD ——第一个全链游戏引擎。

目前全链上游戏除了采用 Solidity 编写外，StarkNet 的 Cairo 也是一种常用的语言。然而，MUD 并不能很好地兼容 Cairo。因此，StarkNet 生态中的两个活跃项目 Realms 和 Briq 的创始人共同开发了基于 Cairo 的全链上引擎 Dojo。由于 Dojo 的核心理念与 MUD 相似，引发了 MUD 创始人 Ludens 的不满。但在一番争议之后，Ludens 最终表示愿意协助将 MUD 部署到 StarkNet 上。

MUD 是一个以太坊应用程序框架。其核心是一组合约接口和使用它们的约定。这些核心接口和库使得一系列周边工具、集成和库能够更加顺畅地进行，从而使链上应用程序的开发变得更加简洁。

Sky Strife 是一个基于 MUD 构建的链上游戏。游戏以快节奏的实时战略（RTS）战斗为特点，展开一场争夺谁能带着“Ember Crown”逃离战场的激战。

Kamigotchi 是一款具有 PvP 机制的多人在线角色扮演闲置游戏。您可以使用您的 Kamigotchi（简称“Kami”）从世界各地散布的节点中收获 $KAMI。$KAMI 可用于升级您的 Kami 并购买食物。然而，收获会消耗您的 Kami 的生命值，当生命值较低时，其他玩家可以使用他们的 Kami 猎杀您的 Kami。您需要保持您的 Kami 充饥并仔细观察它们以获得最大产出。死亡并不是永久的，核心 NFT 不受影响，但这会让您付出代价——被杀死的 Kami 在游戏中无法再次使用，除非使用商店中的某些消耗品复活，当然这需要 $KAMI。此外，您的 Kami 会因为这次经历而心情受挫。

Muddy Forest 是一款完全基于链上的大型多人在线实时战略太空征服游戏，游戏中的每个动作，从运输、发送资源到占领星球等，都发生在区块链上。

DOJO

基于 StarkNet 的 Dojo 在功能上和 MUD 非常类似，甚至可以认为是用 Cairo 语言把 MUD 重新写了一遍，所以不再具体讲解。在 MUD 的开发者文档中给出了一个具体的例子来教会大家如何在一天时间就能开发出一个全链游戏：Emojimon（表情怪兽）

官方教程：https://mud.dev/tutorials/emojimon/

03

2D IMAGES

从文本提示中生成 2D 图像，已生成式人工智能最为广泛的应用领域之一。诸如 Midjourney、Stable Diffusion 和 Dall-E 2 这样的工具，直接可以将文本描述生成高质量的二维图像，并且它们用在了游戏开发和制作的整个生命周期的多个阶段。

2D Images - MidJourney

Introduction

Midjourney 是一款基于人工智能技术的绘画软件，它利用深度学习算法来辅助用户进行绘画创作。通过对大量的绘画作品进行学习，Midjourney 能够理解各种绘画风格和技巧，从而帮助用户轻松地创作出具有个性化风格的作品。这款软件适用于各种绘画领域，如插画、漫画、油画等，无论是专业画家还是绘画爱好者，都可以在 Midjourney 中找到适合自己的创作方式。

Products

它提供了简单易用的功能，包括通过文本描述、图片输入和混合图片等方式生成创意图片。使用 Midjourney，你可以轻松地创作出大量灵感图片，为你的创作提供源源不断的灵感：

• 文字生成图片：通过在输入框中描述图片场景的关键词，AI 会根据描述生成相应的画作。

• 图片生成图片：上传一张特定风格的图片，并描述该图片的关键词，AI 将生成相同风格的新图片。

• 混合图片生成图片：将多张图片输入给 AI 进行混合，生成一张融合了多个图片的新作品。

AI+Gaming

首先，游戏设计师使用 Midjourney 来探索不同的灵感，并生成他们认为合适的概念图像。之后，图像会被交给专业的概念艺术家，艺术家可以把这些图像组合在一起，然后创建一个相关主题的连贯图像，然后将这些图片输入 Stable Diffusion，以形成系列的图像变化。

大家会共同讨论这些风格各异的图像风格，然后确定一个，用画笔手动编辑，然后继续重复以上过程，直到大家对作品结果感到满意。在这个阶段，再把这个图像最后上传给 Stable Diffusion，创造出最后的艺术作品。

特性

Fees

Teams

Midjourney 是一个由 Midjourney 研究实验室开发的人工智能程序，可根据文本生成图像，目前架设在 Discord 频道上。于 2022 年 7 月 12 日进入公开测试阶段。

总结：通过创新和突破性技术为用户创造情感共鸣的产品体验

Capital raising

• 零融资

• Leap Motion 创业过程中，Holz 积累了很多信任和欣赏他的人脉。当 Midjourney 需要一万个 GPU 时，有朋友慷慨解囊。

Comps-Stability

数字艺术工具 Stable Diffusion 的母公司 Stability AI 2022.11 获得 1.01 亿美元的种子融资。本轮融资由 Coatue、Lightspeed Venture Partners 和 O 'Shaughnessy Ventures LLC 领投。彭博社报道称，该公司的估值已达到 10 亿美元。Stability AI 将利用这笔资金加速开发面向全球消费者和企业用户的图像、语言、音频、视频、3D 等开放 AI 模型。

还有的游戏工作室在尝试使用类似的人工智能工具来制作游戏中的美术作品。例如，下图是来自 Albert Bozesan，关于如何使用 Stable Diffusion 来创建游戏中的 2D 资产的教程。

Comps-Ideogram AI

谷歌 AI 绘画 7 大牛集体离职的创业项目，坐标多伦多，带着1650 万美元（约 1.2 亿人民币）种子轮融资。

创始团队中前 4 人都是谷歌文生图研究 Imagen 论文作者，组成一个扩散模型顶级研究团队。

Ideogram AI 种子轮融资由 a16z 和 Index Ventures 领投。个人投资者中也不乏知名人物，如 OpenAI 创始成员 Andrej Karpathy，强化学习大牛 Pieter Abbeel，Node.js 创始人 Ryan Dahl、GitHub 联合创始人 Tom Preston-Werner 等。

AI学会精准画出文字

让 AI 精准画出文字，一直是个难题。虽然 SDXL 和 MidJourney 新出的局部重绘功能有所改善，但网友反馈成功率一直不太高，需要反复尝试。Ideogram 一搞定这个痛点，让文字出现在指示牌上、同时适应环境光影

China Comps（Intro+capital）

Tiamat 

Tiamat 已于 2023.02 完成近千万美元 A 轮融资，由老股东DCM和绿洲资本联合领投，远识资本担任独家财务顾问。本轮融资将用于继续打磨产品和自研大模型，拓展商业化能力等。

Tiamat 成立于 2021 年，是一家国内 AI 图像生成技术服务商。其自研的 MorpherVLM 是国内首个基于概念融合范式提出的近百亿级跨模态生成模型，通过异构的视觉编码 - 解码网络结构，并引入基于用户反馈的强化学习（RLHF）和细粒度的提示 - 隐变量对齐技术，提高了模型对图像多尺度信息的建模能力，在用户 Prompt 输入的理解能力方面也实现了进步。

即时设计 

2022 年 6 月，国产云端 UI 设计工具「即时设计」近日完成数千万美元 B+ 轮融资

国产设计软件「即时设计」的插件「即时 AI」能够实现将用户输入的关键词或文字内容一键转化为 AI 绘画创作，画面逼真，人像风景生动，作品质量较高，且基于了用户较大的创作自由度。作为在线软件，「即时 AI」无需下载便能直接运行，用户可以在输入关键词的基础上上传参考图片辅助 AI 完成创作，同时对于创作出的作品也可以依据自身的需求进行二次修改与调整，平台本身所具有的滤镜及特效添加等功能也为用户创作带来了更多的可能性。不论是进行头像生成还是要进行艺术作品创作，「即时 AI」都是非常适合国内用户使用的一款 AI 绘画软件。

百度

百度推出的 AI 作画产品。依托飞桨、文心大模型的技术创新，只需输入文字描述，就能快速生成各种风格的精美画作。既能为画师、设计师等视觉内容创作者启发灵感，辅助艺术创作，又能为媒体、作者等文字内容创作者提供高质量、高效率的配图，更能让每一个人都展现个性化格调，享受创作的乐趣。

04

3D IMAGES

3D 立体模块，是目前所有现代游戏以及即将到来元宇宙的重要构建源。虚拟世界和游戏关卡，本质上都是一个 3D 资产的集合，通过不同的组合和放置方法，修改不同的参数来填充游戏环境。而创建 3D 元素比创建 2D 平面图更为复杂，涉及多个步骤，包括需要制作 3D 模型、添加纹理和效果。而对于动画人物来说，还涉及到需要创建一个内部「轮廓」，然后在轮廓之上创建动画。

我们发现有不同的初创公司，在寻找有关 3D 资产创建过程的各个阶段的机会，包括模型创建、角色动画和关卡制作等等。然而，这部分的业务和创新尚在探索中。

试图往创建 3D 模型方向发展的初创公司包括 Kaedim、Mirage 和 Hypothetic。大公司也在关注这个问题，包括 Nvidia 的 Get3D 和 Autodesk 的 ClipForge。Kaedim 和 Get3d 专注于图像到 3D 模型的转换；ClipForge 和 Mirage 专注于文本到 3D 转换，而 Hypothetic 公司对文本到 3D 搜索以及图像到 3D 都感兴趣。

3D Images - Kaedim3D

Introduction

创立于 2020 年的 Kaedim，是一家致力于研究 2D 图片转 3D 建模 AI 的初创公司。他们旗下的产品只有一个，就是与公司同名的 AI 项目 Kaedim3d。公司得到了来自 AI 和游戏行业的支持，投资者包括谷歌、Roblox、V 社等，其主攻方向，就是将 2D 图片转化为 3D 数字内容。尽管是一家 AI 公司，但 Kaedim 表示，他们与 3D 美术师紧密合作，确保输出的 3D 资源可以直接用于游戏制作。

Products

• 就算图片里存在一些遮挡和残缺，Kaedim 也能和人脑一样根据客观规律将它补充完成。如果对模型的某个细节不满意，再加上一段文字描述自己希望得到的改进，还能很快得到更符合预期的模型。

• Kaedim 似乎和人工建模使用了同一套“从整体到细节”的流程，得到的模型干净整洁到已十分接近使用需求，也基本没有以往 AI 常见的模型噪点和错误，就算只有一张图片，它也能通按照人类的逻辑突破以往多角度、多图片的要求限制，判断出图片内容的空间属性，给出我们想象中的 3D 模型。

Capital Raising

公司得到了来自 AI 和游戏行业的支持，投资者包括谷歌、Roblox、V 社等。

Comps-Luma AI

专注于 3D 建模软件服务商 Luma AI，2023.03 宣布完成了 2000 万美元的 A 轮融资，本轮融资由 Amplify Partners 领投，NVIDIA(NVentures)、General Catalyst 跟投。Luma AI 是一家专注于 3D 媒体生成和应用的服务商，公司成立于 2021 年 9 月，总部位于美国加州，共有三位创始人 Alberto Taiuti、Alex Yu、Amit Jain。

目前《Luma AI》的 iOS 版已于 22 年底上线，可以通过 iPhone 进行 3D 场景捕捉，并且融入 NeRF 能力，同时也可利用 LiDAR 实现更精准识别。当前，3D 捕捉需要 iPhone 11 或更新机型，而查看 3D 模型要求是 iPhone X 或更新机型。

Comps-Mirage

NVIDIA-GET3D

China Comps

视觉中国

于 12 日下午上线了 AIGC 新功能——AI 灵感绘图（即文字生成图像），本次上线的 AI 灵感绘图功能，根据文字，可以生成摄影、卡通、3D、插画四种不同风格的图片素材；内测账号有一定的点数限额，每生成一次图片（共 4 张图）将消耗 8 个点数

腾讯优图

专注于图像处理，模式识别，深度学习。在人脸检测、五官定位、人脸识别、图像理解等领域都积累了完整解决方案和领先的技术水平。

深氧科技

云原生 3D 视频内容 AIGC 引擎服务商深氧科技 2023.02 完成千万级元天使轮融资，本轮融资由汉能创投投资。资金将主要用于（产品迭代、市场拓展、以及技术团队扩充）。

深氧科技成立于 2022 年，旨在将 AI 驱动的新一代云原生 3D 内容创作工具，通过移动终端、网页端等最直观的途径，让零基础的普通用户可以随时随地创作原生 3D 内容，并可直接输出视频，并发布到主流短视频平台。

造物云

2023 年 5 月 4 日，杭州AIGC+3D 内容生成解决方案提供商造物云获线性资本领投的天使轮融资。同时，造物云也正式发布全球首个 AIGC+3D 融合的高质量创作产品，设计文本、图像、视频等模态，帮助品牌、电商、设计公司低成本、高质量的创作海量商品营销内容。

造物云成立于 2021 年，是一个在线 3D 营销设计平台，通过几千套虚拟影棚、仿真材质、高级动效和 3D 模型等模板库，让人人都能在浏览器创作商业摄影级的 3D 图片 / 视频营销内容，用 3D 可视化的技术帮企业大幅减少产品营销成本，提升效果，帮助品牌、电商、设计公司发挥 AIGC 扩散化和 3D 结构化的彼此优势，为电商内容制作提供了低成本、高质量产出的解决路径。

泽森科工

国内全流程 3D 内容生成软件开发商「泽森科工」2022.04 完成数千万元天使轮融资，由高榕资本领投、青松基金跟投。本轮资金将用于软件的迭代升级、深度开发和测试、团队招募、产品推广等方面。

泽森科工（ZENUSTECH）专注于研发全流程 3D 内容生成软件，具备集中作业、便捷高效的特点，重构一个服务内容创作者的行业生态。泽森提出“程序化的艺术”的理念，旨在通过对计算机底层技术的反复推敲以及对艺术创作者同理心的建设，开发出高性能、全流程国产 3D 内容生成软件。

泽森的核心优势主要体现技术与团队背景两大方面。在技术层面，首先，针对 ZENO V1.0 版本，团队打造了“程序化制作 +实时渲染”的制作流程，目前已经与多个业内资深动画制作公司及创作者开展内测。其次，物理仿真解算效率表现出色，运行同样的场景的设置下，ZENO 比Houdini 最新的解算器计算效率要快 4 倍以上；第三，ZENO 通过内嵌的实时渲染引擎，可对程序化几何分形变换、程序化材质、仿真特效进行全局光照、并提供多相机景深调试、材质实时渲染等功能，从而实现制作过程中的“所见即所得”效果。最后，团队开发的生物仿真系统支持由生物骨骼动画直接生成可解算的肌肉仿真结果，解决了传统无解算流程中由于“体积缺失”而需要大量动画 K 帧的工作负担，进而让动画中的生物刻画更具真实感。

05

3D Textures

在游戏中，三维模型能够用在基于网格的纹理或材料上，能够显得更加真实。例如，一个中世纪的城堡模型上使用不同类型的、带有青苔的风化石，可以完全改变一个场景的外观塑造。这里所说的纹理，包含关于光对材料的反应的元数据（即粗糙度、光泽度等），艺术家可以根据文本或图像提示轻松生成纹理，对于提高创作过程中的迭代速度是非常有价值的，像 BariumAI、Ponzu 和 ArmorLab 这样的公司正在在这个领域努力。

BariumAI:https://barium.ai/

Ponzu:https://www.ponzu.gg/

06

Animation

优秀动画的制作，是游戏创作过程中最耗时、最昂贵和最有技巧的部分之一，降低成本和创造更为真实的动画的方法之一，是运用动作捕捉，即给演员或舞者穿上动作捕捉服，用专门的设备，记录他们的动作。

当前的生成式人工智能，可以直接从视频中捕捉动画。这就更高效了，因为这样就不需要成本高昂的的动作捕捉设备，也意味着我们可以从现有视频中捕捉动画。

人工智能模型的另一个令人兴奋的点在于，可以用于过滤现有动画，加上新的特效，例如让动画人物一键看起来喝醉了，或者老了，或者高兴。这一领域的公司包括 Kinetix、DeepMotion、RADiCAL、Move Ai 和 Plask。

Animations - Kinetix

Intro

一家 AI 初创公司，其创始人在大学期间深入研究了机器学习技术。他们将 AI 技术和 3D 动画技术相结合，推出了名为 Kinetix 的在线动作捕捉工具。该工具可以从影片片段中提取演员的动作，并将其重新定位到 3D 角色上，实现将情感表情（Emotes）带入视频游戏和虚拟世界的效果。Kinetix 还为开发者提供情感表情软件开发工具包（SDK），以方便他们将情感表情集成到自己的项目中。该公司的使命是让虚拟世界更加人性化，通过交汇游戏、AI 和创意产业的多个领域，赋能创作者表达自我情感，并让 3D 动画制作更加易于操作。

https://www.youtube.com/watch?v=JccOaeK-o1k

Product

目前全球共有数百万创作者基于该免费人工智能平台进行 3D 创作。无代码 AI 是 AI 领域的一个类别，而 Kinetix 平台具有可视化、无代码和支持频繁拖放操作的界面，且无需经过专门培训即能创建 AI 模型。

技术可以将网上的视频和图片转化成动态的 Avatar 动画，这些动画与各种场景兼容，并且可以让用户亲自扮演 Avatar 动画，例如将用户跳舞的视频转化为跳舞的 Avatar，然后与好友分享。

除了 Avatar 动画的制作，Kinetix 还是一个 3D 内容交易平台，创作者可以在平台上销售自己的作品，Kinetix 会从中抽取 5% 的收益分成。Kinetix 的所有功能都可以免费使用，并且是一种基于浏览器的程序，对系统的要求较低，建议设备至少有 4GB 的内存。

因为它是基于云的工具，所以您可以与其他用户共享和共同编辑 3D 动画。对于那些刚开始使用 3D 动画的人，Kinetix 提供了角色库和预制项目以及有关如何使用该工具的教程。

最后但同样重要的是，可以以与您通常使用的 3D 软件（无论是虚幻引擎、Maya、Blender 或其他软件）相对应的格式导出您的项目。

Team

Kinetix 由 Yassine Tahi 和 Henri Mirande 于 2020 年创立

Capital Raising

Comps-Plask

网址：https://plask.ai

基于 AI 对视频进行分析，抓取人物动作，并且生成三维角色可以用的角色动画文件，可以丢到三维软件里用，比如 C4D，Blender，虚幻，Unity

Comps-Omniverse Audio2Face

Omniverse Audio2Face 是一个参考应用程序，可简化 3D 角色的动画以匹配任何画外音轨道。它预装了一个 3D 角色模型，可以用画外音轨道进行动画处理，音频输入被馈送到预训练的深度神经网络，输出驱动角色网格的 3D 顶点以创建面部动画即时的。它还具有角色转移功能，允许用户重新定位到任何 3D 人或类人脸，并允许他们使用场景中的多个角色缩放输出并使用 AI 网络控制角色的情绪。它还具有允许混合形状转换和混合权重导出选项的数据转换功能，并支持使用 Blender 和 Epic Games Unreal Engine 的 Blendshapes 导出导入，为角色生成运动。

Comps-摩尔

Movmi 是一款免费的 AI 驱动的动作捕捉软件，适用于 3D 动画师，使用户无需硬件或套装即可从视频创建 3D 动画。它使用云计算，让用户不需要高端设备，支持多人场景。它还为用户提供了一组可用于各种用途的全纹理角色，并提供具有不同功能的会员计划。该软件还为用户提供了在 3D 环境中使用的 3D 角色和 FBX 文件。

China Comps

暂无

07

World Building

游戏创作中最耗时的方面之一是构建游戏世界，生成式人工智能可以用于这项任务。像《Minecraft》、《No Man's Sky》和《Diablo》这样的游戏，因程序化技术生成关卡而闻名，其中关卡是随机生成的，每次都不一样，但都遵循关卡设计者制定的规则。新的 The new Unreal 5 游戏引擎的一大卖点在于，它收集了用于开放世界设计的程序化工具，例如叶子的放置。

例如 Promethean、MLXAR 或 Meta 的 Builder Bot 这些公司，都是看到了生成式 AI 技术的机会。这方面的学术研究已经有一段时间了，包括 Minecraft 的生成技术或 Doom 的关卡设计。

为什么生成式人工智能工具具备用于游戏关卡设计的潜力？因为 AI 具备创造不同风格的关卡和游戏世界的能力。可以想象一下，通过工具迅速生成一个 1920 年纸醉金迷时代纽约的游戏世界，或者是神秘的反乌托邦银翼杀手的设计，或者是托尔金派（类似于魔戒的设计和景观）的幻想世界（vs dystopian blade-runner-esque future, vs. Tolkien-esque fantasy world.）。

World Building - Promethean AI

Intro

Promethean AI 号称是“全球首个适用于游戏美术师并在虚拟世界打造过程中协助他们的 AI 工具”，该技术旨在承担一些游戏创作过程中普通和非创意性的任务，但得益于其学习和适应个人品味的能力，实际上它还可以解决一部分创意问题。

通过对上下文指令的学习，该技术可以用于打造大量的室内和室外游戏环境，比如居住区、工作场所、车库、露营地以及公园等，带来适用于特定场景的适配资源。Maximov 在展示视频里透露，Promethean AI 不需要开发者输入任何代码、不用懂得复杂的技术，只需要按照自己的创意就能打造照片级游戏资源。

Product

Promethean AI 可以支持所有的 3D 引擎甚至是定制化 API。比如在虚幻引擎里，你可以将所有的美术资源导入到 Promethean AI 资源库，它会自动给每个资源打上标签和细节描述。这个阶段，你可以检查每类资源的标签与描述是否符合你的预期，并且根据自己的喜好修改。

你甚至可以打造特定的场景，然后让 Promethean 记住，这样在创作其它资源的时候，只需要输入代号即可。比如你可以按照自己的喜好设计一个露营地场景，然后输入记忆，他就会以露营地的代号被记住。

Promethean 实际上可以执行更复杂的指令，比如在某地摆放一个建筑，在建筑的某些位置摆设家具、门窗，然后还可以将不同物体自动设计成不同风格。比如，你可以告诉 AI 在桌子上摆什么风格的台灯、什么样的绿植、什么格调的桌椅沙发。

Team

实际上，Promethean 的创立，源于创始人 Andrew Maximov 对游戏研发成本飙升问题背后的深思，他本人曾从事 3A 游戏研发多年，对这个问题深有感触。2018 年的时候，Maximov 离开了打造《神秘海域》和《最后幸存者》系列的开发商顽皮狗工作室，随后不久就成立了 Promethean AI 帮助开发者将注意力“转回创意、多样性和团队能力”上。

Maximov 表示，“从过度加班到开宝箱问题，游戏业许多糟糕的决定都是由于研发高质量产品的成本和复杂性成倍增长所导致的（如今一款 3A 游戏研发成本要 2 亿美元以上）。

Capital Raising

• 最新一轮融资 $39.5M

China Comps

Inspir AI

启元世界专注于通用人工智能领域，致力于创造人与AI共生的世界。公司打造了 AI 玩家、AI 角色、AI 设计师、AI 指挥官等产品方案，为游戏、虚拟世界、元宇宙提供高质量内容和互动体验。公司总部位于北京，并在杭州、深圳、硅谷设有分部，员工规模近 200 人。

以虚拟玩家服务为例，启元世界利用深度学习、强化学习、模仿学习等算法，打造了不同难度、不同风格、高度拟人的 AI 虚拟队友和虚拟对手，以相对较低的成本对游戏流量缺口进行填补，迅速提升游戏热度、匹配速度和游戏体验、提高游戏留存，使得用户投诉率降低 70%，次日留存率提升 10%。基于启元通用 AI 提供的游戏商品千人千面推荐服务，可提升购买转化率 50% 以上。

融资历史：

团队：

启元世界创始人为袁泉和龙海洋，其他团队核心成员来自 Netflix、BAT、香港科大、清华等。公司致力于创造智能体产品将人工智能技术应用于智能决策和数字娱乐领域。

据启元世界官网，创始人袁泉曾在阿里认知计算实验室担任负责人、资深总监，缔造了手机淘宝、手机天猫的推荐算法，是阿里算法技术的 P10 科学家。另一位创始人龙海涛曾是 IBM 中国研究院研究员，在阿里期间从事搜索广告业务的架构设计，主导了离线系统、在线引擎和搜索内核的升级换代。

08

NPC&Chatbot

很多初创公司在研究使用生成式人工智能来创建可以互动的角色，除了游戏中 NPC 的市场机会，虚拟助理或接待员也具备很大的增长空间。这种努力可以追溯到人工智能研究初期。

很多公司正在建立通用聊天机器人，其中许多是由类似于 GPT-3 的语言模型驱动的。少数公司专门试图建立以娱乐为目的的聊天机器人，如 Replika 和 Anima，试图建立虚拟陪伴者。电影《Her》（斯派克·琼斯编剧并执导的一部科幻爱情片，由华金·菲尼克斯、斯嘉丽·约翰逊等主演）中展现的虚拟女友时代，可能很快就会到来。

现在可以看到这些聊天机器人平台的下一个迭代，如 Charisma.ai、Convai.com 或 Inworld.ai，除了可以渲染 3D 角色提供动力外，还具备情感呈现，工具可以让创造者给这些角色设定目标，可以在融入游戏或在推动情节发展中具有叙事性的地位，而不是纯粹的摆设。

NPC - Inworld AI

Intro

一家成立于 2021 年 7 月的虚拟化身公司，其提供了一个开发者平台，用于创建由 AI 驱动的虚拟角色，以填充沉浸式现实，包括虚拟世界、VR/AR、游戏和虚拟世界。Inworld 使用 AI 技术来构建元宇宙角色并赋予个性、思想、记忆和行为模仿人类互动的社会本质。其平台已经和游戏引擎（如 Unreal 和 Unity）集成，开发人员可以轻松地将设计角色部署到游戏环境中。

Product

构建真正智能的虚拟角色是复杂的，需要大量的专业化技术支撑，Inworld AI 的目标就是执行上述所需的复杂工作，使合作伙伴和创作者能够利用其平台为各种用例构建和部署虚拟角色。Inworld 平台非常易于使用，并且几乎与所有内容都集成在一起，可以无缝地从在计算机上构建角色，到打开 VR 头显并与之交互，再到在游戏中推送角色。

Inworld AI技术优势在于提供更专业的 AI 会话功能，而不是由通用的机器学习模型驱动的 AI 对话，这是他们面对 Open AI 和 Google AI 等老牌厂商的差异化竞争优势。同时，公司创始团队曾创立行业领先的 AI 会话服务提供商 API.AI，在 AI 会话技术底色之上，构建了由感知、认知和行为三部分组成的基本技术路线。其侧重于对环境因素的输入，主要使用音频和视觉的 AI 分析技术，以 AI 向多领域延伸发展，潜在发展空间更大，并且也能取得较高的收入增速。

Team

2010 年，Ilya Gelfenbeyn 和联合创始人推出了 Speaktoit，这是一个 Android 系统上的个人助理（装扮成虚拟形象）。半年后，随着 Siri 的推出，Speaktoit 的用户开始呈指数级增长，并以 4.7 星的评分成为了 Android 市场“助手”排名第一的应用程序。

Speaktoit 是 Ilya Gelfenbeyn 创办的第一家公司，尽管这款应用程序已经取得了不错的成绩，但他们意识到，不应该与像 Apple 这样的大型科技巨头竞争。于是 Ilya Gelfenbeyn 将公司的发展方向转向了 API.AI，它使开发人员能够轻松地将语音和操作添加到他们的应用程序和产品中。

两年后，API.AI 被谷歌收购并作为 Dialogflow 重新启动，现在该平台已被数百万的开发人员使用。直到 2021 年，Gelfenbeyn 和联合创始人再次聚在一起创办了 Inworld AI。

Capital Raising

在成立短短一年的时间里，该公司融资总金额已经达到了 6970 万美元，足以说明其实力所在。

2021 年 11 月，Inworld AI 宣布完成 720 万美元的种子轮融资，该轮融资由 Kleiner Perkins 和 CRV 共同领投，Meta（原 Facebook）参投。

2022 年 3 月，Inworld AI 宣布完成 1250 万美元融资，由 Bitkraft Ventures 领投，The Venture Reality Fund 参投，天使投资人包括 Twitch 联合创始人 Kevin Lin、Animoca Brands 联合创始人 Yat Siu、Oculus 联合创始人 Nate Mitchell 等。

随后 Inworld AI 发布了第一款产品，7 月，Inworld AI 被迪士尼选中并加入孵化计划 Disney Accelerator。而最近，在 8 月 23 日，Inworld AI 宣布完成 5000 万美元的 A 轮融资，该轮融资由 Intel Capital 与 Section 32 领投，微软风险投资基金 M12 和 NTT DoCoMo Ventures 跟投。Inworld AI 表示将利用所筹资金开发 AI 技术，为游戏和虚拟世界中的 NPC 赋予“现实”。

China Comps

网易游戏 - 逆水寒

《逆水寒》手游中设定智能 NPC 系统大幅提升与玩家交流交互的自由度与开放度。

网易 6 月 30 日将正式开服公测的《逆水寒》手游，推出被“逆水寒游戏 GPT”加持的高智能 AINPC，号称玩家可与 NPC 无限交流，甚至插手 NPC 私生活，改变游戏走向。与多数游戏中 NPC 只会“按部就班”做事设定不同的是，AI 赋能下的智能 NPC 让游戏变得更加有趣

其它：

《原神》在开发过程中赋予每个 NPC 个体不同的个性以及特殊能力；《王者荣耀》设定王者绝悟挑战以 AI 丰富游戏关卡挑战；米哈游的新作《崩坏：星穹铁道》内置了自研的 AIGC 工具"模因共振机"，能够将玩家上传的图片转化为游戏中的角色之一。

Chatbot - Chatacter.ai

Intro

Character.ai 是一种神经语言模型聊天机器人 Web 应用程序，可以生成类似人类的文本响应并参与上下文对话。用户可以创建「角色」，塑造他们的「个性」，设置特定参数，然后发布到社区供其他人聊天。许多角色可能基于虚构的媒体资源或名人，而其他角色则完全是原创的，有些角色的制作是为了特定的目标，例如协助创意写作或成为基于文本的冒险游戏。用户可以与单个角色联系或组织包含多个角色的群聊，这些角色可以同时与彼此或用户交谈。

Product

• 创建一个角色，登陆官网，点 create。

• 填入参数：用户可以通过进入快速或高级角色创建模式来开始创建他们的机器人。在高级创建中，用户可以输入简短和详细的描述，以及「定义」或让 AI 更好地理解角色行为的示例聊天。对于没有经验的用户，可以在网站上找到有关如何完善角色创建的官方指南，角色手册。

• 建立成功可以和新角色对话。并通过角色设置不断完善回复内容。当角色发回回复时，用户可以给回复打 1 到 4 星。此外，用户可以通过单击 4 到 6 个按钮之一来说明为什么选择一定数量的星星。评级主要影响特定角色，但也影响整体行为选择。用户还可以单击右箭头让 AI 生成新的响应，然后单击左箭头查看生成的消息

• 该软件基于先进的深度学习和可扩展的语言模型构建，目前处于测试阶段，并在不断改进；2022 年 11 月 5 日，对话记忆比之前的容量增加了一倍，这样人工智能就可以「记住」更早以前的信息。角色「个性」是通过从角色及其问候信息的角度进行描述来设计的，并进一步将对话塑造成示例，为其信息赋予星级和修改以适应用户所需的精确方言和身份。

总结：Character.AI 的模式类似 Midjourney，搭建了端到端的工程栈，覆盖模型的研发与训练、数据、应用整条价值链。其自研模型在成本端具有明显优势，每个 Query 的成本是 ChatGPT 的 1/3。

Team

该 Beta 模型由 Google LaMDA 的前开发者 Noam Shazeer 和 Daniel De Freitas 构建，于 2022 年 9 月向公众开放

Capital Raising

四个月前，Character.AI 宣布完成 1.5 亿美元融资，估值为 10 亿美元，领投方为 Andreessen Horowitz。

09

Music

音效

声音效果是人工智能的另一个有吸引力的领域。已经有学术论文探讨了使用人工智能在电影中生成「foley」的想法（例如脚步声），不过目前能够直接在游戏中应用的商业产品还很少。

笔者认为，这只是一个时间问题，因为游戏的互动性使其成为生成式人工智能的一个明显的应用，既可以创造静态的声音效果作为生产的一部分（「游戏里的激光枪音效等等」），也可以在运行时创造实时的互动声音效果。

想象一下，如何给玩家角色生成脚步声（例如 CS 和吃鸡里的脚步声）？大多数传统游戏，会通过少量预先录制的脚步声来解决这个问题：例如，在草地上行走、在砾石上行走、在草地上跑步、在砾石上跑步等等。这些声音的发布和管理都很繁琐，而且运行的时候听起来重复且不真实。

更好的方法是实时通过生成式 AI 的模拟音效，产生合适且更真实的的音效，通过游戏中的参数，如地面、角色、的重量、步态、鞋类等不同的介质，表现出不同的音效。

音乐（游戏配乐）

配乐对游戏来说很重要，因为它可以帮助故事主题设定感情基调，就像在电影或电视中一样。但由于游戏持续的时间更长，有的时候能持续数百甚至数千小时，不变的音乐可能很快变得重复或令玩家厌烦。此外，由于游戏具备互动性质，游戏配乐很难完全精确地配合屏幕上随机发生的场景和动作。

二十多年来，自适应音乐（Adaptive music）一直是游戏配乐的一个受关注的话题，它可以一直追溯到微软的「DirectMusic」系统，用于创建互动音乐。不过，DirectMusic 并没有被广泛采用，主要是因为用这种格式作曲难度较大，只有少数游戏，如 Monolith 的《无人生还》，创造了真正的互动配乐（Monolith’s No One Lives Forever,）。

现在，有许多创业公司正在尝试创造人工智能生成的音乐，如 Soundful、Musico、Harmonai、Infinite Album 和 Aiva，尽管目前的很多工具，如 Open AI 的 Jukebox，是高度计算密集型的，还不能实时运行，不过，一旦初始模型成功建立，实时运行将成为可能。

Music - Harmonai

Intro

A Stability AI Lab releasing open-source generative audio tools

Product

Dance Diffusion 是由 Harmonai 创建的音频生成机器学习模型系列，Harmonai 是一个社区组织，其使命是为制作人和音乐家开发开源生成音频工具，同时也是 Stability AI 的一部分。

Stability AI 是一家 AI 初创公司，开发了由流行文本转图像生成器 Stable Diffusion 软件。

你可以使用预先训练好的 Dance Diffusion 模型（或训练自己的 Dance Diffusion 模型）生成特定风格的随机音频样本，或重新生成一个给定的音频样本，或在两个不同的音频样本之间进行插值。

Dance Diffusion 模型是一种扩散模型。

例子：https://www.audiocipher.com/post/dance-diffusion-harmonai

Team

• Stability AI 开发。

• 目前 Stability AI 团队共计 103 人，有 1 名博士，明年计划资助超过 100 位博士。该公司领导团队国际化氛围明显，最近还有来自日本的 David Ha 和法国的 Daniel Jefferies 等社区名人加入，分别担任战略负责人和首席信息官。

• 公司发言人表示，未来商业模式类似红帽和 MongoDB，开源版本免费，通过商业版本来盈利。而有熟悉公司商业计划书的人士说，更长远的计划是成为一个控股公司，支持多个开源项目的商业化。

Comps-eleven labs

语音技术研究公司 Elevenlabs 完成了 1900 万美元融资，目前市值已达到 9900 万美元。此次融资由包括曾担任 GitHub 执行长的 Nat Friedman、曾主导苹果 AI 发展的 Daniel Gross、Instagram 共同创办人 Mike Kriege、Oculus VR 共同创办人 Brendan Iribe 以及 Andreessen Horowitz 等知名天使投资人参投。Elevenlabs 主要为创作者和出版商开发 AI 语音软件，利用生成式 AI 技术复制他人的声音或创造全新的合成声音，令纸面上的文字成为真实的语音片段。目前，该公司的语音技术主要应用于无障碍市场、有声书创建和游戏角色配音等领域。公司表示，新一轮的资金将用于持续研发出版、游戏、娱乐或对话等技术。

China Comps （intro + capital raising）

DeepMusic（灵动音）

人工智能音乐服务商「DeepMusic」（灵动音）于 2023.04 宣布完成了近千万美金的 A+ 轮融资，GGV 纪源资本领投，丰元资本跟投。融资额将用于自研 AIGC 音乐引擎及其应用的研发，加速国内外市场拓展。

「DeepMusic」成立于 2018 年，是国内首家基于自研 AIGC 能力打造音乐引擎的国内人工智能音乐服务商，致力于将 AI 音乐技术转化为面向各类音乐人群的场景级应用及产品。

「DeepMusic」创建了音乐结构标准 UMP 及自动标注技术，并在过去几年中分析了大量音频文件，将它们的每个小节用了什么样的音高、和弦、段落等等音乐符号，将超过 2 万首歌的乐理信息转化为一个可用于训练模型的数据库，使得识别准确率能够达到 90% 以上，能够满足大部分C 端用户的场景需求。

当技术环境来到 AIGC 进入到自然语言大模型的时代，「DeepMusic」自研的 AIGC 音乐引擎“Mutrix”在兼容开源语言模型的基础上扩展为多模态模型，最终达成自然语言对音乐的控制。

目前，「DeepMusic」的音乐结构标准 UMP 已经被 TME 旗下全民 K 歌、QQ 音乐多个场景应用。与此同时经过多次迭代的 UMP Board 已经自主完成了 40 万首歌曲的 AI 自动标注。在输出的音乐风格上，「DeepMusic」也正在进行出海内容的扩充，加速推进海外市场布局。

期音科技

一家 2022 年 2 月成立于南京的 AI 科技音乐公司，目前已实现全流程 AI 音乐创作，开始提供 to B 服务，并上线了面向 C 端体验者的小程序「伯牙智能创作」。期音的核心服务是基于 AI 智能引擎为用户提供原创音乐制作服务，同时探索全新的确权方式来保障音乐人收益，以此来解决音乐制作费用高、周期长、产量低、确权难等痛点。

技术层面，期音自主开发了“Alpha-muse”伴奏作曲系统、“Beta-muse”编曲混音系统以及结合 AI 模型和乐理算法的“Omega-muse”旋律写作系统。三者结合，将音乐中的要素进行数学建模，并构建了一套对这些要素进行分析、组合的算法，快速生产旋律、伴奏和编曲。同时，以其独家素材库来为生成作品的匹配精度和多样性提供保障。

讯飞音乐

讯飞音乐于 2022 年 8 月 26 日推出旗下首位 AI 虚拟歌手 Luya。通过 X-Vocal 音色创造、AI 变声和歌曲合成、Smart-tts 说话合成和 AI 词曲等技术，讯飞音乐完成了对 Luya 音乐的打造，再配合立绘生成、动作和表情驱动等 AI 技术，完美地将一位虚拟歌姬带到了大众面前。截至目前，Luya 已经献唱 20 余首原创单曲，其中《铠甲》《迷雾之中的微光》广受好评，分别取得了 QQ 音乐新歌榜第一名和热歌榜第十七名的好成绩。

KKLab

Yahaha

10

Speech & Dialogue

很多公司试图为游戏中的人物创造逼真的声音，当然，由于计算机的语音合成历史悠久，这并不少见，这些公司包括 Sonantic、Coqui、Replica Studios、Resemble.ai、Readspeaker.ai 等等。将生成式人工智能用于语音有多种优势，当然，这个赛道竞争也比较激烈。

即时对话生成。通常情况下，游戏中的语音是由配音演员预先录制的，但这些都仅限于死板的演讲稿。有了生成式人工智能对话，角色可以说任何话，这就意味着可以对玩家的行为做出充分的反应。

角色扮演。许多玩家希望扮演与自己现实世界身份几乎没有相似之处的虚拟人物。然而，只要玩家用自己的声音说话，这种幻想就会破灭，使用与玩家的化身相匹配的生成的声音可以保持这种幻觉。

控制音效。通过 AI 生成语音时，我们可以控制声音的细微差别，比如它的语调、转折、情感共鸣、音素长度、口音等等。本地化（方便翻译和国外推广）。对话可以翻译成任何语言，并以同样的声音说话，像 Deepdub 这样的公司专门专注于这个细分市场。

Speech & Dialogue - Voicemod

Intro

一个变声器和声音效果的应用程序，具有直观的界面，任何人都可以轻松使用。不需准备虚拟音效卡或 mixer。只要指定 Voicemod 作为你的音效输入来源，就可以在在线游戏语音、直播、游戏实况、在线会议等立即改变你的声音和播放音效。

Product

• 一旦安装了 Voicemod，就不需要再安装虚拟音效卡或购买额外的音效卡。只要在你想使用的 APP 与游戏的语音输入来源中直接选择 Voicemod 就可开始使用。你还可以当场试听转换后的声音。

• 可改变你在 Discord、Skype、Steam、OBS、Twitch 等 APP，以及网络游戏和线会议相关程序（如 Zoom 和 Google Meet）中的语音音效。

• 配备了超过 90 种以上的变声情境。

Pro 版：可使用 Voicemod 超过 95 个语音；免费版：每天 6 个随机语音。

Pro 版本独家开放：透过效果组合访问自定义语音创建器 VoiceLab 高质量语音独家 Soundboard 功能。

Fees

Voicemod：免费 

Voicemod Pro：20 美元 / 终身；10 美元 / 年；3 或 4 美元 / 3 个月 （当你下载并点击升级成 Voicemod Pro 时，界面会显示定价选项。）

Team

Jaime Bosch - CEO 和 co-founder

Capital Raising

China Comps

标贝科技

成立于 2016 年 2 月，总部位于北京，标贝科技是一家专注于智能语音交互和 AI 数据服务的人工智能公司，拥有 AI 语音交互及数据采标处理技术，打造多场景应用的语音交互方案，包括通用场景的语音合成和语音识别，以及 TTS 音色定制，声音复刻，情感合成和声音转换等语音技术产品；AI 数据业务包括语音合成、语音识别、图像视觉、NLP 等采标服务和平台化自研工具。

2023 年，公司宣布完成超亿元人民币的 B2 轮融资。本轮融资由巨峰科创、青岛财富联合投资，融资资金将用于产品研发迭代和市场拓展。

• 缔造链上纳斯达克的开路者：全面解读 Solana 生态、技术、代币与发展 
• 漫谈近期围绕大模型创业的一些关注点 
• ChatGPT 兴起，创成式 AI 与工具软件结合的前景如何 
• 多传感器一体化趋势下的汽车感知硬件 
• 光医学 - 在体流式细胞检测技术的发展与未来 
• 半导体抛光耗材的替代机遇 
• 中国数字科技：冰封后的并购之春 
• 股权 vs 代币：投资模式与价值捕捉 
• 数字化转型的排头兵，千亿 MarTech 市场的观察与思考 
• ChatGPT 在工业机器人领域的应用 
• 建筑领域最大的机会：以建筑科技成就建筑界的“特斯拉” 
• 区块链安全赛道 Mapping
• 未来建筑的智慧基因：从 AI 1.0 到 2.0 的进阶之路 
• 半导体氮化镓的替代机遇
• AI 大模型如何助力医疗产业升级 
• N 型技术迭代背景下对光伏产业的思考
• 具身智能—机器人新范式时代 
• 中国会出现另一个 Deel 吗？
• 超级链, L3, RAAS, 共享排序器: 寻找 Layer 2 周期的下一个 alpha
• Scale AI 何以成为数据标注行业的头部玩家？ 
• 超导材料行业洞悉及近期 LK-99 事件
• 大模型和智能化背景下 GPU 的新机遇 
• 3D AIGC- 迈向下一代内容生成方式还有多远？
• 光镊 - 那只“摸得着”微观粒子的“手” 
• 数据安全政策和市场观察
• 聊聊 AI infra LMops