rct studio 亦是拥抱Metaverse中的一员，他们的愿景是基于人工智能技术打造下一代互动娱乐体验，在用户端和生产端带来全新的用户体验和工作流程。他们相信 Metaverse 是互联网的未来，下一代的娱乐体验将会更加开放、沉浸与智能，人类与虚拟世界的互动将变得更加动态和多元。在这个始终在线的数字世界中，每个人都可以成为自己故事中的主角。
为了实现这一愿景，rct 将前沿的技术，特别是深度学习和强化学习，引入娱乐产业。他们打造了一系列的 AI 解决方案，在不同类型的多个场景中实时生成动态且个性化的交互式数字内容，帮助开发者和创作者打造真正动态、智能的虚拟世界。
近日，GameRes采访了rct studio分享他们的成立愿景、目前旗下的重点产品混沌球（chaos box）以及他们对Metaverse这一领域见解。据了解，rct studio目前接近30人，今年工作计划的主要是为游戏企业和开发者提供一系列的AI解决方案为主。同时正在开发几款小游戏，之后会逐渐发布出来。以下分享由rct讲述：
混沌球（chaos box）：深度强化学习的AI叙事引擎
直切主题，首先介绍我们目前的商业化产品——混沌球（Chaos Box），一个基于深度强化学习的AI叙事引擎。
首先，从AI行业角度来说，其实我们可以看到目前关于AI的商业化以及落地方面，视觉图像处理是比较主流且热门的一个方向。这主要是因为视觉图像对于我们人类信息加工处理的重要性，我们自出生后可能需要学习的第一个的技能就是识别面孔，然后识别周围的物体，并赋予它们意义。
并且我们大脑处理和分析的大部分数据都是可视化的，处理图像信息的速度要远远大于文本信息。
然而图像与图像之间的信息不一定是独立的，可能是存在逻辑关联的。例如，我们的视觉可以对一个桌子上所有的物体进行信息处理，但是这个桌子是谁搬来的，上面的物体又是谁放的，这部分的信息和目前眼前呈现的信息是存在逻辑关系的。正是背后的逻辑体系，让我们能以合理的方式，处理并理解我们所获得信息。
所以从这个角度来说，我们认为从逻辑端出发，可能能够帮助人类更进一步地呈现更多且丰富的信息，同时也是帮助人类更多地了解自己。
与此同时，技术的不断进步让我们与数字信息发生越来越高频、深度、沉浸与多样的交互，从文字、音频、图像、长短视频再到游戏，我们会发现，游戏化的数字内容是当前阶段数字内容集成度很高且用户能够发生交互行为最沉浸的媒介和形式。因此在通往Metaverse之路上，我们选择了游戏作为起点，并再次基础上去探索与创造实现Metaverse的路径。
我们认为，未来的数字娱乐内容的是像头号玩家或者西部世界那样具备极强的动态且个性化的交互式体验。在这个世界，你可以和具有各种不同性格特点的原生虚拟物种们建立情感连接、诉说自己的心情、分享自己的故事、表达自己的不满、感叹人生的无常。他们也会像真人一样倾听你的故事，或是表达自己的想法，或是分析他知道的一些秘密，或是参与到你对人生的讨论中。
而这一切的发生需要为虚拟生物们提供一个具备智能决策能力的“大脑”，因此我们打造了核心技术：混沌球（Chaos Box）算法，这是一个居于深度强化学习的AI叙事引擎，可以用来分析用户的实时交互输入并动态地生存虚拟角色的交互反应与故事情节。
在不需要任何脚本的情况下，混沌球（Chaos Box）不仅能控制游戏中虚拟角色的行为逻辑，让其自发地产生非常智能的行为。也能让虚拟角色们能够探索每一种真实存在的可能性，从而自主地实现一种全新且真正智能的游戏体验。
至于混沌球是如何作用在游戏开发中，首先介绍一下混沌球的原理。参考数字娱乐内容行业中的场景化创作的手法，我们把整个交互式数字娱乐体验的整体流程切片为一个一个的场景，每个场景需要确定的输入和输出，同时给出对应的设定。
场景之内的环境是封闭的，除了输入和输出之外，在进行过程中不与外界发生交互。我们可以用一张图来表示传统的叙事方式和基于混沌球的叙事方式的不同：
可以看到，传统的叙事，无论是单分支的叙事，还是现在几乎所有的所谓“交互式电影”里的多分支“交互式叙事”，都仍然是基于“事件”作为叙事的基本单元，也就是什么事情发生了，然后什么事情发生了。
无非是让用户可以自由地从给定的两到三个选项中，选择不同的接下来会发生的事件，整个叙事仍然是基于预先定义的路径来往前推进的。
而混沌球的不同点在于，我们将“事件”替换为一个又一个明确定义了入口和出口的黑盒。
你可以简单理解为，在每一个切片的混沌球里，开始和结局（一个或者多个）是确定的，但是玩家每一次如何从开始到达结局，则是混沌的，是路径不明确的。
这个路径只有当玩家不断地和虚拟世界里的虚拟人物 NPC 作出交互，这些 NPC 根据深度强化学习训练后的模型作出动态且实时的反应来推动剧情发展之后，才会不断地坍缩，直到最终被确定下来。
这也是我们为什么命名为混沌球算法的原因。因此，做到真正的交互式叙事的关键，在于将叙事的中心，从故事本身，转移到故事里的所有可能参与者身上，由所有可能参与者的逻辑来共同推动和串联不同的剧情可能性。
在某个场景中，具体的对象包含了人物（玩家和 NPC）和环境里可以被交互的物体。人物有性格、状态、动作集，物体有物理设定（包括方位、大小、形状、颜色等等）、状态、以及支持的动作。
人物拥有状态和设定之后，就对可行的动作集产生影响，比如一个胆小的 NPC，与其他人发生冲突的概率就会很低。有了输入、设定和停机条件之后，就可以利用仿真环境和深度强化学习模型对每个人物（包括玩家和 NPC）在此封闭场景下的行为策略进行探索，学习出合理的、符合目标策略的决策模型。
同时，在某一个场景下探索出来的策略（包括人物和物体的策略集），还可以被拆解和集成，在后续的场景中，可以重复使用这样的策略并进化。
这个整体架构的核心就是场景的设定，我们把这个场景设定叫做混沌球结构。⼀个混沌球就是⼀个具体的游戏场景中的最⼩逻辑单元，定义了在场景中的⻆⾊与此场景下⻆⾊的⾏为逻辑。
基于这样的设计，混沌球（Chaos Box）能在游戏和虚拟世界的体验中，实现更加动态且个性化的剧情探索。开发者们只要基于主故事线和参数来自定义设置参数，就能自动地生成无限的故事分支，从而获得无尽的变化，因为任意的两个故事和路径都是不同的。在操作体验上，游戏会包含更广泛的玩家输入，不会再有下拉列表，而是以无缝方式的体验并推进剧情发展。
同时，混沌球（Chaos Box）也能在游戏内大规模地生成具有不同行为模式和台词对话的智能 NPC，智能生物体以及智能环境。在强化学习等技术的支持下，混沌球（Chaos Box）算法能动态地生成虚拟生物的对话和交互，开发者们只需要对参数进行细微调整，就可以快速创造多个角色。这些虚拟生物会更加智能和聪明，玩家也会获得更真实刺激的角色扮演体验。
除此之外，混沌球（Chaos Box）同样能生成以对抗和陪玩等角色出现的虚拟生物，为他们提供动态且智能的行为模式。这些AI驱动的虚拟生物，会基于不同玩家进行自我进化，同时创造更丰富、更个性化的体验。更重要的是，通过设置不同的参数，混沌球（Chaos Box）可以同时支持大量且个性化十足的虚拟角色，参与到玩家体验虚拟世界的每一个环节中。
在传统的游戏生产流程中，人们需要通过决策树和状态机技术，针对性地为每一个事件中的对象、行为和结果进行明确的定义与设计，才能在一定程度上实现内容的多样性与复杂性。
为了更好的吸引玩家，游戏需要不断地更新内容。如果人们希望在现有的决策树基础上增加新的物品、交互方式、事件情况等，就得对所有相关的决策树进行修改和调整。
然而，开发者花费了非常多的人力和时间才打造出来的少量内容，用户会在短时间内以非常惊人的速度将其消耗完毕。
与决策树不同的是，混沌球（Chaos Box）为游戏中的内容提供了能够自主决策的 “大脑”，智能地生成和控制游戏内容本身以及和玩家的交互逻辑。在简单的规则和设定下，游戏开发者就可以快速地生成动态且个性化的剧情和事件、能够与玩家进行智能对话和行为交互的 NPC 等数字内容。
当开发者使用混沌球（Chaos Box）开发游戏时，只需要在简单的规则和设定下，就可以快速地生成动态且个性化的剧情和事件、以及能够与玩家进行智能对话和行为交互的虚拟角色。
与此同时，混沌球（Chaos Box）能够与传统的决策树进行任意的结合。
游戏开发者可以选择将已有决策树的某些节点替换成一个个的混沌球，在局部场景中打造无限的内容交互可能；或者也可以使用混沌球覆盖所有的游戏场景，从而制作完全开放且自动生成的动态内容。
为了让内容创意者和开发者能更以简单且高效的方式使用混沌球（Chaos Box）智能生成动态的数字内容，我们将混沌球（Chaos Box）集成到了一个云原生的平台：梦境云（Morpheus Cloud）
梦境云（Morpheus Cloud）是基于混沌球（Chaos Box）算法打造的云原生服务。当游戏接入了混沌球算法后，梦境云（Morpheus Cloud）能在玩家与游戏内容进行交互的过程中，实时生成智能的动态内容。
玩家和游戏的交互方式包括但不限于文本、语音以及所有在游戏里允许发生的交互行为，根据这些不同的交互，游戏内所有虚拟⻆色、生物以及环境内的物体，都可以实时地生成不同的内容。
当游戏开发者使用梦境云（Morpheus Cloud）进行开发时，仅需要在某个场景中，对玩家能够交互的对象进行非常简单的设定，比如角色、物体、行为等，并将所有的交互关系明确，即可在混沌球（Chaos Box）算法的帮助下进行训练，从而该场景中实现动态且个性化的剧情、智能 NPC 等交互内容。
事实上，前沿的游戏技术为行业带来了全新的可能性，梦境云（Morpheus Cloud）和AI能帮助我们实现更多之前无法实现的效果和体验。
那这个叙事引擎能为开发者带来哪些帮助呢？从最直接的体验来说，我们能够为开发者带来的好处主要体现在两个方面：提高开发效率和创造新体验。
在《荒野大镖客2》（Red Dead Redemption 2 ）之类的游戏中，每一个 NPC 都至少有 80 多页的脚本。这主要的工作都是靠人类“手工”完成的，这一切的工作无非是为了让玩家在那个游戏世界当中，感受到 NPC 的真实性。而为了保证这样的真实性，游戏厂商就需要花费大量的人力和时间成本。混沌球（Chaos Box）技术能够在不需要任何脚本的情况下，控制游戏中虚拟角色的行为逻辑，并让其自发地产生非常智能的行为。
传统制作流程 vs 混沌球制作流程
在传统的游戏生产流程中，人们需要通过决策树和状态机技术，针对性地为每一个事件中的对象、行为和结果进行明确的定义与设计，才能在一定程度上实现内容的多样性与复杂性。而为了更好的吸引玩家，游戏需要不断地更新内容。
如果人们希望在现有的决策树基础上增加新的物品、交互方式、事件情况等，就得对所有相关的决策树进行修改和调整。然而，开发者花费了非常多的人力和时间才打造出来的少量内容，用户会在短时间内以非常惊人的速度将其消耗完毕。比如，在Red Dead Redemption 2 中，玩家可能去一个酒吧转了一圈就出来了，这也就意味着关于酒吧这个场景内的游戏内容就被玩家消耗掉了。
可以说，随着不断的迭代和发展，混沌球（Chaos Box）技术是真正能实现《龙与地下城》（Dungeons & Dragons）那种玩家可以进行自由的交互、探索和体验个性化的剧情体验。另外，当混沌球（Chaos Box）技术结合推荐算法，这也为当前的游戏玩法进行了进一步的创新，这种以个性化和涌现式为代表的玩法，在为每一个玩家提供千人千面的内容体验的同时，也能更好地激发玩家在虚拟世界中进行探索和创造的新需求，从而带来新的游戏体验。
实践案例：“盗梦人”技术demo
我们基于混沌球技术做了一个技术demo “盗梦人”，这个项目我们大概开发了一个月，自由交互与动态且个性化的剧情是它的主要特征。
Demo展示：https://www.jianguoyun.com/p/Dd-VwJwQivLFCBiliq4D
在这个“盗梦人”里，玩家扮演的角色会与其它四个NPC互动。而在这四个NPC的背后，我们没有提前设定任何的脚本和行为树，他们完全是由我们的AI模型驱动的。我们仅仅是对这个场景中的物体、角色性格和被允许发生的行为做出了具体的描述和定义，然后通过强化学习引擎和仿真引擎的训练与模拟，就在该场景设计了背后的“大脑”。
当玩家和该场景中的任意物体和角色进行交互时，这个“大脑”就会根据玩家的操作，实时地控制场景内角色的行为和与物体发生具有性格特点的动作交互。
我们可以看到，玩家的交互输入包括：语言、文本，还有各种行为方式，这些输入状态可以动态且智能地被这些NPC进行处理和决策，从而这些NPC能够在实时地生成一定的故事剧情。
实际上我们的这个技术是把叙事的中心转移到每一个NPC自己的身上，基于这个技术我们其实对传统的叙事带来了非常颠覆性的改变。
而想要NPC在游戏中实现“真实性”演绎，我们的答案是基于游戏数据的应用。
首先，游戏中的“真实性”与“互动性”都是非常重要的核心。真实性是玩家在一个虚拟世界里主观构建出来的，它的本质是在于游戏内和玩家陪伴的、玩家操控的、或者是与玩家对抗的这些角色的行为的动态丰富程度。而“互动性”是玩家是在游戏过程中所体验到的，比如说在很多的逃杀类游戏里，和钢枪流相比起来，很多年轻玩家更喜欢通过语音或文字相互交流，进行互动，也比如说在很多 SLG 游戏里，很多玩家追寻的其实是和卡片里的人物角色之间的养成关系，和另外一部分对战斗狂热的核心玩家相比，这些玩家对战斗没有强烈的欲望，而更看重和角色之间的互动和情感连接。
所以我们可以看到，当我们在强调通过更细维度的用户行为数据（In-Game Data）来生成游戏内的更个性化的体验的时候，这里的“个性化”和“真实性”其实并不是冲突的，相反，这两者都在强调一个核心，那就是让玩家体验到此刻他最想体验到的内容，看到最能够吸引他的情感和冲动的反馈。
例如，在二次元游戏或者模拟经营类的游戏里，玩家和虚拟角色之间的情感互动主要通过基于文本的对话来实现和维系。传统的技术下，策划需要消耗大量的时间和精力来生产这些对话内容，而且这些内容在用户交互的过程中也只能以一个静态的方式呈现给用户，即用户只会在可能性极其有限的分支里去获得一种内容体验。
随着自然语言文本生成技术的进步，更大规模的语言模型让更加动态的对话树和对话内容的自动生成逐渐变得可能。比如，在特定场景的对话中，人物在受到场景状态和条件的约束下，可以从极少的语料里，生成大量表达方式各不相同的台词文本，也可以根据状态的不同自行调整表达方式，而人物的对话树也可以由预先训练好的语言模型自行进行发散，生成出几十甚至几百层、每个节点都能延伸出多个子分支的对话树。
这对于传统的工作流程和用户体验都是一个极大的提升和改进。除此之外，对话的生成也可以根据玩家的行为偏好来进行自我调整，每一个角色的台词都会根据不同玩家不同的性格特征动态的变化，这些潜在的应用都会极大的提升用户体验里的“互动性”。
再例如，在一些逃杀类、休闲类的游戏里，为了维持真人玩家所能获得的“真实性”，特别是在一些不平衡的游戏机制里，运营方必须使用大量的 AI 来填充匹配时所遭遇到的其他玩家。这些不平衡的游戏机制给匹配提出了更困难的挑战：玩家遭遇到的对手必须要符合玩家当前的水平，否则不仅无法保证“真实性”，连游戏给玩家带来的成就感和好胜心都会被因此而摧毁殆尽。同时，在这样的游戏里，当玩家开始因为“真实性”不足而流失的时候，更多的玩家会因为其他玩家的流失而匹配到 AI，进一步地形成一个大量用户流失、数据崩盘的恶性循环，这也是很多休闲游戏在持久化运营上遇到的问题。
然而，更加性格化的 AI 的引入能够让玩家在体验上获得更优质的、更具有自我迭代能力的“真实性”和“互动性”。不同难度下的 AI 可以具有不同的性格特征，比如激进的、佛系的、搞怪的等等，且在行为和对话表现出不同性格特征的同时，可以根据匹配到的真人玩家的行为数据，动态的调整策略以及生成的内容。基于强化学习和推荐算法的结合来实现个性化的反馈内容，这将是比传统的大数据方法更加精准，更加智能的运营方法。
从模拟经营到养成，从休闲到棋牌，从卡牌到 ARPG，从 MMO 到开放世界，几乎所有的游戏类型背后都有这样一个核心的对于长期运营的关键要素贯穿其中，那就是提升玩家所感知到的互动性。无论是简单的基于经验的数据分析来优化数值和运营策略，还是加入一些对话机器人来实现游戏内一些功能性的问答，或者是针对不同的玩家群体设计具有不同行为树的 AI，这些都代表了一个新的时代的开端，一个基于更智能、更精细化运营的游戏体验来和用户互动的新时代。
当然，实现更真实的游戏叙事和NPC互动表示，在技术实现上也有诸多难点。
首先是算法本身的难点。目前为止，强化学习在数字娱乐 AI 领域的应用主要是在智能体的开发上，它使得我们不需要标记的样本就能让智能体自己在某一个虚拟的世界中自己进行探索与学习。比如，DeepMind 的傲人成绩几乎都是基于数字娱乐内容的，它用 DQN 玩 Atari 游戏，用 AlphaGo 打败围棋高手，而 AlphaZero 甚至能精通围棋、国际象棋和将棋三大领域。
此外，在数字娱乐内容的设计、生产、分发、运营等多个环节提供价值，比如内容生成、用户模拟、自动化测试、用户建模等，强化学习也有着很广泛的应用，其目的则都是围绕着如何提升玩家在数字娱乐中的体验和提高制作过程中的工作效率。
但是在与现实场景更接近的多智能体（Multi-Agent）多目标（Multi-Objective）环境下，或者换一种更直白的说法，在以剧情或以故事体验为主的数字娱乐场景下，目前还没有较为成熟和高效的强化学习框架和解决方案。
这类场景的经典代表作品就是各式各样的传统的角色扮演类游戏 （Role-Playing Games）以及如今越来越成为趋势的交互式数字娱乐内容。
这类数字娱乐内容里的智能体往往更加的多样和独立，且每个智能体的目标不再像竞技性场景下那样明确和易于定义，因此我们称之为多智能体多目标的环境。
其次是技术和场景结合中的难点，游戏有很多类型和玩法，在这背后是多种游戏机制的结合与协调。在不同的场景中，NPC所扮演的角色和承载的职能也不同，这也让混沌球技术和传统决策树技术结合时，需要根据具体情况进行融合以及参数的调整和优化。
另外，考虑到不同游戏的开发引擎和技术环境也有差异，我们在将混沌球（Chaos Box）技术和游戏进行结合的时候，也遇到了非常多的工程问题。虽然有很多不容易解决的点，但我们已经攻克了大部分的问题，逐渐打造了一系列插件、借口，也形成了一套技术层面的操作方法论。
合作案例：与悠米互娱联手打造《代号：奥德赛》
去年11月份，rct studio宣布与悠米互娱达成合作，rct将使用混沌球（Chaos Box）技术全面协助悠米互娱共同打造一款3A级赛博朋克开放世界MMO游戏《代号：奥德赛》。
为了实现几乎无限且高度自由的交互可能性，我们通过内嵌自主研发的核心技术混沌球（Chaos Box）的云原生引擎 Morpheus Cloud，为《代号：奥德赛》打造了不计其数的虚拟角色。这些具有智能意识的虚拟世界原住民，大量的分布在游戏中的每一个角落。他们可以感知整个虚拟世界的状态与变化，从而使玩家的交互不再受限与固定且重复的对话和选择。
玩家可以操作自己的虚拟化身，与他们做出任何能被允许发生的行为，享受更加刺激真实的角色扮演体验。同时，这些虚拟角色也将成为玩家在虚拟世界中的原生好友，玩家在与他们进行非常真实且个性化的交互中，会和他们建立独特且丰富的情感连接。
这些具有如同真人般情感的虚拟角色，正是由混沌球（Chaos Box）赋予了他们千变万化的多样性，从而让他们在和玩家交互的过程中，实时地给玩家带来层出不穷的独特体验，陪伴玩家探索《代号：奥德赛》里广阔无垠的赛博朋克世界，并共同创造属于玩家自己的剧情、故事和虚拟人生。
混沌球（Chaos Box）也真正实现了让玩家能够主动地参与这个世界的改变，从而将《代号：奥德赛》打造成一个真正开放且 “活着的” 虚拟世界。
最后，简单再说下，rct studio致力于使用人工智能打造下一代交互式娱乐体验，使命是帮助人类更多地了解自己。我们的合作伙伴来自世界各地，他们有着不同的文化和背景，这正是 Metaverse 不可缺少的元素。我们在使用 AI 为全球用户带来下一代交互式娱乐体验的同时，也在与他们共同创造 Metaverse 和属于每个人自己的故事。
原文：https://mp.weixin.qq.com/s/TTGY9MsUdl4l-eODWiXYuw