ML-Agents Toolkit v0.6：改进大脑可用性和模仿学习

今年，人工智能和机器学习是最火热的技术议题之一。自从2017年9月Unity推出机器学习代理工具，Unity引擎便揭开人工智能新篇章。在2018年的最后一天，我们将为大家介绍最新版的ML-Agents Toolkit v0.6。

根据来自用户的反馈，我们在最新发布的Unity ML-Agents Toolkit v0.6中，进行了二项重要功能的改进。

• 通过将大脑（Brains）从MonoBehavior转换为ScriptableObject，提升了大脑的可用性。

• 通过能够记录专家演示，即需要被模仿的操作集合，将其用于离线训练，从而为模仿学习提供了更好的用户工作流程。

可编程对象大脑

在ML-Agents Toolkit的早期版本中，大脑（Brain）会作为子对象附加到学院（Academy）的游戏对象。因此，我们很难在同一项目的不同Unity场景中重复使用大脑。

为了解决该问题，在v0.6版中，我们将大脑转换为可编程对象（Scriptable Object），以便将它们作为标准Unity资源进行管理。这样可以轻松地在多个场景使用大脑，并创建预先附带大脑的代理预制件。

为了完成转换过程，我们加入了全新的学习式大脑可编程对象（Learning Brain Scriptable Object），它将替换之前的内部（Internal）大脑和外部（External）大脑。考虑到完整性，我们还加入玩家（Player）和启发式（Heuristic）大脑可编程对象，分别替换了之前的玩家和启发式大脑类型。

下图是3DBall环境中更新前后的大脑实现方法，左图是ML-Agents v0.5的旧版大脑游戏对象，右图是ML-Agents v0.6的大脑可编程对象。

在ML-Agents v0.6中，你无法通过大脑类型（Brain Type）选项修改大脑的类型。你需要为玩家和学习过程创建不同的大脑。

通过在Brain检视窗口加入“Copy Brain Parameters from”复选框，我们让你可以轻松地复制大脑参数。你可以拖拽其它大脑到该字段，然后对应的大脑参数会复制到该字段的大脑上。

由于大脑不再属于场景的一部分，如下图所示，你可以在Assets菜单创建大脑。

我们现在可以更轻松地跟踪被训练的大脑。该功能可以结合学院组件中的Broadcast Hub使用。你可以将大脑资源拖到该组件，把大脑公开给外部训练过程。

勾选大脑的Control复选框等同于在旧版ML-Agents Toolkit使用外部大脑类型（External Brain Type），勾选了Control复选框的大脑都是被训练的大脑。如果不想运行训练，只要取消勾选Broadcast Hub中所有大脑的Control复选框即可。

请观看下方视频，了解如何创建可编程对象大脑（Scriptable Object Brain）。

演示录制器

现在可以在运行游戏时录制代理的动作和观测，使用录制结果通过模仿学习来训练代理或分析数据。这将允许我们为多次训练会话而重复使用训练数据，不必每次都重新采集数据。

录制代理时，我们需要将Demonstration Recorder组件添加到代理上，勾选Record并命名演示结果。

然后进入运行模式，执行想要代理执行的动作。当完成录制后，退出运行模式，演示（Demonstration）资源会创建在Demonstrations文件夹中。

为了使用该录制结果训练代理，需要修改训练配置中的超参数（Hyperparameter）。

学习资源

• 下载ML-Agents Toolkit v0.6：

  https://github.com/Unity-Technologies/ml-agents

• 了解可编程大脑详情，请访问：

  https://github.com/Unity-Technologies/ml-agents/blob/0.6.0/docs/Learning-Environment-Design-Brains.md#brains

• 了解更多演示录制器信息，请访问：

  https://github.com/Unity-Technologies/ml-agents/blob/0.6.0/docs/Training-Imitation-Learning.md#recording-demonstrations

小结

用户的意见对我们非常重要，我们会通过听取用户的想法和建议，来不断改进Unity ML-Agents Toolkit。如果有关于ML-Agents Toolkit的反馈和疑问，请在ML-Agents的GitHub Issue页面告知我们，或直接发邮箱到[e-mail]。

我们展望在2019年，Unity机器学习工具ML-Agents将加入更多功能，助力开发人员将其应用到更多的实际应用中。更多Unity最新信息，请访问Unity官方中文论坛(UnityChina.cn)!

推荐阅读

• 老上海风情建筑高清美术资源包，限时7折热销 （最后1天促销）
  

官方活动

2019年5月10日－12日上海，Unite大会强势回归。 暖冬特惠票正式开售，购票即获指定Asset Store资源商店精品21款资源的5折优惠券。［了解详情...］

购票链接：

http://UniteShanghai2019.bagevent.com

Asset Store资源商店扫货末班车（最后2天）

2018年末，我们准备了最后一辆扫货末班车，133个顶级好评资源，限时5折特惠出售！

活动时间：截至2019年1月1日

活动链接：

https://assetstore.unity.com/search?q=on_sale:yes

点击“阅读原文”访问Unity官方中文论坛