Yu-Ren LIU, Yi-Qi HU, Hong QIAN, Chao QIAN & Yang YU. ZOOpt: Toolbox for Derivative-free Optimization. Sci China Inf Sci, DOI: 10.1007/s11432-021-3416-y
近年来无梯度优化取得了巨大进展。无梯度优化方法能够有效逼近一些复杂函数的全局最优解。这些函数通常具有多个局部最优点，甚至不可微或非连续，这使得传统的基于梯度的优化工具难以解决这类问题。本文介绍了无梯度优化工具箱ZOOpt，该工具箱实现了多个具有理论保证的高效的无梯度优化求解器，使用起来非常简单。 ZOOpt重点关注机器学习任务中的优化问题，这些问题常常具有高维度、带噪声、评估耗时的特点。典型的任务包括超参数优化和直接策略搜索等。为了支持这类任务，ZOOpt实现了一组高效的基于分类的无梯度优化方法，并使用附加模块专门处理高维度输入以及噪声。为了进一步加速优化过程，ZOOpt实现了基于Python内核的单机并行优化和针对大规模任务的多机分布式优化。ZOOpt的分布式优化模块基于分布式平台Ray框架搭建，这使得用户能够方便地部署分布式优化任务。ZOOpt支持在连续、离散以及混合空间上的优化，同时也支持带约束的二元向量空间中优化。
使用方法：ZOOpt使用起来很容易。在定义好目标函数和相应的搜索空间后，仅需一行代码即可使用ZOOpt的优化接口Opt.min进行优化。如果需要使用一些高级功能，例如高维处理程序或噪声处理程序，用户可以定义更详细的Parameter对象，并将该对象传入Opt.min。用户通过对这些参数进行细粒度的控制可以自定义优化程序。ZOOpt是Ray.tune (一个用于快速优化超参数的库)中可选的优化工具。用户只需提供额外的服务器IP地址即可将优化任务分布式化，而无需担心底层通讯细节。
工具箱已开源：https//github.com/polixir/ZOOpt
最新录用文章未经编辑加工，可能会与最终出版文章有微小差异。点击下方阅读原文按钮，快速获取文章预发表版本。
《中国科学：信息科学》| SCIENCE CHINA Information Sciences
及时报道计算机科学与技术、控制科学与控制工程、通信与信息系统、微电子与固体电子学等领域基础与应用研究方面的原创性成果.
英文版投稿：https://mc03.manuscriptcentral.com/scis
中文版投稿：https://www.scicloudcenter.com/SSI/login/index
快速访问：http://scis.scichina.com/