【解密】谷歌内部机器学习系统Vizier曝光：用迁移学习自动优化超参数

代机器学习系统的算法堪比 F1 赛车，拥有巨大的潜力，但却无比敏感，要让系统高效运作，只能不断调参——手动调参，再加上机器学习系统是“黑箱”，无法确定内部过程究竟如何，因此调参耗时耗力，还很难出结果。

一个常见的解决方法被称为“博士生下降”（grad student descent），简单说，就是找个博士生，让他一直调参，直到算法工作为止。

Google Vizier 能够自动优化机器学习系统的超参数。使用之前研究中用过的数据，Vizier 算法能够给出一个算法最优的超参数设置建议。Vizier 使用的方法之一是迁移学习，因此，当相关数据多的时候，给出的建议质量也越高。

谷歌研究人员表示，该系统已经在谷歌内部全面使用。他们在本周公布的一篇论文中写道：“我们的部署已经得到扩展，用于服务整个 Alphabet 内部的超参数调节 workload，这个工作量是非常庞大的。”

研究人员使用 Vizier 自动调参的研究项目，“包含了几百万次 trial……如果没有这种高效的黑箱优化，这个研究项目根本无法实现”。

除了研究，Vizier 也投入了实际应用。作者在论文中写道，该系统“显著改进了许多谷歌产品的生产模型，为 10 亿多人带来了明显更好的用户体验”。这些改进包括对谷歌网站功能的自动 A/B 测试，优化字体、颜色和搜索结果的格式。例如，在谷歌地图上，系统正在优化特定搜索的相关性与该用户距离之间的trade-off，无疑，这是瞄准了提高用户的粘性和参与度。

自动调参：饼干食谱测试

不仅如此，Vizier 系统还能用于现实世界中纷繁杂乱的黑盒优化问题。这也是饼干上场的地方。
为了测试他们的系统，研究人员给谷歌食堂制作布丁的承包商提供了饼干食谱。他们对结果进行了口味测试，并追踪了厨师为提高口味所做的改变。
食谱也是一种算法，并且具有类似的黑盒的性质，因为你无法确切知道中间什么地方出错了。这项测试让研究人员测试迁移学习的方法：

他们在论文中写道：“在开始批量生产前，我们以较小的规模试验性地制作了一些食谱……这提供了有用的数据，作为我们大规模烘焙迁移学习的基础。”

虽然中间偶有插曲——例如，当面团被放置更长时间后，“意外地，颇为戏剧性地增加了实验中含有辣椒的曲奇饼的主观辣味”。不过，研究人员表示，经过几轮之后，饼干口味显着提升，

“之后几轮这些曲奇的得分极高，在本文作者看来，好吃。”

论文：黑箱优化服务 Google Vizier

摘要

任何足够复杂的系统，当实验比理解更容易的时候，都会成为黑箱。因此，随着系统变得越来越复杂，黑箱优化变得越来越重要。本文中，我们介绍了 Google Vizier，这是一款谷歌内部用于黑箱优化的服务，已经成为谷歌在调整引擎时默认使用的服务。除了优化许多机器学习模型，Google Vizier 还为其他系统提供核心功能，比如谷歌云机器学习 HyperTune 子系统。我们讨论了我们的要求，基础设施，底层算法，以及这项服务的高级功能，比如迁移学习和自动 early stopping。

Google Vizier 服务的架构如下：

论文地址：https://research.google.com/pubs/pub46180.html

编译来源：

http://www.wired.co.uk/article/google-vizier-black-box-optimisation-machine-learning-cookies