小茶来自奥菲寺

量子报道| QbitAI，微信官方账号

土豪最痛苦的是硬件很多却达不到1+1=2的效果。

AI训练中的并行计算就是这种情况。即使你有1000个GPU，也无法达到单机训练的1000倍效果。

最近，不缺钱的谷歌开辟了SEED RL框架，让AI训练更容易在数千台机器上运行，效果比之前的方法提升高达4倍。

如果你不缺钱，在云中做大规模并行计算，可以节省80%的培训成本。考虑到现在一个大型AI模型在培训上要花费几百万，确实是相当可观的。

在训练AI玩足球游戏时，SEED RL的处理速度可以达到每秒240万帧。如果以60fps计算，相当于每秒处理11小时的游戏画面。

使用64个云TPU核心，数据传输速度为每秒240万帧，比最新的分布式IMPALA高出80倍。

IMPALA需要14000个CPU才能达到同样的速度，而SEED RL只用了4160个CPU。同样的速度，IMPALA需要的CPU是SEED RL的3~4倍。

通过优化并行计算的硬件加速器，我们可以安全大胆地增加模型的大小。

在上述足球比赛任务中，通过增加模型大小和输入分辨率，可以解决一些之前没有解决的困难，大大提高训练模型的效率。

入口

论文地址:https://arxiv.org/abs/1910.06591

GitHub地址:https://github.com/google-research/seed_rl