Wang, Weiyang, et al. "Topoopt: Co-optimizing network topology and parallelization strategy for distributed training jobs." arXiv preprint arXiv:2202.00433 (2022). [paper] 概要 どんなもの? Metaにおける分散DNNトレーニングジョブの解析 それをもとにした、分散DNNに適したネットワークトポロジと並列戦略の最適化 先行研究と比べてどこがすごい? 既存研究ではネットワークトポロジを固定して、分散DNNの並列戦略のみを考えて…