FSコミュニティで原文を読む 大規模モデルトレーニングの領域では、多くの場合、8 A100、A800、H100、またはH800のようなモデルを搭載し、場合によっては{4, 8}のような今後のモデルを組み込んだ、シングルマシン8GPUユニットで構成されるクラスタが基盤となっています。L40S のようなモデルを組み込むことも可能です。以下は、8個のA100 GPUを搭載した典型的なホスト内のGPUコンピューティングのハードウェアトポロジーを示しています: この記事では、描かれた図に基づき、基本的な概念と用語を掘り下げて説明します。 PCIe スイッチチップ 高性能GPUコンピューティングの領域では…