Colab Pro

このタグの解説について

この解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。

シンギュラリティ実験ノート•5ヶ月前

Colab Pro A100 GPU で dlshogiを試す

Colab Proの高性能GPUを使ってdlshogi（DeepLearning系将棋AI）を動かすとNPS値がどれくらい上がり、ELOレーティングがどれくらい上がるのか試してみた。 A100 GPUの性能使用したA100 GPUの性能は、GoogleのAIのGemini1.5Proの回答によると以下の通り。 A100 GPU: FP32: ~19.5 TFLOPS FP16: ~312 TFLOPS TF32 (TensorFloat-32): ~156 TFLOPS BFLOAT16: ~312 TFLOPS FP64: ~9.7 TFLOPS 先日試したT4 GPUに比べるとFP32で…

#将棋AI#dlshogi#Colab Pro

関連ブログ

シンギュラリティ実験ノート•5ヶ月前

DeepLearning系の将棋AIをColab Proで動かす

DeepLearning系の将棋AIの本来の強さを知るためには、NVIDIA製GPUと高性能な推論ランタイムライブラリであるTensorRTの環境が必要である、ということは先日の記事で書いた通りだ。そこで今更ではあるが、dlshogiと水匠5をColab環境の有料版にインストールして対局させ、強さを比べてみた。数年前に公開されているモデルなので、Colab環境で動かしたことがある方は多いだろう。私も以前に動かした記憶があるが、正確に強さを計測していなかったので、改めてインストールして計測してみることにした。なお、Colab上でdlshogiと水匠5を対局させるだけなら、Colab無料版でも…

#将棋AI#dlshogi#水匠5#Colab Pro

シンギュラリティ実験ノート•5ヶ月前

東大松尾・岩澤研のTanuki-8x8BをColab Proで動かす

せっかくColab Proが使えるようになったので、ローカルPCでは動かせないような大規模言語モデルを動かしてみたい。そこで選んだのが東大松尾・岩澤研が最近発表したTanuki-8x8Bである。8x8Bとは公開ページの説明によると「8Bモデルを8つに複製し、それぞれを専門家モデルとして分化・連携させることで動作するように効率的に追加学習されたモデル」らしい。素人には分からないが凄いことをしているようだ。実際に動かして雰囲気だけでも味わってみたい。動かし方（推論させる方法）こちらに松尾研LLM開発プロジェクトメンバーの方の説明がある。方法として以下の５つの方法が書かれている。 vLLMによる…

#Tanuki-8x8B#Colab Pro