Hatena Blog Tags
はてなブログ トップ
LPU
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

LPU

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
シンギュラリティ実験ノート•3ヶ月前

JanのモデルにGroqのLlama3.1-70bを追加する方法

ブログのサイドバーに「注目記事」を表示するようにした。直近のアクセスでアクセス数の多い記事が表示される。これを見るとブログ開設当時に書いた２つの記事が常に１位、２位となっている。Googleで「ROCm」と検索すると１位の「AMD ROCmを使うことで何ができるのか」が上位にくるからと思われる。「Ubuntu環境でGPUドライバをインストールしMNIST」がなぜ２位にくるのかはよく分からない。機械学習を学ぶ大学生あたりが読んでくれているのだろうか？ 更に不思議なのは「Llama3（70B）をGroqのLPUで動かしてみた」が上位にあることだ。おそらくGoogleから「Groq LPU」というキ…

#Groq#LPU

関連ブログ

fenfenkunの日記•6ヶ月前

生成AIもGPUから専用半導体（ASIC）に移行するか

エヌビディア社の決算が好調であるが、この利益率はいつまで続くのだろうか。 以下の記事では、マイクロソフト社がエヌビディアに大量発注したことが材料となり、エヌビディア社の株価が急騰した。 仮想通貨・暗号通貨もかつてはGPUでマイニングしていたが、現在ではASIC（特定用途向け集積回路）でのマイニングが主流となっている。 [３１日 ロイター] - ３１日の米株市場で、半導体大手エヌビディア(NVDA.O), opens new tabの時価総額が約３３００億ドル増加した。米市場上場企業の１日の伸びとして過去最大を記録した。この日は半導体関連を中心に買いが入り、エヌビディアは１３％近く上昇した。マイ…

#LPU#Groq#エヌビディア#LLM#GPU
シンギュラリティ実験ノート•9ヶ月前

GroqのLPUの性能を調べてみた

GroqのLPUでLlama3-70Bを動かし、その爆速ぶりを経験した。この機会にLPUの性能を1000ドルあたりに換算した性能（コストパフォーマンス）がどの程度なのかを調べてみた。1000ドルに換算したPCの性能は、シンギュラリティの到来時期を予測する上で重要なデータとなるからだ。 製品構成 基本になるのがアクセラレータとしてのGroqCardだ。この中にLPUとしてのGroqChip１つと230GBメモリが搭載されている。PCIe Gen4 x16 インターフェイスを採用しており、メモリ帯域幅は80TB/sと桁違いに早い。 GroqCardを8枚搭載したサーバー製品がGroqNodeである…

#Groq#LPU
シンギュラリティ実験ノート•9ヶ月前

Llama3（70B）をGroqのLPUで動かしてみた

Janの最新バージョンv0.4.12が本日リリースされた。Llama3とCommand R+をサポートするようになったらしい。ダウンロードしてみたところ、GroqでLlama3の70Bが使えるようになっていた。GroqはOpenAIのようにAPIを通してサービスを提供しており、LPU（Language Processing Unit）というLLMを爆速で動かすLLM推論専用ハードを開発している会社だ。 Llama3の70B（700億パラメタ）はサイズが40GB以上あるので、我が家のLAN環境ではダウンロードするだけで数時間かかる。ここは手っ取り早くJanのAPI機能を使って動かしてみることにし…

#LPU#Groq