Hatena Blog Tags
はてなブログ トップ
Groq
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Groq

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
fenfenkunの日記•2ヶ月前

生成AIもGPUから専用半導体（ASIC）に移行するか

エヌビディア社の決算が好調であるが、この利益率はいつまで続くのだろうか。 以下の記事では、マイクロソフト社がエヌビディアに大量発注したことが材料となり、エヌビディア社の株価が急騰した。 仮想通貨・暗号通貨もかつてはGPUでマイニングしていたが、現在ではASIC（特定用途向け集積回路）でのマイニングが主流となっている。 [３１日 ロイター] - ３１日の米株市場で、半導体大手エヌビディア(NVDA.O), opens new tabの時価総額が約３３００億ドル増加した。米市場上場企業の１日の伸びとして過去最大を記録した。この日は半導体関連を中心に買いが入り、エヌビディアは１３％近く上昇した。マイ…

#LPU#Groq#エヌビディア#LLM#GPU

ネットで話題

もっと見る
49ブックマークGroq is Fast AI Inferencegroq.com
33ブックマークChatGPTを10倍以上高速化、秒速1,000兆回の演算ができるAIチップを開発 シリコンバレーで注目されるAIスタートアップGroqとは | AMP[アンプ] - ビジネスインスピレーションメディアampmedia.jp
28ブックマーク【Groq】一秒で500トークン、GPT-4の25倍のスピードで出力できるAIを使ってみた | WEELWEELメディア事業部LLMリサーチャーの中田です。 ここ数日で、言語生成AIの「Groq」が話題になりました。 これにより、GPTよりも高速でテキストを生成できるんです、、、！ "GPT-3.5 class LLMs are too slow." Sure, that was true last week. Here is Groq (not the same as Musk's Grok) running Llama 2. Watch for ...weel.co.jp
26ブックマーク大規模言語モデル(LLM)を爆速で動作させる「言語処理ユニット(LPU)」を開発する「Groq」が爆速アルファデモを公開gigazine.net
11ブックマークGroqのLLM Inferenceが超絶速い件に対する感想 - Vengineerの妄想vengineer.hatenablog.com
8ブックマークGitHub - danny-avila/LibreChat: Enhanced ChatGPT Clone: Features Anthropic, OpenAI, Assistants API, Azure, Groq, GPT-4o, Mistral, OpenRouter, Vertex AI, Gemini, Artifacts, AI model switching, message search, langchain, DALL-E-3, ChatGPT Plugins, OpenAI Fugithub.com
6ブックマーク【米国株】Groq半導体はエヌビディアの脅威となるのか。技術面、コスト、電力消費、ビジネスモデルを掘り下げる。｜米国株インサイトnote.com

関連ブログ

シンギュラリティ実験ノート•5ヶ月前

GroqのLPUの性能を調べてみた

GroqのLPUでLlama3-70Bを動かし、その爆速ぶりを経験した。この機会にLPUの性能を1000ドルあたりに換算した性能（コストパフォーマンス）がどの程度なのかを調べてみた。1000ドルに換算したPCの性能は、シンギュラリティの到来時期を予測する上で重要なデータとなるからだ。 製品構成 基本になるのがアクセラレータとしてのGroqCardだ。この中にLPUとしてのGroqChip１つと230GBメモリが搭載されている。PCIe Gen4 x16 インターフェイスを採用しており、メモリ帯域幅は80TB/sと桁違いに早い。 GroqCardを8枚搭載したサーバー製品がGroqNodeである…

#Groq#LPU
シンギュラリティ実験ノート•5ヶ月前

Llama3（70B）をGroqのLPUで動かしてみた

Janの最新バージョンv0.4.12が本日リリースされた。Llama3とCommand R+をサポートするようになったらしい。ダウンロードしてみたところ、GroqでLlama3の70Bが使えるようになっていた。GroqはOpenAIのようにAPIを通してサービスを提供しており、LPU（Language Processing Unit）というLLMを爆速で動かすLLM推論専用ハードを開発している会社だ。 Llama3の70B（700億パラメタ）はサイズが40GB以上あるので、我が家のLAN環境ではダウンロードするだけで数時間かかる。ここは手っ取り早くJanのAPI機能を使って動かしてみることにし…

#LPU#Groq
株歴30年生の雑感ブログ•6ヶ月前

Groq社をご存知？

おはようございます 昨晩の米国株式市場は上昇となりました。 NYダウ +235.83 39005.49 NASDAQ +246.36 16265.64 S&P500 +57.33 5175.27 VIX指数 -1.38 13.84 原油 +0.11 78.04 為替 147.60 昨日の日経平均株価は500円強の下げからほぼほぼ全戻しとなりました。少しだけマイナスで終えたところも心憎いですね。 昨日たまたまYouTubeを見ていたら、生成AIなんですが、米国のスタートアップでGroq社という会社の紹介をしてる動画に出会いました。何でも、あのchat GPT4を遥かに凌ぐスピードとレスポンスで業…

#米国株#日本株#Groq
稗田利明のIT Insights•18時間前

Meta、オープンソースAIモデル「Llama 3.1 405B」を発表 稗田利明

Meta、オープンソースAIモデル「Llama 3.1 405B」を発表 こんにちは、稗田利明です！ Metaは新しいオープンソースAIプログラム「Llama 3.1 405B」を発表しました。このモデルは、Metaのエンドユーザープログラムの多くに搭載されている「Meta AI」アシスタントを駆動します。MetaのCEOであるマーク・ザッカーバーグ氏は、オープンソースAIが未来の道であると強調し、Llama 3.1を「Threads」の投稿で発表しました。 Llama 3.1は、4050億パラメータを持つ大規模言語モデル（LLM）で、自然言語処理から複雑なデータ分析まで多岐にわたるアプリケー…

Vengineerの妄想•8日前

Cerebras SystemsとSambaNova Systemsが生成AI推論にPIVOT？

はじめに AIバブルが終わると思いきや、OpenAIのChatGPTが2022年11月にリリースされたことにより、別のバブルである生成AIバブルが発生。 生成AIバブルは、AIバブルより遥かに大きくなっています。 そんな中で、Cloud用AI Chip を開発している Cerebras Systems SambaNova Systems が 生成AI推論にPIVOTしたようですね。 vengineer.hatenablog.com The Nextplatform の記事 下記の The NextPlatform にもそのようなことが書かれています。 www.nextplatform.com …

ソフトウェア開発者のための OSS、まとめてみました！•21日前

オフラインで実行できる ChatGPT に代わる OSS！「Jan」

概要 今回は、コンピューター上でオフライン実行可能な、ChatGPT に代わるツール「Jan」についてご紹介したいと思います。 「Jan」は OpenAI のプラットフォームに代わるオープンソースベースの自己ホスト型プラットフォームとして公開されています。 クロスプラットフォーム対応のため、パソコン端末であれば Windows、Linux、macOS どれでも動作させることができるということです。 それでは早速詳細についてみていきましょう。 目次 概要 目次 特徴 ローカル実行可能 リモート API 機能 完全オフライン クロスプラットフォーム対応 拡張機能保持 利用手順 所感 まとめ ライセ…

Vengineerの妄想•25日前

Groq の V2-LPUを妄想する

はじめに Groq の V2-LPU が2025年に出てくるということですが、どんな構成になるのかを妄想します。 それでは、 Let's 妄想 DDR/LPDDR あるの？ この職 (Post Silicon Validation Lead) に、C2C, PCIe, CXL, DDRx, LPDDR controller/chips という記述がありました。消えちゃうので魚拓を取って残します。 Bring-up & Silicon Characterization Validation of C2C, PCIe, CXL, DDRx, LPDDR controller/chips Valid…

Vengineerの妄想•1ヶ月前

Groqの新しい資料から V2-LPU 2nd Gen System がある模様

はじめに 下記に、LLM Inference超絶速い Groq に関する資料を見つけました。 Groq AI Workshop, ALCF AI Testbed, June 2024 この資料の中に、V2-LPU 2nd Gen System みたいなものがありましたので、記録に残します。 2nd Gen System と 3rd Gen System については、下記のブログにて妄想しました。 vengineer.hatenablog.com 2nd Gen System と 3rd Gen System 下図は、上記のブログにも載せた図です。説明のために引用します。 2nd Gen Sys…

まる犬日記•1ヶ月前

遮熱シート！

いつも見て頂いてありがとうございます♪ 今日は窓に貼る遮熱シートを買ったので 窓に遮熱シートを貼ってました（笑）結構いいお値段でしたけど 正直そこまで期待してなかったんですが なかなか良いものでした😊 室内の気温が想像してたよりも 全然高くなりませんでした😆今日は若干曇ってたから 本領発揮というわけではないはずだけど かなり助かりますね✨本当に暑いときは更にカーテンもすれば たぶん暑さはしのげるのかなって！ これからちょっと楽かもですね😊 今日の動画です♪ https://youtu.be/2T2D7groQ9Q?si=D_RpURxgQUE4w4Yi 今日ものんびりな動画です♪ お時間あった…

Vengineerの妄想•1ヶ月前

過去を振り返る会 : 何故？日本でディープラーニング用ハードウェアを開発しないのか？

はじめに 毎週土曜日の過去を振り返る会。今回は、下記のXの投稿したものについてです。この投稿にあるURLは、2017年12年1日に書いたブログで、現在のことではありません。 何故？日本でディープラーニング用ハードウェアを開発しないのか？https://t.co/OFs9VaDsbtハードウェアを作っても、その上のソフトウェアである ・デバイスドライバ ・ファームウェア(ランタイム) ・ライブラリ ・コンパイラセット が無いと現実的には使えない。— Vengineerの妄想 (@Vengineer) 2024年8月14日 まだこの頃は、日本でディープラーニング用ハードウェアを開発していない(開発…

Vengineerの妄想•1ヶ月前

Groqの2nd Gen Systemと3rd Gen Systemについて、妄想する

はじめに 昨日は、このブログに書いたGroqの記事についてまとめました。 今回は、来年、V2 Chipが上がってきて、その V2 Chip を使った、3rd Gen System について妄想してみたいと思います。 では、 Let's 妄想 GroqNode と GroqRack 現在のプロダクトは、GroqNode を 9個、Rackに入れた GroqRack をベースにして、クラスタを構築しているようです。 下記は、ここにある Product Brief からの引用です。 Realscale Network なるものが、288 x QSFP28 個あります。 また、ホストプロセッサとしては…

Vengineerの妄想•1ヶ月前

2017年から2024年8月までのこのブログに書いたGroqに関する記事、めっちゃ多かった

はじめに LLM Inferenceが超絶速い Groq。先日、なんと、$640M もの資金調達して、10万台の LPU を導入するという。 下記のブログでも紹介しましたが、2024年では 22万台設置の予定なので、まだまだ増えそうです。 vengineer.hatenablog.com このブログでの Groq の振り返り このブログに最初に Groq が登場したのが、2017年4月13日 Google TPU、Intel Nervana Lake Crest、MicrosoftのBING用FPGA に中で、Google TPU v1 の開発者が Groq という会社を作ったよということを書…

Vengineerの妄想•1ヶ月前

GF 14nm/12nmのWaferコストとGroq/Tenstorrentのチップのお値段を妄想する

はじめに GroqのGroqChip1 は、下記のブログで $1,000 で PCIe Card は作れそうと書きました。 vengineer.hatenablog.com GroqChip 1 は、GF 14nm で開発 一方、Tenstorrent の GraySkull と Wormhole は、GF 12nm で開発 ということで、 Let's 妄想 GF 14nm/12nm のWafer Cost ？ 下記の記事によると、 ascii.jp 懸念点を挙げるとすれば、本当に「安価な」プロセスに作り直せるかどうか、というあたりだろう。現在TSMCの12nmはおおむねウェハ一枚当たり400…

Vengineerの妄想•1ヶ月前

Groqの資金調達額($1317M)、SambaNova Systems($1132M)を抜き、トップに！

はじめに 5月に、Groq が追加で $300M の資金調達したことは、このブログにも書きました。 vengineer.hatenablog.com そして、2024年8月5日、Groqは、Series D round として、$640M の資金調達をしたようです。 wow.groq.com Groq の資金調達 2021.03 : $67M 2021.04 : $300M 2024.05? : $300M 2024.08 : $640M この合計で、$1317M になりました。 他の Cloud AI Startup の資金調達額は下記のようになっています。 SambaNova $1132M…

隙間時間で学べるトレンド記事ラボ•2ヶ月前

AIモデル市場におけるGroqの革新について

〜関数呼び出し性能での首位〜 近年、人工知能（AI）技術は驚異的な進化を遂げており、その中でも特にAIモデルの性能向上は目覚ましいものがあります。中でも、GroqのAIモデルが関数呼び出しの性能で首位を獲得したことは、業界内外で大きな注目を集めています。本稿では、この技術的進展の詳細とその影響について解説します。 GroqのAIモデルとは Groqは、高性能なAIプロセッサを設計・製造する企業として知られており、特に計算速度と効率性において他社を凌駕する製品を提供しています。GroqのAIモデルは、その独自のアーキテクチャにより、並列処理能力とリアルタイム応答性において他を圧倒しています。 関…

つみかさね•2ヶ月前

オープンモデル！Meta社の最新LLM「Llama3.1（405B）」がリリースされた

オープンモデル！Meta社の最新LLM「Llama3.1（405B）」がリリースされた オープンソースの生成AI「Llama3.1（405B）」がリリースされた。最新LLMの4050億パラメータのLlama3.1、完全にGPT-4o超えていると言われています。このソフトウェアを使うにはソースをダウンロードしてインストールする方法か試用の出来るサイトで試すかの2つですが、Meta社のサイトは日本からのアクセスを拒否しています。そこでいろいろ出来るところを探したところnvidiaのサイトで試すことが出来ます。今は出来ないのですがgroqのサイトにも装備されると思います。nvidiaのサイトで試して…