Colab Pro

せっかくColab Proが使えるようになったので、ローカルPCでは動かせないような大規模言語モデルを動かしてみたい。そこで選んだのが東大松尾・岩澤研が最近発表したTanuki-8x8Bである。8x8Bとは公開ページの説明によると「8Bモデルを8つに複製し、それぞれを専門家モデルとして分化・連携させることで動作するように効率的に追加学習されたモデル」らしい。素人には分からないが凄いことをしているようだ。実際に動かして雰囲気だけでも味わってみたい。 動かし方（推論させる方法） こちらに松尾研LLM開発プロジェクトメンバーの方の説明がある。方法として以下の５つの方法が書かれている。 vLLMによる…

ABEJAのCTO室の村主です。ABEJAアドベントカレンダー2024 6日目のブログになります。 本日は、「新技術・サービス検証支援」という支援施策の内容と狙いを書いていきます。 ABEJAに興味ある方や、AI系ツールの支援設計を行う方に参考になればと思います。 「課題」と「狙い」に想いが詰まっているのでそこだけ見ていただくでもOKです。それ以降は施策の工夫点になります。 「新技術・サービス検証支援」の特徴 課題 元々ABEJAではご多分に漏れずChatGPT Plusの利用を支援する施策を行なっていました。しかし昨今、2週間単位くらいで色々なAIツールがバズります。Gemini ProやC…

Google Colabの料金体系と活用方法：完全ガイド はじめに Google Colaboratory（以下、Google Colab）は、プログラミングや機械学習の学習・開発を劇的に効率化するクラウドベースの開発環境です。本記事では、Google Colabの特徴や料金体系、具体的な活用方法について詳しく解説します。 Google Colabの主な特徴 ブラウザ上で即座にPython開発環境が利用可能 無料でGPUやTPUが使用できる 環境構築が不要で、すぐに作業開始が可能 主要な機械学習ライブラリが事前にインストール済み 料金プラン別の機能比較 無料プラン 無料プランでも充実した機能が…

はじめに Google Colabとは？ Google Colabのメリット Google Colabの使い方 1. 事前準備 2. コードの実行 例：簡単な計算を実行 結果 3. メモの記述 例：Markdown記法 Google Colabの活用方法 ファイルの扱い方 Google Driveとの連携 ファイルのアップロード Google Colabの有料版（Colab Pro） Google Colabの開発ポイント ライブラリのインストール GPUの有効化 まとめ はじめに Google Colaboratory（略称: Google Colab）は、ブラウザ上でPythonコードを実…

Google Colab Proの更新が昨日朝に掛かる予定だったが、突然注文が保留されているというメールが届いた件。毎月支払っているはずのカードでいきなり通らなくなるのはちょっとおかしい(フィッシングの可能性もあるけど)。それを裏付けるのがカードの利用速報通知であり、オーソリ自体は成功している(その後決済エラーと同時にオーソリは取り消されている)。支払いに使用しているカード情報を何もいじらずに更新したら普通に通ることは確認した(200円オーソリ後即取り消し)が、支払いするカードを変えないと保留状態になっている決済の即再試行ができないっぽいので、同日中にGoogle お支払いセンターの通知から別…

以前の記事で、Tanuki-8x8Bのオリジナル版が動く環境について調べた。96GBのVRAMが必要で400万円クラスのマシンが必要であることが分かった。 今回は、Tanuki-8x8Bの量子化版、あるいは70B（700億パラメタ）クラスのLLMがローカルで快適に使える環境について考察してみた。 ここで「ローカル」LLM環境にこだわる理由は、単純に自分でLLM環境を構築してみたいからだ。その意味ではローカルマシンで動かすことにこだわっているわけではなく、推論処理自体はクラウド上のGPU環境で実行しても問題はない。 日本語性能の高いオープンLLMモデル 現在、日本語性能が満足できるオープンなLL…

Tanuki-8x8Bのオリジナル版のモデルサイズは94～95GBくらいある。このサイズになると通常のPCクラスでは動かすことができない。そこでColab ProのようなクラウドのGPUを借りることになる。しかしワークステーションと呼ばれるクラスのマシンを購入すればローカルな環境でも95GBサイズのモデルを動かせることを最近知った。 Tanuki-8x8Bオリジナル版の動かし方 以下のサイトに解説記事がある。 使用マシンにはNVIDIA RTX A6000というGPUが２枚使われている。１枚でVRAMが48GBあるので96GBのVRAMになる。 Tanuki-8x8Bオリジナル版を動作させるに…

DeepLearning系の将棋AIを十分な性能のGPUで動かしたい時に、Google Colab Pro（以下、Colab Pro）が使えそうだと思った。支払い方法が気になるのでそこから調べたところ、Googleアカウントに登録した支払い方法がColab Proの支払いに使われることが分かった。更に自分のGoogleアカウントを確認したところ、いつ登録したか覚えていないが、既にクレジットカードを登録していた。クレジットカードを新たに登録することに抵抗があったが、既に登録しているのでここで一気にハードルが下がり、Colab Proを契約して使ってみることにした。 プランの種類 Pay As Y…

実験のモチベーション Colab Proを契約してますがちょっとした実験であっても仕事終わって夜から学習始めて寝る前に終わらないじゃんというのが結構あります。 もちろん、ノートPCの画面を閉じなければ継続できますがあまり気乗りしないし、Colab Pro+ にアップグレードするとバックグラウンドで実行できるけどそのために月5,767円を払うのはちょっと.. といったところです。 普段はクレジット消費をケチってT4を使っていますが、L4やA100のほうが処理が速いはずだし、実際の所、どのGPUを使うのが最も効率が良いかを調べる実験をしました。 各GPUのクレジット消費 リソースモニターのプルダウ…

AI Chat に課金をしているので、サブスクが多くなりすぎたので、Google Colab Pro を解約しました。Google Colab のインターフェースは便利な事も多いので、 今後はローカルランタイムを使っていこうと思い、ChatGPT に次のような質問をしました。 オレ Google colab をローカルランタイム(Windows WSL) で使用しています。(Python 3.12.3) venv 環境を使い pip install jupyter で Jupyter Notebook をインストールし jupyter notebook --NotebookApp.allow_…

こんにちは、MochiMermaidです。 画像生成はStable Diffusion Web UI（AUTOMATIC1111版）を使っていて 現在の私の環境はグラボのないノートPCとColab Proです。 ローカルで画像を生成する環境にしたくて グラボを買うための副業を始めました。 自分の都合良い日だけ、しかも短期間だけ働けるものを探したところ ポスティング（チラシ配り）をすることにしました。 今年の11月頃に買う計画です。 その事に関しては、また別の日に詳しく書きたいと思っていて 私がこのブログで書きたかったことは、今日は暑かったなぁということと ポスティング中に見かけた向日葵がきれい…