こんにちは!AIとファイナンスの世界に足を踏み入れたばかりの皆さん、そしてすでにその道を進んでいる皆さんにも、今日はとっておきのツールをご紹介します。その名も「Google Colaboratory」、通称「Colab」です。この記事を読むことで、Colabが何であるか、そしてどのようにして私たちの研究やプロジェクトに役立てることができるのかを解説していきます。また最後に実際のColabノートブックへのリンクも貼っていますのでご自由にお使いください! Google Colaboratoryとは? Google Colabは、ブラウザ上でPythonコードを書き、実行することができる無料の研究ツ…
本記事はColabでも公開しています。 ※Colabの解説記事はこちら condacolabとは? condacolabの使い方 インストール メソッド:condacolab.install condacolab.install_miniconda() condacolab.install_miniforge() condacolab.install_mambaforge() condacolab.install_anaconda() condacolab.install_from_url() condacolab.install() メソッド:condacolab.check ライブラリのイ…
こんにちは、ラボで研究開発をしたりプロトタイプを作っている藤本(X(Twitter))です。ABEJAアドベントカレンダー2023の21日目の記事です。ここ近年、生成AIの勢いが凄いです。最近は一夜明けたら世界が変わっているみたいなことがしょっちゅう起きています。そんな状況なので、なかなか世の中についていくのが難しいのではないかと思います。そこで今回は、これまでに色々と出てきた生成モデルを振り返りつつ、ひたすら思いつく限りColabで動かしまくってみる企画をやってみようかと思います。流石に全部Colabで動かすのは大変でした・・・。 まずは言語を対象として日本語モデルを含む様々なモデルを対象に…
元々のJupyterコマンドとかぶるかららしいです。 Google Colabは、Jupyterコマンドを継承しています。Jupyterでは、現在の作業ディレクトリを変更する場合は、組み込みのマジックコマンド%cdを使用します。 上記は、いかの記載を引用。 github.com だから、、、 びっくりマークをはずす。 または、%をつける。
個人的な勉強会で作った資料です。 詳しい方から見たらふざけるな的な内容ですが10分解説なので許して下さい。 本記事はGitHub、nbviewer、Colab、Marp(スライド形式)でも公開しています。 ※Colabの解説記事はこちら ※Marpの解説記事はこちら 数値解析のアプローチ 離散化について -差分法を例に- 計算例1:放射性物質の崩壊 現象 数学モデル(微分方程式) 数値モデル(代数方程式) 厳密解 計算結果 の計算結果 の計算結果 の計算結果 の計算結果 他の差分法 の計算結果 計算例2:移流方程式 現象 数学モデル(微分方程式) 数値モデル(代数方程式) 前進差分 後退差分 …
個人的な勉強会で作った資料です。 本記事はGitHub、nbviewer、Colab、Marp(スライド形式)でも公開しています。 ※Marpの解説記事はこちら Google Colaboratoryについて Colabの起動 Colabの実行 90分ルール・12時間ルール 90分ルール 12時間ルール Colabのファイル形式、保存先、Google Driveの活用 Colabの独自コマンド Linuxコマンドの使用 ライブラリをインストール Google Driveをマウント Google Colaboratoryについて Google Colaboratory(通称Colab)は、Goo…
開発環境構築なし。ブラウザ上ですぐに実行できるサービス。Pythonの実行、コメント追加、公開もできるんだそう。 https://colab.research.google.com ※Googleアカウントのログインが必要です。 Colabノートブックという形式になっている。テキストとコードの2つが並んでいく形。 コード入力用のセルと呼ばれるエリアが最初に表示されているので、文字列の出力をしてみました。 print()を省略して変数名だけぽんとおいても内容を出力するらしいので試してみました。 三角ボタンで実行。 テキストの入力はマークダウンらしく、改行は見た目どおりではなく「 (半角スペース2…
www.jcp.or.jp
初心者が10分もあれば作れるAIがあるだと!? そんなHappyなことあるわけなかろう… ということで作ってみました。
Stable Diffusion2.0をcolabで使う 数日前に登場したStable Diffusion2.0は、1.5までとは異なる構成のため、モデルの変更だけでは使えない。現時点ではStableDiffusion2.0の5つあるモデルの内、768x768モデルのみ利用方法が開示されたのでそれを説明する。 また今まで必要だったHugging Faceの認証も2.0から不要になった。 導入方法 AUTOMATIC1111でStable Diffusion2.0を使用する方法を説明しているサイトは以下。慣れた方はこのサイトを見れば分かると思う。 github.com サイトの解説 現時点では7…
ずっと首を長くして待っていたゼロから作るDeep Learning ❺ ―生成モデル編を読みました。 www.oreilly.co.jp 今間までのゼロからシリーズに比べるとコード少なめ、数式多めです。 全体の構成としては、確率統計のおさらいから、正規分布、GMM、ニューラルネットワークと順に説明していきます。ここまで前半。後半はVAEの説明、実装から入り、拡散モデルへと話が進んでいきます。 数式の説明はすごく丁寧なのですが、やはり難しいと感じました。完全に理解するためには、あと何周かしないと駄目そうでした。 コーディング部分は、実装上のテクニックよりは、出てきた数式をどうPythonに実装す…
筆者は、現在、Google Colabにて、MMVCのAI学習を行っています。 学習を開始から1時間前後で接続が切れてしまいます。 こちらの記事によれば、3時間程度で下記の確認メッセージが出るとあるのですが、そういったメッセージも表示されていません。 何かわかりましたら、追ってお知らせいたします。また、時々(アカウント作りたてなら頻繁に)『まだ操作中ですか?』という画面が出ます。数分以内に『私はロボットではありません』を押さないと接続切断されますので、注意してください。長く使用しているアカウントでも、3時間に1回は表示されるため接続切断を避ける場合は時々ブラウザを確認してください。
教科書の「不等流計算」は理解できるが、実務で汎用される「準二次元不等流計算」がなかなか理解し難い方に向けて、記事を書きました。 多分相当わかりやすいと思いますので、河川行政に関わる方やコンサルの方に読んで頂きたいです。 全4回の第4回目です。 第1回:河川技術者向け基礎講座 準二次元不等流計算1/4:不等流計算の基礎 - 趣味で計算流砂水理 Computational Sediment Hydraulics for Fun Learning 第2回:河川技術者向け基礎講座 準二次元不等流計算2/4:一般断面の不等流計算 - 趣味で計算流砂水理 Computational Sediment Hy…
先日「Llama-3-70Bを刈り込み(Pruning)で42Bに縮めたモデルが登場」というRedditの投稿が話題になっていました。 投稿者はおなじみのkindacognizant(kalomaze)さんですが、モデル作成者は別の方のようです。モデルのHuggFaceのRepoはこちら。 huggingface.co このモデルを実際に触ってみましたが、InstructモデルではなくBaseモデルを刈り込んだものなので正直なところ良し悪しはよくわかりませんでした。 投稿によれば、Pruned-Llama3のMMLUスコアは76-77(4bitでテスト)で、元の79から若干低下しているものの、…
スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); 今回はAnyLoraCleanLinearMix_ClearVAEとLoRAでその着せ替え人形は恋をするの喜多川海夢の水着画像生成をやってみました この記事は備忘録になります 目次 目次 この記事でわかること 1.実行環境 2.生成結果 3.参考 スポンサーリンク (adsbygoogle = window.adsbygoogle || []).push({}); この記事でわかること google colabとdiffusers上でその着せ替え人形は恋をするの喜多川海夢の水…
はじめに** Pythonを学びたいけれど、環境設定が面倒な方やすぐに試してみたい方におすすめなのが、Google Colabを使った学習方法です。この記事では、Google Colabの基本から、あなたが最初のPythonプログラムを書くまでをわかりやすく解説します。 Google Colabとは?** Google Colabは、Googleが提供するクラウドベースのノートブック環境で、Pythonコードを書いて実行することができます。インストール不要で、Googleアカウントがあれば誰でも無料で利用開始できます。 ColabでPythonを始めよう** Google ColabでPyth…
こんにちは。Algomatic の宮脇(@catshun_)です。 本記事では文書検索において一部注目された BGE M3-Embedding について簡単に紹介します。 Chen+'24 - BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation
ゼロから始める自作LLM 小さなLLMを多数組み合わせることで、単一の巨大モデルに匹敵する可能性 コンテナ使うならAzureで決まり!個人的推しサービスのAzure Container Appsを語る_ ML system design: 300 case studies to learn from GUIと日本語環境が使えるお手軽Docker環境の使い方 101 real-world gen AI use cases featured at Google Cloud Next ’24 Heron-Bench: 日本語Vision&Languageモデルの性能評価ベンチマークの公開 Intro…
置換の分類 Visual Studio でデザイナーが開けなくなったので、C# を使うのをやめて、Google Colab というのを使ってみました。これは Python を使うことになります。これにはプログラムを書いてくれる機能があって、「 を指定して、 次の対称群のすべての元を偶置換と奇置換に分類するプログラムを書いてください」と入力すると、正しい結果が得られました。これは「置換のパリティー」などで書いたことで、普通の数学の本に書かれているものです。Visual Studio で Python を使えるようにしていたことがわかったので、こっちでやってみることにしました。これはデザイナーを使…
「Stable Diffusion 3」をつかってみた|画像生成と会話するAIの魅力と可能性https://note.com/chat_gpt777/n/n71c7f6a56a7d Webブラウザで試せるツールが出来た。これはGoogleのColab上で動作してくれるソフトウェアでPythonで作られている。インストールから、apiコードを取得して貼り付けることによって「Stable Diffusion 3」として動作させることが出来る。プロンプトをいれて画像を生成してみた。文字を入れようと試したところエラーが出てしまった。何回かやってもダメ、じっくり調べてみるしかないか? (調べてみた、Go…
前にこんなことやってました。 www.nogawanogawa.work コサイン類似度の計算を高速化したくなることがちょくちょくあるのですが、「ぶっちゃけどれくらいのスループットが出せるもんなの?」というのが気になったので完全に興味本位でやってみます。
初めまして。 2024年1月からFLINTERS BASEに入社した8期生の山本と申します。 今回、入社後の約3ヶ月の研修が終わりを迎えることにあたり、僣越ながらここまでの振り返りを共有させて頂きます。 この記事が私と同じように、異業種からエンジニアへの転向を目指されている方にとって、少しでも有益な情報になれると幸いです。
なんか雀魂強い人がよくやってる牌譜屋さんの分析を少しやってみんとす みたいなやつです。 とはいえ現状東風戦しかやっておらず、かつ100戦とか上の人から見たら赤ちゃんみたいなものじゃないかなとは思います。 玉の間入れるようになったらさすがに半荘やると思います。 ★ありがとうございます ・雀魂牌谱屋 ・雀魂段位戦ポイント推移グラフ作成ツールGoogle Colab ★見方の参考にさせていただきました ・【雀魂】雀魂牌譜屋さんの統計データを活用して雀力アップ!を目指す|かわうそ ・雀魂牌譜屋のデータを活用しよう!①|Suleika ・【じゃんたま】雀魂牌譜屋 玉の間400戦のデータで自分の打ち筋を見…
Building a RAG Pattern chat bot with Azure OpenAI and LangChain.js | Azure Developers JavaScript Day Azure 技術資料インデックス AWS 初学者向けの勉強方法 6 ステップ!2024 年版! 【論文要約】Jamba: A Hybrid Transformer-Mamba Language Model【メモ】 サイバーエージェントが生成AI活用で「6割の業務削減」を宣言 独自開発中の「AIナスカ」が一翼を担う ナレッジグラフ(知識グラフ)とLLMを掛け合わせる方法のロードマップ Google…
前回Chat Vectorについて簡単に予習したので、とりあえず「LightChatAssistant 2x7B」の作成手順を再現してみたいと思います。 作者さんがモデルカードで丁寧に説明してくださっているので、基本的にそれをなぞるだけです。まずはまったく同じモデルを作ってみます。 huggingface.co Chat Vectorによる処理 Google ColabのCPU(ハイメモリ)で試します。3つ分のモデルファイルを扱えるだけのRAM容量さえあればよく、GPU無しで完結するようです。 まずは、Chat Vector処理を行うための依存関係をインストールします。ColabだとTrans…