GoogleColab

盆休みになりましたが、相変わらず暑い日が続いております。 こんな日は、機械学習日和ですね^^; ということで、機械学習100本ノックをやっていこうと思います。 内容は、書籍に沿って、コードを書くだけなのですが、できるだけコードの意味を理解しながら、書いていきたいと思います。 そして、環境によっては、コードの内容でうまく動作しないこともあります。 その場合は、Geminiの力も借りてエラーを乗り越えながら、ゴールをめざします。 機械学習初学者である自分には、一度では理解できそうもないので、何巡も継続してやっていきます。 ペースは、こちらの学習ペースでマッタリ進めます。 参考にさせていただく本は、…

Google Colaboratory（以下Colab）でAPIにアクセスするコードを書こうかなと思ってみたのですが、一般的なコード例では環境変数にAPIキーを設定して、環境変数の読み出しによって取得するような書き方をしますが、Colabの場合だとソース（ノートブック）にあらわれてくるのでどうすればいいのかなと悩んだので、ちょっと調べてみました。 Colabでも環境変数は使用できる…けど…。 Colabの環境でも環境変数を使用することは可能です。 import os # 環境変数の設定 os.environ['MY_VARIABLE'] = 'my_value' # 環境変数の取得 my_va…

Google Colaboratory(以下 Google Colab)の使い方は省略します。 １．初回セットアップ １－１．Mistのダウンロード 自分のGoogle DriveにMistを持ってきます。 このコードは1回実行すればOKです。 %cd /content/drive/MyDrive !git clone https://github.com/mist-project/mist.git １－２．Diffusion Modelのダウンロード このコードも1回でOK。 !wget -c https://huggingface.co/CompVis/stable-diffusion-v…

はじめに ラズパイ4とカメラモジュールが転がっていたので何かobject検知系で何か作ろうと思いつく。 その前段で必要前提条件である画像からのオブジェクト検知について使えそうな技術を検証したのが本記事。 全体システムの最終的なゴール 簡易的な交通量監視システムの構築 （趣味の範疇なので精度や速度は無視する。） 本記事の検証項目 静止画像からオブジェクトを検知できて、raspi4bでも動作する軽量な方法を調査・検証 検証実施内容 GPT4-Vision OpenAI社のVisionモデルでサクッとやろうとしたが、結果的には不適合で検証終了。 https://openai.com/pricing …

PR記事です。 さて、もはや、くどいほど宣伝記事を書いていますが、 翔泳社が運営するオンラインショップSEshopが、 2025年1月12日までポイント還元感謝祭 を実施中です。 つまり、ポイント還元感謝祭は今日までです！ yusuke1225math2.hatenablog.com yusuke1225math2.hatenablog.com キャンペーンの対象となるPDF書籍を買うと、40%分のポイントが還元されます。 そして還元されたポイントは、次回の買い物から 1ポイント=1円で使用できます。 さらに、ポイント還元感謝祭中も、ポイントを購入に使えます。 2024.12.24～2025.…

１．今年の予定、目標 今年の勉強する内容は去年と同じです。 今のところ、効果がしっかり出て来ているのでこれを続けます。 映像作品としてのLevelの作成 AIの勉強 Nvidia Omniverseの勉強 Gaeaの勉強 Houdiniの勉強 VFXの勉強 DirectX12の勉強 それぞれの節で何をやるのかはそれぞれの節で説明します。 ２．映像作品としてのLevelの作成 2.1 去年のまとめと今年予定 去年は3D Gaussian Splatting、PCGの勉強、HDRIを使用したLevelの作成などをやりました。 それぞれについて追加情報や、考察などがあるのでそれをここにまとめます。 …

はじめに みんな優勝！ nikkieです。 直近ハマったことからの小さな学びを綴ります。 目次 はじめに 目次 そもそも事のはじまりは 2024年11月からwandbがプレインストール transformers.TrainingArguments 対処法 終わりに そもそも事のはじまりは 半年くらい前に実装したColab Notebookを元に、Gemma 2のファインチューンを試みました。 いくつかのハマりポイントを乗り越えてたどり着いたtrainer.train()。 後は訓練ができればというところでそれは突然やってきました。 wandb: WARNING The `run_name` i…

収集している時系列データを、生データから等間隔に補完するプログラム。GoogleColabで実行すること。 データはGoogleスプレッドシートに保存しておき、1列目がタイムスタンプ、2列目が対象のデータとすること。 # 認証のためのコード from google.colab import auth auth.authenticate_user() from gspread_dataframe import get_as_dataframe, set_with_dataframe import pandas as pd import gspread from google.auth impor…

年明けにチャレンジしてからあまり触れていなかったPythonを再開しました とはいってもやりたいことが思いつかないと続かないので いつまで続くかわからないですが備忘録がてら記していこうと思います Pythonでデータ整理 ちょっとかじってはみたものの やりたいことが思い浮かばず触れていませんでした 私はGoogleユーザーなので無料で使えるGoogleColabを使ってPythonを動かしています ゼロから始める視点で躓いた所をメモしてるので初学者には役立つと信じています techemo.hatenablog.com 今回やってみたことは スマートウォッチでヘルスケアデータを収集しており専用ア…

概要 MT4のような自動売買システムをビットコインでも行いたいということで開発。コンセプトとしては以下のような感じ。 運用コストはかけない（AWSの無料枠で動かせるような構成にする） 開発に時間をかけない（自動売買のアルゴリズムなど必要な部分のみ開発するだけで動かせるようにする） 言語はPythonとする（データ分析と相性がいいため） 構成 ビットコインのデータ収集や売買はBitflyerのAPIを使用する。そのためBitflyerを利用することが前提となる。 構成としては以下の図のように、ほぼすべて無料のサービスを使用して実行できるようにしている。 開発の流れとしては、以下のようなサイクルを…

画像センシングシンポジウム Weekly AI Agents News! 自動プロンプト最適化をやってみた saldraさんと作る「AITuber(あいちゅーばー)ワークショップ」開催！〜40人集まってAITuberを作ってみた〜 ソフトバンクユーザーなら、生成AI検索「Perplexity Pro」が1年無料に ワイモバイル、LINEMOも対象 LLMが別のLLMを何度も改善 より良い回答を出す最適化手法をAIが発見する技術 Sakana AIなどが開発 Anthropicキーノート（Bedrock Claude Night 2） 第9回 LLM 勉強会 GoogleColabとAPIキーを…

表題の通り。以下のようにリングバッファのクラスを作成し性能を比較した。（検証環境：GoogleColab） from collections import deque class DequeRingBuffer: def __init__(self, size): self.size = size self.data = deque(maxlen=size) def append(self, value): self.data.append(value) def get(self): return list(self.data) class ListRingBuffer: def __init…

Google Colabで時系列基盤モデルを試す①：Google timesfm Google Colabで時系列基盤モデルを試す②：AutonLab MOMENT Google Colabで時系列基盤モデルを試す③：IBM granite 「RAG 2.0」松尾研 LLM コミュニティ "Paper & Hacks Vol.06" 論文解説をGPT-4oを使って自動的に生成してみる 組合せ最適化による問題解決の実践的アプローチ [JSAI'24] 人間の判断根拠は文脈によって異なるのか？〜信頼されるXAIに向けた人間の判断根拠理解〜 Weekly AI Agents News! CyberA…

ふと思う。人間は、いくつかの特徴が提示されると、それらの言葉だけから写真に映っている対象を類推することができる。これは、一度も見たことがない物体についても同様。特徴にマッチする情報を知っていれば、いくつかの特徴（単語）から、対象を推定できる場合がある。 例えば、写真に写っている物体を直接みなくても、「赤い」「丸い」「果物」ぐらいの情報で、林檎と答える事ができる。また、バナナを一度も見た事なかったとしても、「バナナは、黄色くで、細長いのが特徴の果物」という情報があれば、バナナの画像を初めて見て、それはバナナかも。と判断できるかもしれない。AIにおいて、画像からリンゴを判別する学習済みモデルを作ろ…

Google colabolatoryでは、わざわざHTMLファイルを用意しなくてもJavaScriptを試せる。 【Colab】GooglecolabでJavaScriptを動かそう！ - AI Academy Media アルゴリズムの勉強をJavaScriptでやってみる。 まずは最大値をもとめるアルゴリズムです。 3つの値のうち、最大値を表示するものです。 %%js const a = 3; const b = 4; const c = 1; let max = a; if(max < b){ max = b; }else if(max < c){ max = c; } console…