VLM

目次 先日VLMのモデルの実装法の概要、評価法を扱いました。 今回はVLMの収集すべきデータセットについて、選定の前の確認事項から、用途別のデータセットについて説明します。 選定の前に確認したいこと そもそも、VLMの学習用データセットを探し始める前に、 「どのようなモデルを、何の目的で作りたいか」 という設計図を明確にする必要があります。 VLMの世界は非常に幅広く、目的が「写真の説明」なのか「図表の読み取り」なのかによって、選ぶべきデータの種類が全く異なるからです。 1. 学習のフェーズ（ステージ） VLMの学習は通常、段階を踏んで行われます。どの段階のデータを探しているのかを明確にしまし…

目次 今回は前回までで扱ってきたVLM(Vision-Language Model)について、学習コード選定、モデル実装の上実際に学習まで行ってみました。 実装までと、試験の結果をまとめます。 本試験の目的と進め方 Q-Former + LoRA を用いた最小構成 VLM 実験について以下に示します。 1. この試験で何を確認したいのか（試験意図） 背景 VLMは、 画像エンコーダ（Vision Encoder） 言語モデル（LLM） それらをつなぐ中間機構（Q-Former など） から構成されます。 しかし実装・学習が複雑なため、 「本当に“画像情報”が言語生成に使われているのか？」 「ど…

-PR この記事はアフィリエイト広告を利用しています。- 最近、スマートホームの自動化に「限界」を感じていませんか？ 「ドアが開いたら通知が来る」「暗くなったら電気がつく」。 確かに便利ですが、それはあくまで私たちが設定した「数値」に機械が反応しているだけ。私たちが本当に求めているのは、もっとこちらの状況を察してくれるような、気の利いた動作だったりします。 そんな中、IT業界でマネジメントに携わる私が、次世代のスタンダードになると期待しているのが 「SwitchBot AI ハブ」 です。 映像を「言葉」で理解する、VLMという衝撃 このデバイスの最大の特徴は、VLM（視覚言語モデル） を搭載…

目次 VLM（視覚言語モデル）の評価手法について、概要・メリット・デメリットを一覧でまとめました。 その上で、気になるパイプライン化＝オートメーション化されているかについても確認しました。 VLMの評価をどうしようかという読者様に参考にして頂けばと思います。 評価手法の一覧 1. 生成品質とタスク精度（性能の基礎体力） モデルが画像の内容をどの程度正確に言語化し、指示通りに回答できているかを測定します。 評価手法 概要 メリット デメリット BLEU / METEOR 生成文と正解文の単語の一致率を測定する古典的指標。 高速かつ低コスト。実装が容易。 意味の同一性や文脈の豊かさを評価できない。…

目次 1/3にVLMの手法でBlip-2に採用されている手法 Q-Former について説明しました。Q-FormerがVLMとして、画像の情報を上手に抽出できる理由にフォーカスをあてて説明しました。ですが、その際は内部構造の実装法には触れていませんでした。 今回は改めて内部構造の実装法について扱っていきたいと思います。 Q-Formerの構成 前回のおさらいを兼ねて、Q-Formerの構成を簡単に説明します。 1. 学習可能なクエリ (Learnable Queries) Q-Formerの最大の特徴は、入力として「固定された32個（モデルにより数は異なる）の特別なベクトル」を持つことです。…

目次 マルチモーダル学習、特に画像と言語を繋ぐ技術において、Q-Formerは非常に重要な役割を果たすコンポーネントです。 簡単に言うと、Q-Formerは 「膨大な画像情報の中から、言語モデル（LLM）が理解しやすい重要なエッセンスだけを抽出する通訳者」 のような存在です。Salesforceが開発した「BLIP-2」というモデルで初めて導入されました。 Q-Formerの役割と仕組み 画像データは非常に情報量が多いですが、そのすべてがテキストでの理解に必要なわけではありません。Q-Formerは以下のステップで情報を整理します。 情報の圧縮（ボトルネック）: 画像エンコーダ（CLIPなど）…

aptpod Advent Calendar 2025 12月16日の記事を担当します、Roboticsグループの久保田です。 Roboticsグループとして、最近では四足歩行ロボットを扱う機会が増えており、自律走行だけでなく、ロボットに搭載されたセンサーデータの活用が重要なテーマになっています。 四足歩行ロボットには、カメラやLiDARといった視覚・環境認識系のセンサーが標準的に搭載されています。これらのセンサーデータは、aptpodの製品である intdash を用いることで、時系列データとして継続的に収集・蓄積 することができます。 intdashでは、ロボットから送信されるカメラ映像、…