Vertex AI

はじめに ナイスゲーム！！👏👏👏 nikkieです。 先日、小さな気づきを記事にしました。 以下の宿題に取り組みます。 過去記事に沿ったYAMLファイルを当初Vertex AI Pipelinesにアップロードしたのですが、これは弾かれてしまいます。 小さな（練習用）パイプラインをkfp 2系でKubeflow PipelinesでもVertex AI Pipelinesでも動かします 目次 はじめに 目次 kfpで書いたパイプライン ローカルのKubeflow Pipelinesにて GCPのVertex AI Pipelinesにて 終わりに kfpで書いたパイプライン こちらの記事をもと…

google cloud のセマンティック検索を使ってみたい 詳しい内容は google cloud の 動画から www.youtube.com テキスト検索ではなく、ベクトル検索になるので、いい感じで検索結果をかえしてくれるらしい また、マルチモーダルのため画像、音声なども扱える。 今回は 画像を google cloud storage に置き、セマンティック検索を試してみたい。 まずは、画像データの準備から 機械学習の無料のサンプルデータセットを利用した。 ここには 30枚の部屋の写真がのっている。 それぞれ、雰囲気や映しているものも異なる。 ローカルに一度保存。 cloud stor…

はじめに こんにちは。マイクロアドで機械学習エンジニアをしている大庭です。 マイクロアドの機械学習チームでは機械学習関連のバッチ実行に Vertex AI Pipelines というGoogle Cloud Platformが提供するマネージドのワークフロー実行サービスを利用しています。 Vertex AI Pipelinesを利用した機械学習プロジェクトはワークフローを管理するためにディレクトリ構成を工夫する必要があるのですが、新しいサービスなため設計関連の情報が少ないと感じています。 そこで今回の記事ではディレクトリ設計の一例としてマイクロアド運用している構成を紹介します。 はじめに Ve…

こんにちは！ LIFULLエンジニアの吉永、三宅、森です。 2023/11/15～16 東京ビックサイトにて開催されたGoogle Cloud Next Tokyo ’23に参加してきました。3人がそれぞれ現地で聴講したセッションの感想をメインに参加レポートを共有します。 cloudonair.withgoogle.com アジェンダ セッションについて 所感 まとめ

こんにちは。LayerXのバクラク事業部で機械学習エンジニアをしている@shimacosです。 最近、体重が増える一方で危機感を感じ始めたので、ダイエットを始めました。 ダイエットを始めて早3ヶ月ほどですが、一向に痩せません。何故でしょう？ この記事はLayerXアドベントカレンダー11日目の記事です。 昨日は@upamuneが「Slack × Zapier × MiroでKPTでの振り返りをラクにする」という記事を書いてくれました。 明日は@itkqが、楽しい話を書いてくれる予定です。 はじめに バクラクの機械学習チームでは、AI-OCRという請求書や領収書などの帳票から、仕訳などの経理業務…

はじめに ベクトル検索とは？ エンベディング（埋め込み） 類似したベクトルを見つける キーワード検索 セマンティック検索関連 パブクラサービス はじめに アプリケーション開発の現場でも、よく耳にするようになったベクトル検索について、簡潔に整理しました。 ベクトル検索とは？ ベクトル検索とは、コンテンツ（テキスト、画像、音声）をベクトルに変換（エンベディング（埋め込み））し、これらのベクトル間の類似度や距離を基に、類似したベクトル（コンテンツ）を見つけることができる手法です。 従来のキーワード検索では対応できなかった、ユーザーの入力情報が曖昧な場合でも、検索エンジン側が目的や意図を理解して、ユー…

こんにちは、タイミーのデータ統括部データサイエンス（以下DS）グループ所属の小関です。 今回はDSグループがMLパイプライン構築時に活用しているVertex AI Pipelinesを効率的に開発するための取り組みを紹介したいと思います！ Vertex AI Pipelinesとは Vertex AI Pipelinesとは、Google Cloudが提供しているMLパイプラインをサーバーレスに構築・実行できるサービスです。 Vertex AI Pipelinesを活用することで、下記のようなデータをBigQeuryから取得し、特徴量の作成・データセットの分割後、モデルを学習するようなML パ…

RAGは、外部データを参照することでLLMの回答精度を向上させる技術です。自分で開発すれば、柔軟なカスタマイズとコストの最適化が可能になります。ツール選定や性能評価を考慮して、効果的なRAGアプリケーションを構築するのに参考になる記事を要約しておく。 詳細はリンク先を参照。 zenn.dev RAGとは？ RAGは、LLM (大規模言語モデル) に、外部のデータ (社内ドキュメント、Webサイトなど) を参照させて、より正確で詳細な回答を生成する技術です。 なぜ自分でRAGを作るのか？ Dify や LangChain などの既存ツールは、小規模なPoC (概念実証) には向かない場合がありま…

はじめに こんにちは。データシステム部/推薦基盤ブロックの佐藤 (@rayuron) です。私たちはZOZOTOWNのパーソナライズを実現する推薦システムを開発・運用しています。推薦システムごとにKPIを策定していますが、データの欠損やリリース時の不具合によってKPIが意図しない値を取ることがあるため定常的に確認する必要があり、これをKPIのモニタリングと呼んでいます。 先日、推薦システムの実績をLookerでモニタリングするというテックブログで推薦システムのKPIをモニタリングする方法を紹介しましたが、運用していく中でいくつかの課題が見えてきました。本記事では、より効率的かつ効果的なKPIの…

最近諸事情がありまして、プライベートでLLMをガチャガチャいじっていたんですがChatGPTの請求がとんでもないことになっていました。 流石にコストかかり過ぎだということで、コストが安いGemini 1.5 Flashを使うことを検討しています。 LlamaIndexでGemini 1.5 Flashを使うという文献があまり見つからなかったので、今回はLlamaIndexでGemini 1.5 Flashを使ってみたやり方の備忘録です。

エモーションテックで事業開発・データ分析（時々エンジニア）をしているイケガメです。 生成AIの登場によって、テキスト分析の常識は急速に変化しています。 その一方で、自然言語処理における基本的な考え方は、現在も変わっていません。 例えば、テキストの分類や検索において核となる「単語や文章のベクトル化（埋め込み）」は、今後も重要な基盤技術として位置づけられるでしょう。 この技術を利用することで、「2つのテキストの類似度」を判定することが可能になります。 今回は、Azure OpenAIとVertex AIのEmbedding（埋め込み）モデルを利用して、2つの文章の類似度を判定する実験を行いました。…

G-gen の山崎です。 当記事では、Cloud Storage に格納されたテキストファイルに対して、Cloud Run functions にてVertex AI Gemini API を呼び出し、取得したテキストの要約結果を BigQuery に保存する処理を構築したので解説します。 システム構成 前提知識 環境構築 API の有効化 Cloud Storage の構築 バケットの作成 Cloud Storage サービスエージェントに権限付与 BigQuery の構築 Cloud Run functions の構築 Python のバージョン requirements.txt の作成 …

コインチェック株式会社（以下、コインチェック） データ基盤グループの岩瀬です。今回は、暗号資産交換業者であるコインチェックで実施したデータ基盤のリプレイス事例と、そこから連続するデータ基盤拡充の取り組み、データドリブンな組織への貢献についてご紹介します。 TL; DR 暗号資産取引所を運営するコインチェックでは、運用されていたデータ基盤を、限られた技術リソースと短期限でモダンにリプレイスし、結果 インフラコスト90%削減 を実現しました。 Treasure Data で構築されていたデータ基盤の移行先として Google Cloud を選定し、3ヶ月で既存と同等のシステムを構築 して並列運用を…

はじめに こんにちは、NRIの入江です。先日 Google Cloud Next Tokyo '24 が2024年8月1日、2日の2日間開催され、NRIはPlatinumスポンサーとして協賛し、ブース出展とスポンサーセッションで参加しました。Day2におけるスポンサーセッションではありがたいことに機会をいただき、満員御礼の中「生成AIを成長エンジンに！金融業界のアプリ開発現場におけるマルチモーダルAI活用」というタイトルで登壇させていただきました。 今回のブログでは生成AIという文明の利器と、ソフトウェア開発の現場における導入について考えてみたいと思います。包丁やダイナマイトのような文明の利器…

クラメソおおさか IT 勉強会 Midosuji Tech #2 #midosuji_tech クラメソおおさか IT 勉強会 Midosuji Tech #2 #midosuji_tech - connpass セッション LT1「ブラウザ上で実行され、AIアシスタント付きデータベース postgres.new を触ってみた」 西田将幸 さん Supabaseが作ったブラウザで実行されるAIアシスタント付きPostgreSQL スキーマの自動生成 自然言語でクエリ、グラフ作成、データ投入できる 生成されたSQLの確認もできる 「売上トップ３だして」とかでグラフ作成 「サンプルデータ追加して」…

もう生成AIのサブスクに疲れた？Google AI Studioで無料＆高機能AIを体験しよう！ 見込み読者: 生成AIに興味がある人、生成AIのサブスク料金に悩んでいる人、Google AI Studioを使ったことがない人 Imagecreator用プロンプト: - Google AI Studioのロゴが画面に表示されているノートパソコン。miniture - 人間の顔が半分で、もう半分はAIの回路になったようなイメージ。近未来的な雰囲気で。miniture - クレジットカードが燃えている様子。miniture ChatGPTが登場して以来、生成AIブームはとどまるところを知りません。…

こんにちは、プラットフォーム部プラットフォームチームの北田です。 8/1, 8/2 の２日間にわたって開催された Google Cloud Next Tokyo の Day2 に参加してきました。 こういった大きなディベロッパーイベントに参加するのは初めてでしたが興味深いセッションをたくさん拝聴できたのでとても貴重な体験ができました。 私が参加したセッションの一つに「顧客体験向上のための生成 AI を利用したチャットボット構築」というセッションがありました。 そこで実際にハンズオン形式でデモをしていた Vertex AI Agent Builder (以下 Agent Builder)がとても…

G-gen の杉村です。2024年8月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Google Cloud Next Tokyo '24 で新発表 Python SDK で API コールなしで Gemini のトークン数カウント（Preview） Gemini on Vertex AI で、1リクエストで複数回答候補の生成が可能に SCC の Cloud Infrastructure Entitlement Management（CIEM）機能が公開 Cloud Logging でログスコープ機能…

本記事は Google Cloudウィーク 6日目の記事です。 💻☁ 5日目 ▶▶ 本記事 ☁💻 はじめに STEP1.受けたい試験をきめる STEP2.試験日程を決めて申し込みをする STEP3.試験勉強する STEP4. テストセンター or 遠隔監視オンライン試験で受験する STEP5.受験後、Kryterion上で試験結果を確認する STEP6.Credly から、正式合格通知が届く 最後に はじめに クラウド事業推進部の小野内です。Google Cloudウィークの最終日を担当させていただきます。 最近とても暑いですね。飼ってる猫もとても暑がっています。テレワーク用の仕事机の上が涼し…