機械学習

今回はデータの分割方法について整理します🐜 学習データとテストデータ ホールドアウト法 交差確認法 一つ抜き法(leave-one-out) ブートストラップ法(bootstrap) おわりに 参考文献 学習データとテストデータ 機械学習モデルを構築するとき、集めてきたデータとモデルの推定値の誤差が小さくなるよう調整する。しかし、これだけでは未知のデータに対する良し悪し、つまり汎化能力が不明である。そこで一般には手元にあるデータを、モデル構築用の学習データと、汎化性能比較用のテストデータに分割し、既知のデータと未知のデータの両面から機械学習モデルを評価・構築する。 ここで、対象とするデータの母…

こんにちは！エンジニアの藤井（touyou）です！ この記事はGoodpatch Advent Calendar 2023の二日目の記事になります。 今回テーマにするのは昨年末のChatGPTリリースに始まり全世界を巻き込む社会現象となった「AI」についてのお話です。 ChatGPTの影響が大きかった一番の要因はチャット形式かつその性能の高さが今までAIに直接触ってなかった層を巻き込めるようになったから、というのはわりとメジャーな見方かと思いますが、一方でこれによってAIもとい機械学習がどういう仕組みで動いているのかという理解があまりないまま生成AIを触っている人も増えてきたのかなと思います。…

NTTドコモ R&D Advent Calendar 2023 の1日目の記事です。 井上と申します。アメリカのシリコンバレーにあるドコモの子会社，DOCOMO Innovations, Inc. (DII) で Principal Data Scientist として機械学習の研究開発に従事しています。 DII は Amazon Web Service とパートナーシップを組み，Federated Learning (連合学習, 略して FL) の開発と実用化に取り組んでいます。昨年のアドベントカレンダーでは Vertical Federated Learning (VFL) のチュートリア…

この記事は何？ マルチモーダル検索の流れ Vespaを利用したマルチモーダル検索の実装 実装する検索システムの概要 商品embeddingの管理方法 Embeddingの推論 Vespaのスキーマ設定 スキーマの定義 ランキングロジックの定義 Vespaへのデプロイとデータフィード マルチモーダル検索の実行 Vespaでのベクトル検索の方法 入力：検索キーワード、検索対象：画像 入力：画像、検索対象：商品タイトル 応用：ベクトル検索とキーワード検索の組み合わせ おわりに この記事は何？ 情報検索・検索技術 Advent Calendar 2023 - Adventar の1日目の記事です。 マ…

組み込み関数のsetattr関数、getattr関数はオブジェクトを操作する上でとても役立ちます setattr 関数: setattr 関数は、オブジェクトの属性に値を設定するための関数です。 def set_attribute(obj: object, attr_name: str, value: any) -> None: """ オブジェクトの属性に値を設定する関数 Parameters: - obj: 対象のオブジェクト - attr_name: 設定する属性の名前 - value: 設定する値 """ setattr(obj, attr_name, value) # サンプルコード…

PythonのAttrDict: 辞書の属性アクセス 本記事では、Pythonでよく使われるデータ構造の一つである辞書（Dictionary）を、AttrDictクラスを使用することで属性アクセスを可能にする解説をします。AttrDictは辞書を拡張し、属性アクセスを提供することで、コードの可読性や使いやすさを向上させるための便利なツールです。（ライブラリもありますが、わかりやすくクラスを実装します。 AttrDictのメリット 属性アクセスの利便性： AttrDictを使用すると、辞書のようにキーを使って値にアクセスするだけでなく、ドット演算子を使って属性としてもアクセスできます。これにより…

近年、大規模言語モデル（LLM）の進化は、自然言語処理の分野において画期的な変化をもたらしています。とくに、OpenAIのGPT-4のようなLLMは、その応用範囲の広さと精度の高さで注目を集めており、多くの研究者や開発者が新たな利用方法を模索しています。本記事では、これらのLLMを活用したマルチクエリ生成が、文書検索の性能向上にどの程度効果があるかを検証します。 文書検索は、入力されたクエリに関連する文書を返してくれます。しかし、ユーザーが入力する単一のクエリでは、常に最適な検索結果が得られるとは限りません。そこで、LLMを用いてクエリを複数生成し、それらを組み合わせることで検索結果を改善する…

皆さんこんにちは、CREチームのとよかずです！ 今回は、前回の続きとなるインタビュー形式での記事となっております👏 インタビューに協力いただいたのは… デジタルOpsチームです！！！ 普段、デジ推とは関わる事がないので、実際どういう業務をしているのか僕自身あまり知りませんでした💦 しかし、インタビューをしていく中で、チームカラーだったり、チームリーダーの菊池さんの素顔だったり、メンバーとの関係性だったり、他部署にいては決して見られないであろう部分をたくさん見させてもらいました🥺 チームの方々の人柄もわかる内容となっておりますので、ぜひ見ていってください✨ 前回のインタビューが気になる方はこちら…

当記事では、BigQuery に統合された Vertex AI Feature Store というベクトルストアと、テキストの意味をベクトル化できる Vertex AI Text-Embeddings API を使った活用事例をご紹介します。 当記事は Google Cloud Champion Innovators Advent Calendar 2023 の7日目の記事です。 Vertex AI Feature Store とは Vertex AI Text-Embeddings API とは 活用例 ①レコメンド ②グラウンディング サンプルアプリ アーキテクチャ 検索画面 検索結果 デ…

最近、人工知能は、シリコン バレーおよびより広範なテクノロジ シーンで非常にホットな話題になっています。そのシーンに関わっている私たちにとっては、あらゆる種類の企業が AI をビジネスの中核に組み込んでおり、このトピックを中心に信じられないほどの勢いが増しているように感じます。 AI関連の大学のコースも増加しており、雇用市場に非常に優秀な新しい才能の波が押し寄せています。しかし、これは確証バイアスの単純なケースではありません。2014 年半ば以降、このトピックへの関心は高まっています。この話題の周りのノイズは増加する一方です。非常に紛らわしいです。読んだ内容によっては、冷たく計算を行うスーパー…

独自アルゴリズムで地震を予知にチャレンジしています。ただの趣味でやっているもので全く精度はありません。流行りの機械学習を利用しています。 もちろん地震の予知はできるものではありません。気象庁のページにも地震予知について書いてありますので御覧ください。 www.jma.go.jp また、毎日集計しているため、この記事は毎日自動で更新されるはずです。更新が止まったらプログラムがエラーになったんだなと思ってください。 これから1週間の予測 これから1週間の予想です。ざっくり天気で表現しています。 日時 天気 2023-12-07 ☁ 2023-12-08 ☀ 2023-12-09 ☂ 2023-12…

こんにちは！ GROOVE X の 認識技術を扱うチームに所属している id:numa-gx です。 この記事は、GROOVE X Advent Calendar 2023 7日目の記事です。 LOVOTにはホーンと呼ばれるパーツに広角のカメラが備わっています。 このカメラを使って人物を認識し、なつき具合に応じたふるまいを行う仕組みがLOVOTには備わっています。 そして、この人物を認識する機能に関してはAI顔認証エンジンであるFaceMeを利用しています。 prtimes.jp このFaceMeを導入するにあたって様々な状況でデータを収集・管理しながら性能を評価する仕組みを作る必要がありまし…

はじめに この記事はサステナブルなぴょこりんクラスタアドベントカレンダーのために書きました。 今日は僕の自室の計算機周りの環境の現状とこれからについて紹介します。リモートから色々やる用途の計算機の話題なので、曲を書いたりゲームや趣味パワポをするための計算機はここではスコープから外します。 現状の話 2017年頃からほぼメンテナンス無しで機械学習の諸々用に使っていた計算機たちの紹介をします。今回のこの記事において関心の対象となる計算機は2台、デスクトップPC（通称: Noel）とノートPC（通称: Kotsume）である。 雑なスペックは以下の通り、SSDは何枚か積んでてめんどくさいので省略。ち…

booksch.hatenablog.com 福を呼ぶ黒猫：ブラック福猫 AI ALBUM | #SDXLart #DALLE3art #LuckyCat 本日のBGM youtube.com 以下の記事の続編となります。どうぞ、よろしくお願い致します。 note.com 福猫の定義 福猫、特に黒猫は、日本の伝統的な信仰や風俗に基づく象徴です。これは、特に商店や企業でよく見ることができる縁起物です。黒猫は特に「厄除け」や「邪気払い」を象徴し、安全と健康をもたらすとされています。福猫（招き猫）の猫が片手を上げているポーズは「福を招く」という意味を持っています。右手を上げると金運や富を、左手を上げ…

試験概要 受験動機 受験回数 受験回 学習方法 1回目 2回目 受験して 1回目 2回目 試験結果 1回目 2回目 コメント 試験概要 まんまだけど、統計に関する知識や計算力、活用力を問う試験。 数学で言うとめちゃくちゃ確率の分野。 検定種別は上から1級、準1級、2級、…とある。 検定種別は他にも、データサイエンスなど、トレンディなものもある。 2級はCBTでも受けられる。 受験動機 数学が好きだから。 でも確率の分野はめちゃくちゃ嫌いだった… データサイエンスとか機械学習とかAIとかに通じてそうな学問だから。 CBTだから受けやすいから。 受験回数 2回 受験回 令和3年度(2021年)CB…

人工知能の父であるジョン・マッカーシーによれば、AI は「知能機械、特に知能 PC プログラムを作るための科学と設計」です。人工知能とは、コンピューター ロボットやソフトウェアに、知的な人間が考えるのと同じように知的に考えさせる方法です。人工知能 (AI) は、機械に「人間のように考える」という概念です。AI はあなたの生活に大きな影響を与えます。意識しているかどうかにかかわらず、AI はすでにあなたのライフ スタイルに影響を与えており、今後数年間で成長する可能性が非常に高いです。日常生活ですでに使用している AI の例をいくつか紹介します。 life:? パーソナル アシスタント Siri …

昨日はスマホのアプリだったので、今日はパソコンのアプリでございますけれども、こちらはMelissaというものを使っております。 mosynthkey.github.io これがまた凄いと言ったら。 再生速度変更、ループ再生範囲の指定、曲の途中に目印をつけるなどの基本的な機能は全部あって、しかも無料で広告も無い。 その上、機械学習による音声分離によってボーカル、ピアノ、ベース、ドラム、その他に音源を分離できるのでございますよ。 とりわけこの音声分離機能が凄くて、一度楽器ごとに音声を分離してしまえば、楽器ごとに音量を設定できるので便利なのでございます。 私の場合は、曲のテンポを知るためにベースの音…

「コネヒト Advent Calendar 2023」の7日目のブログです！ コネヒト Advent Calendar 2023って？ コネヒトのエンジニアやデザイナーやPdMがお送りするアドベント カレンダーです。 コネヒトは「家族像」というテーマを取りまく様々な課題の解決を 目指す会社で、 ママの一歩を支えるアプリ「ママリ」などを 運営しています。 adventar.org こんにちは。サーバーサイドエンジニアをしている高橋です。 以前からDDDに興味がありましたが、なんとなくしか理解しておらずそんな時に 「ドメイン駆動設計入門」の本をお勧めされました。 DDDの考え方は正解がないものなの…

インシュアテック（保険テクノロジー）市場概要 インシュアテック（保険テクノロジー）とは、人工知能、ビッグデータ分析、ブロックチェーン、クラウドコンピューティングなどの先進技術を応用し、保険業務の改善や最適化、顧客体験の向上、リスク管理などを実現する分野を指す。インシュアテック企業は、保険会社をより効率的にし、コストを削減し、よりパーソナライズされた保険商品を提供し、より顧客のニーズに応えるための革新的なソリューションを開発している。 QYResearchが発行した最新市場調査レポート「インシュアテック（保険テクノロジー）の世界市場レポート 2023-2029年」によると、インシュアテック（保険…