機械学習

こんにちは！サーバーサイドエンジニアの mitani です。 B/43のサービスの裏側では機械学習を使っている箇所があり、機械学習用のパイプラインとAPIに全てSageMakerを利用しています。今回はなぜSageMakerを採用したのかと、構築時に意識したことについて紹介したいと思います。

特化型モデルで識別・ピクセル重要度抽出した後に、GPTで自然言語に変換する 画像認識モデルを作ったら、そのモデル自体から"こういうオブジェクトがあるから私はこう認識したんだよ"と教えてほしくありませんか？ 今回作るのは、図のように、写真が東京都中央区で撮られているとわかるのは、"照明と配管"が特徴的で、"箱やパッケージが多い"から市場らしさがあるんだよ、と自分で説明してくれるAIです。 背景ですが、機械学習が、それを本業とする人以外にも幅広く使われるようになってくるのに伴い、モデルの説明可能性も重要視されているように思います。 テーブルデータからの識別問題であれば重要な項目を特徴重要度などから…

今回はデータの分割方法について整理します🐜 学習データとテストデータ ホールドアウト法 交差確認法 一つ抜き法(leave-one-out) ブートストラップ法(bootstrap) おわりに 参考文献 学習データとテストデータ 機械学習モデルを構築するとき、集めてきたデータとモデルの推定値の誤差が小さくなるよう調整する。しかし、これだけでは未知のデータに対する良し悪し、つまり汎化能力が不明である。そこで一般には手元にあるデータを、モデル構築用の学習データと、汎化性能比較用のテストデータに分割し、既知のデータと未知のデータの両面から機械学習モデルを評価・構築する。 ここで、対象とするデータの母…

こんにちは！エンジニアの藤井（touyou）です！ この記事はGoodpatch Advent Calendar 2023の二日目の記事になります。 今回テーマにするのは昨年末のChatGPTリリースに始まり全世界を巻き込む社会現象となった「AI」についてのお話です。 ChatGPTの影響が大きかった一番の要因はチャット形式かつその性能の高さが今までAIに直接触ってなかった層を巻き込めるようになったから、というのはわりとメジャーな見方かと思いますが、一方でこれによってAIもとい機械学習がどういう仕組みで動いているのかという理解があまりないまま生成AIを触っている人も増えてきたのかなと思います。…

この記事は何？ マルチモーダル検索の流れ Vespaを利用したマルチモーダル検索の実装 実装する検索システムの概要 商品embeddingの管理方法 Embeddingの推論 Vespaのスキーマ設定 スキーマの定義 ランキングロジックの定義 Vespaへのデプロイとデータフィード マルチモーダル検索の実行 Vespaでのベクトル検索の方法 入力：検索キーワード、検索対象：画像 入力：画像、検索対象：商品タイトル 応用：ベクトル検索とキーワード検索の組み合わせ おわりに この記事は何？ 情報検索・検索技術 Advent Calendar 2023 - Adventar の1日目の記事です。 マ…

AIの予想結果 今回の自作AIシステムの予想は このようになりました！ HOMEAWAY予想102 八戸相模原235.9%27.1%37.1% 鹿島横浜FC149.4%31.9%18.7% Ｇ大阪神戸228.7%14.7%56.6% 名古屋柏035.9%45.8%18.3% 鳥栖川崎Ｆ141.4%23.1%35.5% 福岡広島143.4%29.1%27.5% 札幌浦和234.3%16.3%49.4% 湘南FC東京147.0%17.5%35.5% 新潟Ｃ大阪235.5%23.1%41.4% 京都横浜FM225.5%17.5%57.0% 鳥取鹿児島149.8%23.9%26.3% 岩手讃岐026.…

組み込み関数のsetattr関数、getattr関数はオブジェクトを操作する上でとても役立ちます setattr 関数: setattr 関数は、オブジェクトの属性に値を設定するための関数です。 def set_attribute(obj: object, attr_name: str, value: any) -> None: """ オブジェクトの属性に値を設定する関数 Parameters: - obj: 対象のオブジェクト - attr_name: 設定する属性の名前 - value: 設定する値 """ setattr(obj, attr_name, value) # サンプルコード…

こんにちは！ 株式会社フォトラクション デジタルOpsグループでプロダクトマネージャーをしている若井です。 私の所属するデジタルOpsグループは、AI技術であるかどうかに関わらず、様々な技術を駆使して、建設BPOメニューにおけるオペレーターの作業自動化・効率化のためのシステム開発や研究開発などを担っています。 今回は、AI技術を用いた開発について、これまで経験してきた観点から、どんな特徴があるのか、チームの雰囲気を交えて紹介します。 AI開発の特徴 1.不確実性 モデル精度の不確実性 AIプロジェクトは、開発するAIモデルの精度が読めず、それによってどのように学習するか、他の工夫を施して着地さ…

独自アルゴリズムで地震を予知にチャレンジしています。ただの趣味でやっているもので全く精度はありません。流行りの機械学習を利用しています。 もちろん地震の予知はできるものではありません。気象庁のページにも地震予知について書いてありますので御覧ください。 www.jma.go.jp また、毎日集計しているため、この記事は毎日自動で更新されるはずです。更新が止まったらプログラムがエラーになったんだなと思ってください。 これから1週間の予測 これから1週間の予想です。ざっくり天気で表現しています。 日時 天気 2023-12-08 ☀ 2023-12-09 ☁ 2023-12-10 ☀ 2023-12…

こんにちは。ソフトウェアエンジニアの新田です。こちらは カンム Advent Calendar 2023、8日目の記事です。 昨日はデザイナー torimizuno さんによる バンドルカードの Google Pay デザイン でした。今年のバンドルカードの目玉リリースの1つであるスマホタッチ決済(Google Pay)のデザインについて説明されていて、凄く面白いです。 今回は、カンムの機械学習のインフラ周りについて話します。実はカンムのテックブログでは2年半前に同じテーマの記事があります。この内容からいくつかアップデートがあるので、今回はその差分を重点的に拾っていこうと思います。 tech.…

年末アドベントカレンダー期間になってIT系の記事が爆増している…… 読むのが間に合わん 新米Google Cloud管理者の奮闘記のその後 〜Organizationの秩序を維持する試み〜 - ZOZO TECH BLOG 一度荒れた環境をどうにかするのって本当に難しいんだよね…… プログラミングの原則：enumの比較はすべてバグ - Uzabase for Engineers ぱっと見問題ないコードでも、たしかに考慮漏れを引き起こしかねない……面白かった いろんなやり方の読書会をやってみたら当日音読その場でまとめ方式が最高だった話 - Gunosy Tech Blog やっぱり目的に応じてい…

こんにちは！志水です。みなさんre:Inventはどうでしたか？私は現地参加は3回目になり、毎回眠すぎて倒れそうになりますが、それ以上に楽しく最高にエキサイティングでした。シカゴピザのデカさには卒倒しました。 re:Inventの2日目に参加した「ANT306 | Build a data foundation to power your generative AI applications」というワークショップで学んだことを共有します。 ワークショップの概要 ワークショップの説明文は下記になります。 Generative AI applications are powered by foun…

前回に引き続き、日本ソフトウェア科学会機械学習工学研究会から2023年9月に公開された『機械学習システム セキュリティガイドライン Version 2.00』を数回に分けて、自分なりにゆっくり読み解いていきたいと思います。 今回は、『本編』の最終章となる「I-7. 検知・対処」を読み解きました。 github.com AIの開発や運用、サービス提供を行う皆さんの参考になる情報をご提供できればと思います。 また、G検定でも時事的な法律や制度などの問題も出題されているということなので、受験される方の何かの参考になれれば幸いです。 【目次】 1.ガイドライン全体の構成 2.今回読んだ範囲の概要 3.…

Image via AMD AMDは、新しいRyzen 8040シリーズCPUを2024年Q1からAcer、Asus、Dell、HP、Lenovo、Razerなどの主要OEMメーカーから幅広く発売する予定であることを発表。また、Ryzen AIソフトウェアを広く提供開始しました。

人工知能 (AI) の作成をめぐる倫理的議論での意見は、激しく議論されているほど多様です。真の AI を作成することで「神を演じる」ことができるかどうかという問題だけでなく、人間に優しい一連の倫理を知的機械にどのように組み込むかという問題もあります。現在、人類はさまざまな国、宗教、グループに分かれており、誰が最終決定を下すのかという問題は難しい問題です。どちらの国が最初にそこにたどり着いたとしても、それは政府や科学コミュニティ内の支配的な意見に委ねられる可能性があります. 人工知能の誕生は避けられないのでしょうか?毎週、スコアの学術論文が世界中の大学から発表され、さまざまな意見を断固として擁護…

ベイズ深層学習 (機械学習プロフェッショナルシリーズ)作者:須山敦志講談社Amazon キーワードや気になる文章をてきとーにさらっていきます。随時更新予定。2023/12/07 1.1 ベイズ統計とニューラルネットワークの変遷 1.2 ベイズ深層学習 1.1 ベイズ統計とニューラルネットワークの変遷 活性化関数、重みパラメータ、入力、ラベル、パーセプトロン、複雑系、創発、コネクショニズム、分散表現、特徴量、誤差逆伝播法 推論、不確実性、ベイズの定理、MCMC、メトロポリス・ヘイスティング法、HMC、ベイジアンネットワーク、信念ネットワーク、有向非循環グラフ、グラフィカルモデル 事前分布、ベイズ…

はじめに ゲームに有用な數学-計算量及び複雑性・テンソル・群論 ゲーム木の複雑度 決定問題及び最適化問題 NP困難 NP完全 PSPACE 純碁の計算複雑性理論 5路盤や6路盤では、純碁はPに属為る。 7路盤や8路盤では、純碁の計算複雑性は未解決である。 9路盤では、純碁はPSPACE完全である。 トランプのポーカー ルービックキューブ 2×2×2は、最適解が11手以内である。 3×3×3は、最適解が20手以内である。 4×4×4は、最適解が29手以内である。 5×5×5は、最適解の上界は未蜘である。 テンソル 計算量や複雑さを計算為る方法 テンソルの特殊な例 群論 ルービックキューブ群 P≠…

Bing Image Creatorによって作成 ：蓑輪博之 はじめに フリップフロップ RS型フリップフロップ JK型、T型、D型フリップフロップ レジㇲタ レジㇲタの仕組み 種々のレジㇲタ レジㇲタの役割 プログラミング 種々のプログラミング言語 プログラミング言語の特徴 Java及びPython C言語及びアセンブラ 環境構築 プライバㇱー及びセキュリティ Gmail暗号技術の數学的説明 Gmail に関した暗号 RSA暗号の仕組み 耐量子計算機暗号 自動運転におけるㇳロッコ問題の解決策 ㇳロッコ問題とは 免責の要件 第1 第2 第3 第4 第5 最後に 終わりに はじめに コンピュータ…

こんにちは、佐々木です。re:Inventの基調講演で発表されたAmazon S3 Express One Zoneについて、さっそく調査してみました。 写真は、re:Inventの会場にいたS3のマスコットキャラです。イベント初日は、Express One Zoneの腹巻をしていなかったのですが、サービス発表後はExpress One Zoneという名前で会場内を闊歩していました。 Amazon S3 Express One Zoneとは？ Amazon S3 Express One Zoneは、S3の新しいストレージクラスです。従来も、ひとつのAZのみにデータを配置するOne Zoneもあ…