機械学習

今回はデータの分割方法について整理します🐜 学習データとテストデータ ホールドアウト法 交差確認法 一つ抜き法(leave-one-out) ブートストラップ法(bootstrap) おわりに 参考文献 学習データとテストデータ 機械学習モデルを構築するとき、集めてきたデータとモデルの推定値の誤差が小さくなるよう調整する。しかし、これだけでは未知のデータに対する良し悪し、つまり汎化能力が不明である。そこで一般には手元にあるデータを、モデル構築用の学習データと、汎化性能比較用のテストデータに分割し、既知のデータと未知のデータの両面から機械学習モデルを評価・構築する。 ここで、対象とするデータの母…

こんにちは！エンジニアの藤井（touyou）です！ この記事はGoodpatch Advent Calendar 2023の二日目の記事になります。 今回テーマにするのは昨年末のChatGPTリリースに始まり全世界を巻き込む社会現象となった「AI」についてのお話です。 ChatGPTの影響が大きかった一番の要因はチャット形式かつその性能の高さが今までAIに直接触ってなかった層を巻き込めるようになったから、というのはわりとメジャーな見方かと思いますが、一方でこれによってAIもとい機械学習がどういう仕組みで動いているのかという理解があまりないまま生成AIを触っている人も増えてきたのかなと思います。…

NTTドコモ R&D Advent Calendar 2023 の1日目の記事です。 井上と申します。アメリカのシリコンバレーにあるドコモの子会社，DOCOMO Innovations, Inc. (DII) で Principal Data Scientist として機械学習の研究開発に従事しています。 DII は Amazon Web Service とパートナーシップを組み，Federated Learning (連合学習, 略して FL) の開発と実用化に取り組んでいます。昨年のアドベントカレンダーでは Vertical Federated Learning (VFL) のチュートリア…

この記事は何？ マルチモーダル検索の流れ Vespaを利用したマルチモーダル検索の実装 実装する検索システムの概要 商品embeddingの管理方法 Embeddingの推論 Vespaのスキーマ設定 スキーマの定義 ランキングロジックの定義 Vespaへのデプロイとデータフィード マルチモーダル検索の実行 Vespaでのベクトル検索の方法 入力：検索キーワード、検索対象：画像 入力：画像、検索対象：商品タイトル 応用：ベクトル検索とキーワード検索の組み合わせ おわりに この記事は何？ 情報検索・検索技術 Advent Calendar 2023 - Adventar の1日目の記事です。 マ…

組み込み関数のsetattr関数、getattr関数はオブジェクトを操作する上でとても役立ちます setattr 関数: setattr 関数は、オブジェクトの属性に値を設定するための関数です。 def set_attribute(obj: object, attr_name: str, value: any) -> None: """ オブジェクトの属性に値を設定する関数 Parameters: - obj: 対象のオブジェクト - attr_name: 設定する属性の名前 - value: 設定する値 """ setattr(obj, attr_name, value) # サンプルコード…

PythonのAttrDict: 辞書の属性アクセス 本記事では、Pythonでよく使われるデータ構造の一つである辞書（Dictionary）を、AttrDictクラスを使用することで属性アクセスを可能にする解説をします。AttrDictは辞書を拡張し、属性アクセスを提供することで、コードの可読性や使いやすさを向上させるための便利なツールです。（ライブラリもありますが、わかりやすくクラスを実装します。 AttrDictのメリット 属性アクセスの利便性： AttrDictを使用すると、辞書のようにキーを使って値にアクセスするだけでなく、ドット演算子を使って属性としてもアクセスできます。これにより…

近年、大規模言語モデル（LLM）の進化は、自然言語処理の分野において画期的な変化をもたらしています。とくに、OpenAIのGPT-4のようなLLMは、その応用範囲の広さと精度の高さで注目を集めており、多くの研究者や開発者が新たな利用方法を模索しています。本記事では、これらのLLMを活用したマルチクエリ生成が、文書検索の性能向上にどの程度効果があるかを検証します。 文書検索は、入力されたクエリに関連する文書を返してくれます。しかし、ユーザーが入力する単一のクエリでは、常に最適な検索結果が得られるとは限りません。そこで、LLMを用いてクエリを複数生成し、それらを組み合わせることで検索結果を改善する…

この記事は enechain Advent Calendar 2023 の6日目の記事です。 昨日は@YamatoのNode.js上でのBigQueryのスキーマ管理でした。 はじめに enechain データサイエンスデスク エンジニアの藤村です。 enechainでは市場活性化を目的として、機械学習や最適化アルゴリズムを用いて電力などの商品に関する指標を算出し、社内外に提供しています。その中でも特に正確さが求められる数値については、社外に公開する前に社内のドメインエキスパートによるチェックを必須としています。本稿では、そのような運用を効率化するためにSlackを利用して構築した「Human…

更新日時 2023/12/06/07:07 Qiita Trends Daily 1位 ※前日1位 教育,マネジメント,アンチパターン,新人プログラマ応援 Qiita Trends Daily 2位 [New] Linux,shell,本番環境,やらかし,AdventCalendar2023 Qiita Trends Daily 3位 ※前日5位 Python,プログラミング,初心者,数学,浮動小数点数 Qiita Trends Daily 4位 ※前日3位 Python,研修,React,プログラミング初心者,ChatGPT Qiita Trends Daily 5位 [New] C,C++…

独自アルゴリズムで地震を予知にチャレンジしています。ただの趣味でやっているもので全く精度はありません。流行りの機械学習を利用しています。 もちろん地震の予知はできるものではありません。気象庁のページにも地震予知について書いてありますので御覧ください。 www.jma.go.jp また、毎日集計しているため、この記事は毎日自動で更新されるはずです。更新が止まったらプログラムがエラーになったんだなと思ってください。 これから1週間の予測 これから1週間の予想です。ざっくり天気で表現しています。 日時 天気 2023-12-06 ☁ 2023-12-07 ☀ 2023-12-08 ☀ 2023-12…

この記事は クラウドワークス Advent Calendar 2023 シリーズ1 6日目の記事です。 こんにちは。crowdworks.jp SRE チームの田中（@kangaechu）です。 この記事では crowdworks.jp の SRE チームが2023年にやったことを記載していきます。 やっていることは色々で、まとまりはありませんが、そこら辺はご容赦ください。 2022年の振り返り 2023年にやったこと CircleCI インシデント対応 RundeckのECS化 Railsで使用しているMemcachedをRedisに寄せる 課題 1. Memcachedでは停止時にデータが…

大画面の液晶テレビを買いたいがどれを買ったらよいのか？Panasonic（パナソニック）のVIERA（ビエラ）とSONY（ソニー）のBRAVIA（ブラビア）、TOSHIBA（東芝）のREGZA（レグザ）を比較しながらテレビ選びのポイントを解説！ 更新：2023年12月06日 更新情報： 12月05日時点の家電量販店価格と価格の推移を更新しました。(2023年12月6日) 10月24日時点の家電量販店価格と価格の推移を更新しました。(2023年10月25日) 9月23日時点の家電量販店価格と価格の推移を更新しました。(2023年9月24日) 価格の推移にグラフによる月別推移を追加しました。(20…

はじめに こんにちは、エモーションテックのテックリードのかどたみです。 エモーションテックではRustのactix-web、Node.jsのNestJSに続き、マイクロサービスを担う言語としてPython、フレームワークとしてFastAPIを利用しています。 今回はFastAPIを運用に乗せるために設定しているカスタムログについて簡単にまとめてみました。 この記事はエモーションテック Advent Calendar 2023 の6日目の記事です。 採用背景 弊社は顧客や従業員・株主の体験向上をサポートするサービスを提供しています。ソフトウェアのプロダクトだけでなく、対象者それぞれの感情を解析し…

列挙型、JavaでいうならEnum型、使っていますか。使わないわけにいきませんよね。 でも、Enumを使っていたせいで辛い目にあったことありませんか。ないですか。それならきっともうすぐに辛い目にあうと思います。 Enumはすべてのプログラマに等しく辛みを与えてくれるからです。そんな辛みについて、ちょっと一緒に直視してみましょう。 エムスリーエンジニアリンググループ、Unit1（製薬企業向けプラットフォームチーム）三浦(@yuba@reax.work) [記事一覧 ]がお送りいたします、エムスリー Advent Calendar 2023の6日目です。

市場スナップショットラボ情報管理システム（LIMS）市場規模とシェアは、2022年に21.40億米ドルの市場価値から、2035年までに48.20億米ドルに達すると推定され、2023－2035年の予測期間中に7％のCAGRで成長すると予想されています。 ラボ情報管理システム市場 市場概況ラボでの日常業務を自動化することで、ラボの生産性と効率を向上させるソフトウェアは、ラボ情報管理システム (LIMS) と呼ばれます。LIMS は主に、サンプルとテスト結果の管理を簡素化します。LIMS の実装は、COVID-19 パンデミックの際に急速に勢いを増し、ラボのテスト数の増加に対処し、リモート作業を可能…

前回に引き続き、日本ソフトウェア科学会機械学習工学研究会から2023年9月に公開された『機械学習システム セキュリティガイドライン Version 2.00』を数回に分けて、自分なりにゆっくり読み解いていきたいと思います。 今回は、『本編』の「I-6. 実際の機械学習システムに対する脅威分析・対策」を読み解きました。 github.com AIの開発や運用、サービス提供を行う皆さんの参考になる情報をご提供できればと思います。 また、G検定でも時事的な法律や制度などの問題も出題されているということなので、受験される方の何かの参考になれれば幸いです。 【目次】 1.ガイドライン全体の構成 2.今回…

エムスリー Advent Calendar 2023 五日目担当、AI・機械学習チームの横本（yokomotod）です。前日は同じくAIチーム大垣さん(id:Hi_king)からの「画像を理解するGPT-4 Visionで、既存の画像認識モデルを説明可能にする」でした。 たまたま並んでしまいましたが、昨日のAIチームのMLエンジニアリングな話に続けて、今日はMLOpsやインフラについてのお話です。 （さらに本日はmabl Advent Calendar 2023としてQAチームの城本さん（@yuki_shiro_823）から「mabl Experience'23で「複数チームでmablを活用す…

急に冬になりましたねw 日ごろ家族以外とはめったに口をきく機会もない私ですが、今年は４年ぶりの忘年会に呼んでもらえて、いまから楽しみにしています。ついに翻訳家デビューした今年こそ営業しないでどうする！という意気込みでまいります。 年中行事が大好きなコージーミステリはクリスマステーマの作品があふれてますが、あえての非クリスマス本を。 Serving Up Spite: A Cook-Off Mystery (English Edition) 作者:Delaney, Devon Beyond the Page Amazon 『Serving Up Spite』 by Devon Delaney シ…

2週間の日本滞在も残り4日となりました。どうなるかと思っていた日本滞在でしたが、毎日たくさんの友人に囲まれ、まるで、雪解けのように、メンタルが回復しました。まだまだ会う予定の方がいますが、短時間ずつ時間を割り振って、この2週間弱で、30名以上の友人知人に会いました。顧客の皆様、元客先メンバーとその周りの皆様、仕事繋がりの友人、機械学習勢、ダンス友達、LAの友達、大学＆高校の友人、お世話になっていた語学学校の皆様、かつての英語学校のメンバー等々、本当に皆様、短い時間でお時間をいただき、大量のお土産をいただき、ありがとうございました。大好きな仲間に囲まれるってこんなにも幸せなのかと、あんなに苦労し…