機械学習

近年、大規模言語モデル（LLM）の進化は、自然言語処理の分野において画期的な変化をもたらしています。とくに、OpenAIのGPT-4のようなLLMは、その応用範囲の広さと精度の高さで注目を集めており、多くの研究者や開発者が新たな利用方法を模索しています。本記事では、これらのLLMを活用したマルチクエリ生成が、文書検索の性能向上にどの程度効果があるかを検証します。 文書検索は、入力されたクエリに関連する文書を返してくれます。しかし、ユーザーが入力する単一のクエリでは、常に最適な検索結果が得られるとは限りません。そこで、LLMを用いてクエリを複数生成し、それらを組み合わせることで検索結果を改善する…

AIの予想結果 今回の自作AIシステムの予想は このようになりました！ HOMEAWAY予想102 横浜FC湘南033.1%39.0%27.9% 神戸名古屋147.0%21.1%31.9% 広島Ｇ大阪144.6%32.3%23.1% 浦和福岡152.2%25.5%22.3% Ｃ大阪京都150.6%32.7%16.7% 柏鳥栖230.3%30.7%39.0% FC東京札幌150.2%21.1%28.7% 鹿児島沼津136.7%33.1%30.3% 讃岐松本136.7%28.3%35.1% 奈良鳥取227.9%29.9%42.2% 北九州福島232.3%31.5%36.3% 愛媛八戸156.2%2…

統計検定も落ち着いたので、ぼちぼち機械学習の勉強も再開したい。 回帰問題の評価指標 RMSE:Root Mean Squared Error RMSLE:Root Mean Squared Logarithmic Error MAE:Mean Absolute Error 二値分類の評価指標(正例である確率が予測値の場合) logloss(cross entropy) AUC(Area Under the ROC curve) マルチクラス分類の評価指標 quadratic weighted kappa レコメンデーションの評価指標 MAP@K こちら過去五年のKaggleコンペの主要指標 L…

こんにちは! 分析チームの梶原(悠)です。今回はクラス間不均衡問題について議論します。 目次 クラス間不均衡問題とは 問題の定式化にまつわる議論 比較シミュレーションの設定 比較シミュレーションの結果 考察 クラス間不均衡問題とは 実務で扱われる多くの分類問題はクラス間のサイズに偏りがあります。 いくつかのクラスのデータが他のクラスよりも著しく多いとき、分類器は小さなクラスを無視しやすくなります。 これは、クラス間不均衡問題と呼ばれます。 問題の定式化にまつわる議論 クラス間不均衡問題は、「分類問題の構造の複雑さ」「訓練データの大きさ」「クラス間のサイズの偏り」などの条件が絡みあって起きます …

前回までに分子軌道情報の自動計算のアプリのコード、利用画面の説明などについて紹介してきました。作成したコードをGitHubに公開していますので、MITライセンスのもとご自由に利用いただければと思います。github.com ご利用にあたって、コメント、感想などがあればご連絡ください。

今回は変則的にmini totoのみ！ 珍しいパターンですが、 今回もしっかり予想していきます！ AIの予想結果 今回の自作AIシステムの予想は このようになりました！ minitoto A HOMEAWAY予想102 奈良相模原139.8%29.9%30.3% 鳥取琉球150.6%27.5%21.9% 沼津讃岐141.0%33.9%25.1% 八戸富山229.1%32.7%38.2% 長野北九州154.2%22.7%23.1% rakuten_design="slide";rakuten_affiliateId="1484aae4.13da31e2.1484aae5.20c71e55";ra…

こんにちは。LayerXのバクラク事業部で機械学習エンジニアをしている@shimacosです。 最近、体重が増える一方で危機感を感じ始めたので、ダイエットを始めました。 ダイエットを始めて早3ヶ月ほどですが、一向に痩せません。何故でしょう？ この記事はLayerXアドベントカレンダー11日目の記事です。 昨日は@upamuneが「Slack × Zapier × MiroでKPTでの振り返りをラクにする」という記事を書いてくれました。 明日は@itkqが、楽しい話を書いてくれる予定です。 はじめに バクラクの機械学習チームでは、AI-OCRという請求書や領収書などの帳票から、仕訳などの経理業務…

2023年10月末でSansan株式会社を退社しました。 お世話になりました。最終出社でした！来月からは新天地で頑張ります！！ pic.twitter.com/XY6QDj6Xcz— ねるそぬ (@nersonu) 2023年10月4日 2021年4月に修士卒で新卒で入社し、約2年半ほどお世話になりました。 今思い返しても新卒として入社してよかった会社だと思います。 技術的な部分もビジネス的な部分も学ぶことができて非常に成長したなという実感がありますし、何よりも周りのメンバーに恵まれたなというのが一番ツイていたと思います。 やってきたこと 「研究員」という名目の職種で入社しました。 とはいいつ…

はじめに：技術とイノベーションの不可欠性 技術とイノベーションは、現代社会において不可欠な要素となっています。 スマートフォンの普及やインターネットの発展により、情報のアクセスが容易になり、コミュニケーションやビジネスの方法が大きく変化しました。 例えば、ビデオ通話アプリの普及により、地理的な距離を超えてコラボレーションが可能になりました。また、クラウドテクノロジーはデータの保管と共有を簡素化し、企業の効率向上に寄与しています。 テクノロジーの進化：過去から未来へ テクノロジーの進化は、人類の進歩と不可分の関係にあります。 過去の例として、産業革命による機械の発展が挙げられます。 現在では、A…

独自アルゴリズムで地震を予知にチャレンジしています。ただの趣味でやっているもので全く精度はありません。流行りの機械学習を利用しています。 もちろん地震の予知はできるものではありません。気象庁のページにも地震予知について書いてありますので御覧ください。 www.jma.go.jp また、毎日集計しているため、この記事は毎日自動で更新されるはずです。更新が止まったらプログラムがエラーになったんだなと思ってください。 これから1週間の予測 これから1週間の予想です。ざっくり天気で表現しています。 日時 天気 2023-11-29 ☁ 2023-11-30 ☁ 2023-12-01 ☁ 2023-12…

M7iインスタンスは何がすごいの？ 現在ラスベガスで開催されているAWS社の年次イベントであるre:Invent 2023でVMware Cloud on AWSの新しいインスタンスm7i.metalが発表されました。 blogs.vmware.com 外部ストレージに依存する前提でCPUに全振りしたベアメタルインスタンスがベースに採用されています。現在提供されている3つのインスタンスとスペックを比較するとこうなります。 i3.metal i3en.metal i4i.metal m7i.metal CPU 36 48 64 96 Memory 512 768 1024 384 Storage…

はじめに こんにちは、クラウド事業部の岩崎です。 今年も待ちに待ったreinvent2023が遂に始まりました。 reinvent.awsevents.com AWSに関わる身としては是非これからの動きに繋げていきたいと考えて、オンラインで視聴してみました。 オンラインは簡単な登録だけで視聴できますので、AWSに関わる方々は是非視聴してみましょう！ 現地の様子は別レポートが掲載されますのでそちらをご覧ください！ 本日は2日目の基調講演について書いていこうと思います。(日本時間で午前1時より開始) 日本語翻訳で視聴していますので、不足情報などあれば随時更新致します！ 視聴講演 ・キーノート：Ad…

画像生成AIで盛り上がり始めた生成AIブームを、ChatGPTで頂点まで持ち上げたOpenAIですが、Q*(キュースターと読むそう)という新型のAI開発を進めているということをReuterが報じ、一躍話題になっているようです。 gigazine.net 現在のGPTはtransformerの自然言語モデルがベースとなっているため、なかなか算数の問題が解けない問題がありました。 一方、OpenAIの目指すGeneral AIには数学が解けるような論理的思考力が必要とされているそうで、Q*はGrade-level(小学生レベル?)ではありますが算数の問題が解ける能力を獲得したそうです。 OpenA…

投資の世界は常に進化しています。その中でも特に注目されているのが「ロボアドバイザー」というテクノロジーです。これは、アルゴリズムと人工知能を駆使して投資の提案や資産運用を行うシステムです。金融業界におけるデジタル化の波に乗り、ロボアドバイザーは近年、多くの投資家から注目を集めています。伝統的な資産運用と比べて、ロボアドバイザーはいくつかの魅力的な特徴を持っています。その最も大きな特徴は、運用手数料の低さとアクセシビリティの高さです。これにより、初心者から経験豊かな投資家まで、幅広い層の人々に対して、簡単かつ効率的な投資の機会を提供しています。しかし、ロボアドバイザーがいかに便利であっても、その…

今日は久しぶりに整体に行きました。やっぱり定期的にいくのがいいみたい。 ＼ブログ訪問ありがとうございます♪／ 女性管理職の方々に『癒し』と『笑い』と『新たな視点』をお届けする、女性管理職のためのコミュニティ A lot of flowers のつっきーです。 ◆コミュニティ紹介記事はこちら⇩ a-lot-of-flowers.hatenablog.com ◆HPはこちら ◆メルマガ登録はこちら 女性管理職のための交流会を開催しています話すことは放すこと。仕事の話から趣味の話まで幅広く話しましょう。 ・１２月２日（土） １４：００〜 東京・渋谷近辺 ・１２月３日（日） １０：００〜 水戸市内 今…

市場スナップショット 特許分析サービス市場は、2022年に約917.13百万米ドルの市場価値から、2035年までに約4,418.65百万米ドルに達すると推定され、2023－2035年の予測期間中に14％のCAGRで成長すると予想されています。 サンプルPDFレポートの請求はこちら: https://www.sdki.jp/sample-request-110472 市場概況 特許は、市場で新しいプロセス、方法、物質、またはデバイスに対して付与される排他的権利です。特許は主に、企業や発明者の知的財産/財産を保護する手段として使用されます。時代の変化と競争の激化に照らして、特許は企業にとって重要な…

ラックストレージサーバー 市場概要 QYResearchが発行した最新市場調査レポート「ラックストレージサーバーの世界市場レポート 2023-2029年」によると、ラックストレージサーバーの世界市場規模は2029年までに281百万米ドルに達し、予測期間中の年平均成長率は8.2％と予測されています。 ラックストレージサーバーは、ラックNAS（Network Attached Storage）サーバーやラックマウントSAN（Storage Area Network）サーバーとも呼ばれ、データの保存と管理を目的として設計されたサーバーの一種である。これらのサーバーは通常、標準的なサーバーラックやキャ…

高田純次さんは年を取ってやってはいけないこととして説教・昔話・自慢話を挙げていて、そういう話をしないとエロ話しかすることないということをおっしゃっています。このブログを振り返るとまさにその３大話ばかりという気もしますが、こういう話は若い人たちとの飲み会ではしないようにしようという材料にはなります。 この岩波講座の物理の世界のシリーズは樺島さんや篠本先生、伊庭さん、西森先生なんかも書かれていますが、コンパクトに重要なことをまとめたシリーズで、機械学習でも講談社のシリーズはマニアックすぎるのでこれくらいのボリュームでシリーズを出しても面白いかもとか思いました。これくらいのボリュームなら書いてもいい…

AIイラスト生成サービス【picmo】 AIとは、人間の行動や思考を、人間の代わりに実現する技術です。AIは、機械学習や深層学習などの手法を用いて、大量のデータからパターンやルールを学習し、予測や判断、推薦などのタスクを行います。AIは、画像認識や自然言語処理、音声認識などの分野で応用されています。 DXとは、デジタルトランスフォーメーションの略で、データやデジタル技術の活用を前提とした経営や組織体系の改善を行い、環境変化の中でも成長し続けることを指します。DXにおけるデジタル技術には、IoTやクラウド、5G、サイバーセキュリティなどが含まれますが、その中でもAIは重要な役割を果たしています。…