コンピュータに対し、データを元に役立つ規則などを発見させる(すなわち学習する)こと。およびその方法。
ニューラルネットワークから歴史は始まり近年は確率統計の観点から研究されることが多い。 統計の観点から見た場合、与えられたデータに対してモデルを当てはめているだけである。 モデルが複雑である点で従来の統計学と異なっている。
以下、有名な確率モデル
AIの予想結果 今回の自作AIシステムの予想は このようになりました! HOMEAWAY予想102 新潟浦和016.7%46.2%37.1% 京都福岡225.1%26.7%48.2% 湘南町田233.1%29.5%37.5% 川崎F札幌137.8%31.9%30.3% 名古屋G大阪229.1%31.1%39.8% 磐田鳥栖142.2%37.8%19.9% C大阪神戸022.3%43.8%33.9% FC東京柏232.3%23.9%43.8% 鹿島東京V139.4%31.5%29.1% 熊本横浜FC024.3%37.8%37.8% 仙台群馬149.5%29.1%21.4% いわき山口023.9%…
はじめに 本エントリーでは、カルマンフィルターで用いる観測データの一貫性チェックについて説明します。実用において観測は非常にノイジーであり、時に異常値をを含んだものとなります。そのため、外れ値をそのまま統合してしまうと状態推定が不安定になってしまう恐れがあります。そこで、毎回の更新ステップ時に得られている観測を統合すべきか否かを判断し、大きく外れた観測が得られている場合はその観測を拒否することで安定したフィルター状態を保つような仕組みが一般的に採用されています。一貫性をチェックする方法は幾つか提案がされていますが、本エントリーではその中でもひろく用いられているNormalized Innova…
こんにちは、SREグループの 水口 です。 この記事では、スタディプラスが運営する「Studyplus Engineering Podcast」の公開までに行なっているPodcastのShow Notesを作成する過程について紹介します。 Show Notesと生成AI活用のモチベーションについて Show NotesとはPodcastのエピソード内で何が起こったかを詳細にまとめたもので、一般的には以下の内容が記載されます。 トピックの要約 言及された話題に関するリンク Podcastの聴取や購読などのCTA(Call To Action / 行動喚起) また、収録・編集ツールを提供するRiv…
はじめに カルマンフィルター(1),(2)に続いて本エントリーでは、非線形なモデルに対してカルマンフィルターを用いるための方法についてまとめます。本稿で述べる内容については、線形モデルの場合のカルマンフィルターの理解を前提とします。線形モデルの場合のカルマンフィルターについては、過去にまとめておりますのでこちらも是非ご覧下さい。 biocv.hateblo.jp 具体的には、非線形モデルを線形近似する拡張カルマンフィルター(Extended Kalman FIlter : EKF)およびサンプル点を用いて分布を近似する無香カルマンフィルター(Unscented Kalman Filter:UK…
AIコード生成への過信は禁物 Qiitaに投稿しました Qiitaに「AIで生成されたコードの品質は低い」を投稿しました。 qiita.com 得られた知見など 論文の本題よりも周辺知識調べたところが面白かったです。 Googleのエンジニアが50行/日、Microsoft、Facebookのエンジニアが70行/日でスタートアップのエンジニアが860行/日だとすると人生燃やしている感じはしますね。 スタートアップだとアーキテクチャの変更が多く単にファイルの移動が多いということなのかもしれないですが。 ランキング参加中プログラミング
この記事は、量子サポートベクターマシーンを利用して、MNISTから配布されているデータベースの分類を行う方法をある程度略して説明するものです。変分量子計算の方法論は、機械学習における分類問題にも応用されています。その1つがQuantum Support Vector Machine(QSVM)です[1]。これはクラス分類問題において、評価関数に現れるカーネルを量子状態の内積で代用して、それを解くというものです。この方法において、過学習が抑えられるということが報告されています。本来ならば、実装してデータを採りたいところですが、手書き文字の認識分類をさせるだけでも画像を取り込んだ上に数字とアルファ…
LightGBMのver. 4.0.0で登場した量子化ですが、今はLightGBMも4.3.0が出て量子化についての不具合修正もすすんで安定して動くようになってきました。 論文をベースに、「どういう計算をしているのか」という理論面の概要と、実際に動かして「どれだけ計算速度や予測精度やモデルのファイルサイズが変わるのか」を見ていきたいと思います。 個人的に特に気になっているのはモデルのファイルサイズの減少です。 量子化の概要 LightGBMのような最近のGBDTで使われている決定木では、葉の出力は誤差関数の2次のテイラー近似をもとに、以下のように計算されます(このあたりはChen & Gues…
はじめに 本エントリーでは、一般の多次元のカルマンフィルターについてまとめます。カルマンフィルターの概要や式の解釈については以前のエントリー「カルマンフィルター(1) - 1次元の場合」で投稿させて頂きましたので、こちらもご覧頂ければと思います。 本稿では、多次元の場合の予測モデルと更新モデルについて式の導出を行います。また、実装上課題となる数値安定性を解決するために一般的に用いられているUD分解による定式化についても捕捉します。 カルマンフィルターのモデル 1次元の場合と同様に状態遷移モデルから予測モデルと更新モデルを記述します(図1)。 図1:状態遷移モデルのグラフ 状態量:$\bf{y_…
はじめに 以前のエントリーにて2変数正規分布の場合の条件付き分布について期待値と分散の導出を行いました。式の変形において特別な知識を要さないので、条件付き分布についての理解をまず2変数の場合で式展開を追いながらつかんでもらうのがよいかと思います。 biocv.hateblo.jp 本記事ではより一般的な多変数の場合の条件付き分布について期待値と分散の導出を行います。途中、式の変形にてブロック行列の逆行列の知識を用います。式の展開については、以下のQiitaの投稿を参考にさせて頂きました。 qiita.com 導出 任意の次元 $n \in N$の確率変数$X$が平均:$\mu$、分散:$\Si…
この記事について バックグラウンド 本業はTypeScriptを主に書いているWebエンジニアで社会人5年目。副業ではデータサイエンティスト/機械学習エンジニアをやっていてこちらも5年目。 この記事を書いた理由 最近読んだ「科学的根拠に基づく最高の勉強法」という本の中に、「思い出す頻度が高ければ高いほど定着する」という話があった。 なので、読んだ本の内容を思い出し定着させるきっかけとするためにこの記事を書いている。 科学的根拠に基づく最高の勉強法作者:安川 康介KADOKAWAAmazon 紹介する本のラインナップについて 統計や機械学習の理論をガチガチにするのは難しいと判断して、理論寄りの書…
AMDの次世代Zen 5 CPUは、約10%のIPC向上を実現するとの噂が広まっています。これに関連して、Cinebench R23シングルスレッドテストでもわずかな増加が見られました。これについてLenovoのマネージャーからの情報が示唆しており、次世代Zen 5コアアーキテクチャはIPCが約10%向上すると予想されています。また、Cinebench R23 1T(シングルスレッド)テストでも10%を超えるIPC向上が期待されています。 これまでのZenアーキテクチャのIPC向上率を振り返ると、Zen 1からZen 4までの間での向上率が示されています。Zen 5のIPC向上率は最大で10%…
一言英語: プログラミングを学ぶ時にこの一言 英語 Code your way to success! 日本語 成功への道はコーディングから! 英語の長文: データを活用するためのプログラミング (Programming for Utilizing Data) 英語 In the digital age, programming skills are paramount for leveraging the power of data. Whether it's analyzing trends, creating machine learning models, or developing …
今回は ChatGPT で Python から F# に書き換えたのですが、これはそのままでは動かなくて、かなり書き直しました。このプログラムの mutable な変数を mutable ではないものに変更するとどうなるか、ということを考えたいのですが、これはなかなか難しそうです。以前このブログで取り上げたときも、とくに何もできていませんでした。今回も同じことになりそうなので、ブログに書く意味があるのか、と思いますがいちおう ChatGPT をちょっと使ったということで書いておくことにします。 open System open System.Collections.Generic let fo…
機械学習に関するHOLが公開されていたので試してみます(英語オンリーです) なお、実際に画面操作する際はシミュレーションとなっていましたが、しょうがないですね。 内容は6つのモジュールに分かれていました。 モジュール 1 - GPU を使用した vSphere での AI/ML 概要 (15 分) モジュール 2 - NVIDIA vGPU を使用した機械学習ワークロードの実行 (15 分) モジュール 3 - パススルー モードでの GPU の使用 (15 分) モジュール 4 - vSphere with Tanzu で NVIDIA vGPU を使用してコンテナを構成する (15 分) …
FSコミュニティで原文を読む 高性能コンピューティング(HPC)は、複雑な問題を解決し、科学研究、AI、その他のさまざまなアプリケーションの限界を押し広げるための重要なツールとして登場しましたしかし、HPCシステムの効率的な運用には、専門的なインフラとサポートが必要であり、高密度コンピューティングの要求を満たし、放熱を管理し、堅牢な帯域幅を確保する上で、データセンターは極めて重要な存在となっています。この記事では、データセンターがどのようにHPCをサポートしているのか、HPCの主要コンポーネント、冷却設備、必要不可欠な機器、適切な製品を選択することの重要性に焦点を当てて解説します。 高性能コン…
無事に就職先も決まったので、データサイエンティスト業務用のリハビリとして4月に読んだ書籍の感想を書く。 統計的因果推論の理論と実装 RとStanではじめる ベイズ統計モデリングによるデータ分析入門 StanとRでベイズ統計モデリング 仕組みと使い方がわかる Docker&Kubernetesのきほんのきほん 10年戦えるデータ分析入門 SQLを武器にデータ活用時代を生き抜く ビッグデータ分析・活用のためのSQLレシピ 確率思考の戦略論 ロジカル・プレゼンテーション 統計的因果推論の理論と実装 統計的因果推論の理論と実装 Wonderful R 作者:高橋将宜,石田基広,市川太祐,高橋康介,高柳…
この記事にはプロモーションが含まれています。 ランキング参加中読書 ようこそ、シュガーです。 講談社タイガから発売されている小説 著者:森博嗣 さん 何故エリーズは語らなかったのか? Why Didn't Elise Speak? を読みました。 何故エリーズは語らなかったのか? Why Didn’t Elise Speak? WWシリーズ (講談社タイガ) 作者:森博嗣 講談社 Amazon VRやAIが発展した世界を描くSFと謎解きを掛け合わせたような作品。 WWシリーズ第8巻。 すごく面白かったです! 感想、レビューを書いて行きます。 いつも通り個人的な評価です。 多少のネタバレが含まれ…
Geekbench 6 ベンチマーク結果によると、Apple M4 チップは、M3 よりもわずかに低いクロック速度にもかかわらず、シングルコアとマルチコアの両方のパフォーマンスで M3 を上回っています。 主なポイント: M4 は 4 つの高性能コアと 6 つの高効率コアを搭載しています。 ベースクロックは 3.7GHz、ブーストクロックは 3.93GHz です。 Geekbench 6 シングルコアスコアは 1879 点、マルチコアスコアは 7735 点です。 M3 はシングルコアで 1797 点、マルチコアで 6932 点でした。 M4 の ML スコアは 15174 点で、M3 の 13…
量子コンピューティングは、従来のコンピューターとは異なる新たな技術であり、その革新的な可能性が注目されています。量子コンピューティングの進化によって、私たちの生活や産業に大きな影響を与えるでしょう。 1. 高速性と効率性の向上 量子コンピューターは、従来のコンピューターに比べて膨大な計算能力を持ちます。量子ビットという新しい情報の単位を利用することで、複雑な問題を高速で解決することが可能になります。これにより、医薬品の開発や気候変動の解析など、さまざまな分野で効率的な処理が可能になります。 2. 暗号解読の可能性 量子コンピューティングの革新は、暗号解読の分野でも大きな影響を与えると考えられて…
テクノロジーは、常に進化し続ける未知の領域への挑戦であり、私たちの生活や社会を変革してきました。未来のテクノロジーは、さらなる可能性を探求し、未知の領域への挑戦を続けます。 1. AIと機械学習の発展人工知能(AI)や機械学習の技術は、ますます進化し、新たな領域への展開が期待されています。自律走行車やロボット、医療診断など、人間の能力を超える新たな技術が生み出される可能性があります。 2. バーチャルリアリティの拡張バーチャルリアリティ(VR)や拡張現実(AR)は、現実と仮想の融合を促進し、新しい体験を提供します。仮想空間での教育や娯楽、リモートワークの発展など、さまざまな分野での活用が期待さ…
JX通信社CTOの小笠原(@yamitzky)です。4月19日に「AIコンペティション」を社内勉強会として開催したので、その取り組みを紹介します。 開催の目的 JX通信社では、AIで世界中のリスク情報を解析する「FASTALERT」という製品を開発しています。ただ、普段からエンジニアの全員がAI開発に取り組んでいるわけではなく、フロントエンドやバックエンドなど、AI以外のコンポーネントを開発しているエンジニアも多くいます。 数年前まではDeep Learningなどの高度なAIを活用した製品開発は敷居の高いものでしたが、 近年ではAutoMLやAmazon SageMakerのようなマネージド…
2024年5月8日に、QYResearchは「機械学習による推薦アルゴリズム―グローバル市場シェアとランキング、全体の売上と需要予測、2024~2030」の調査資料を発表しました。本レポートは、機械学習による推薦アルゴリズムの世界市場について分析し、主な売上、動向、市場規模、主要企業の市場シェアとランキングに焦点を当てています。また、地域別、国別、製品タイプ別、用途別の分析も行っています。機械学習による推薦アルゴリズムの市場規模を2019年から2030年までの売上に基づいて推計と予測しています。定量分析と定性分析の両方を提供することで、企業がビジネス成長戦略を策定し、競争環境を評価し、市場位置…
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 (詳細はリンク先をご覧ください。) 皆さんは、飼っている猫が寂しそうだから兄弟みたいな犬を連れてきてあげようかな、と思ったことはありませんか? 私は猫も犬も飼ったことがないので何とも言えませんし、なぜ犬かはさておき、マルチモーダル検索を使えばそんな要望にも応えることができます。 茶トラにはレトリーバーがお似合い 概要 マルチモーダル検索 Titan Multimodal Embeddings Pinecon…
Visual StudioでNETデスクトップ開発のオプションを知っておいて、不要なものはインストールを省くと無駄なスペースをくいません。 Entity Framework 6 Tools EF Designer と EF モデル ウィザードを含みます。「データ指向のソフトウェアアプリケーション開発をサポートするADO.NETのデータアクセス技術」だそうです。 IntelliCode AIがコードの候補を作ってくれます。 初心者にはいいかもしれませんが、ある程度かける人だとかえって煩雑になるかもしれません。 Visual Studio IntelliCode | Visual Studio -…
2024年3月19日に出版された「AWS コンピュータービジョン開発の教科書」を読んだ📕 コンピュータビジョンは今取り組んでいる仕事にも関連していて,本書の目次を見たら今まで試したことがなかったようなサービスも学べそうだったので,実は出版前から興味を持っていた💡今回は本書を読むだけではなく,気になったトピックを実際に試しながら進めた. AWS コンピュータービジョン開発の教科書 (Compass)作者:Lauren Mullennex,Nate Bachmeier,Jay Raoマイナビ出版Amazon 本書では AWS サービスを活用してコンピュータビジョンシステム(用語の定義は以下の wh…