コンピュータに対し、データを元に役立つ規則などを発見させる(すなわち学習する)こと。およびその方法。
ニューラルネットワークから歴史は始まり近年は確率統計の観点から研究されることが多い。 統計の観点から見た場合、与えられたデータに対してモデルを当てはめているだけである。 モデルが複雑である点で従来の統計学と異なっている。
以下、有名な確率モデル
はじめに 本エントリーでは、カルマンフィルターで用いる観測データの一貫性チェックについて説明します。実用において観測は非常にノイジーであり、時に異常値をを含んだものとなります。そのため、外れ値をそのまま統合してしまうと状態推定が不安定になってしまう恐れがあります。そこで、毎回の更新ステップ時に得られている観測を統合すべきか否かを判断し、大きく外れた観測が得られている場合はその観測を拒否することで安定したフィルター状態を保つような仕組みが一般的に採用されています。一貫性をチェックする方法は幾つか提案がされていますが、本エントリーではその中でもひろく用いられているNormalized Innova…
こんにちは、SREグループの 水口 です。 この記事では、スタディプラスが運営する「Studyplus Engineering Podcast」の公開までに行なっているPodcastのShow Notesを作成する過程について紹介します。 Show Notesと生成AI活用のモチベーションについて Show NotesとはPodcastのエピソード内で何が起こったかを詳細にまとめたもので、一般的には以下の内容が記載されます。 トピックの要約 言及された話題に関するリンク Podcastの聴取や購読などのCTA(Call To Action / 行動喚起) また、収録・編集ツールを提供するRiv…
はじめに カルマンフィルター(1),(2)に続いて本エントリーでは、非線形なモデルに対してカルマンフィルターを用いるための方法についてまとめます。本稿で述べる内容については、線形モデルの場合のカルマンフィルターの理解を前提とします。線形モデルの場合のカルマンフィルターについては、過去にまとめておりますのでこちらも是非ご覧下さい。 biocv.hateblo.jp 具体的には、非線形モデルを線形近似する拡張カルマンフィルター(Extended Kalman FIlter : EKF)およびサンプル点を用いて分布を近似する無香カルマンフィルター(Unscented Kalman Filter:UK…
AIコード生成への過信は禁物 Qiitaに投稿しました Qiitaに「AIで生成されたコードの品質は低い」を投稿しました。 qiita.com 得られた知見など 論文の本題よりも周辺知識調べたところが面白かったです。 Googleのエンジニアが50行/日、Microsoft、Facebookのエンジニアが70行/日でスタートアップのエンジニアが860行/日だとすると人生燃やしている感じはしますね。 スタートアップだとアーキテクチャの変更が多く単にファイルの移動が多いということなのかもしれないですが。 ランキング参加中プログラミング
この記事は、量子サポートベクターマシーンを利用して、MNISTから配布されているデータベースの分類を行う方法をある程度略して説明するものです。変分量子計算の方法論は、機械学習における分類問題にも応用されています。その1つがQuantum Support Vector Machine(QSVM)です[1]。これはクラス分類問題において、評価関数に現れるカーネルを量子状態の内積で代用して、それを解くというものです。この方法において、過学習が抑えられるということが報告されています。本来ならば、実装してデータを採りたいところですが、手書き文字の認識分類をさせるだけでも画像を取り込んだ上に数字とアルファ…
LightGBMのver. 4.0.0で登場した量子化ですが、今はLightGBMも4.3.0が出て量子化についての不具合修正もすすんで安定して動くようになってきました。 論文をベースに、「どういう計算をしているのか」という理論面の概要と、実際に動かして「どれだけ計算速度や予測精度やモデルのファイルサイズが変わるのか」を見ていきたいと思います。 個人的に特に気になっているのはモデルのファイルサイズの減少です。 量子化の概要 LightGBMのような最近のGBDTで使われている決定木では、葉の出力は誤差関数の2次のテイラー近似をもとに、以下のように計算されます(このあたりはChen & Gues…
はじめに 本エントリーでは、一般の多次元のカルマンフィルターについてまとめます。カルマンフィルターの概要や式の解釈については以前のエントリー「カルマンフィルター(1) - 1次元の場合」で投稿させて頂きましたので、こちらもご覧頂ければと思います。 本稿では、多次元の場合の予測モデルと更新モデルについて式の導出を行います。また、実装上課題となる数値安定性を解決するために一般的に用いられているUD分解による定式化についても捕捉します。 カルマンフィルターのモデル 1次元の場合と同様に状態遷移モデルから予測モデルと更新モデルを記述します(図1)。 図1:状態遷移モデルのグラフ 状態量:$\bf{y_…
はじめに 以前のエントリーにて2変数正規分布の場合の条件付き分布について期待値と分散の導出を行いました。式の変形において特別な知識を要さないので、条件付き分布についての理解をまず2変数の場合で式展開を追いながらつかんでもらうのがよいかと思います。 biocv.hateblo.jp 本記事ではより一般的な多変数の場合の条件付き分布について期待値と分散の導出を行います。途中、式の変形にてブロック行列の逆行列の知識を用います。式の展開については、以下のQiitaの投稿を参考にさせて頂きました。 qiita.com 導出 任意の次元 $n \in N$の確率変数$X$が平均:$\mu$、分散:$\Si…
この記事について バックグラウンド 本業はTypeScriptを主に書いているWebエンジニアで社会人5年目。副業ではデータサイエンティスト/機械学習エンジニアをやっていてこちらも5年目。 この記事を書いた理由 最近読んだ「科学的根拠に基づく最高の勉強法」という本の中に、「思い出す頻度が高ければ高いほど定着する」という話があった。 なので、読んだ本の内容を思い出し定着させるきっかけとするためにこの記事を書いている。 科学的根拠に基づく最高の勉強法作者:安川 康介KADOKAWAAmazon 紹介する本のラインナップについて 統計や機械学習の理論をガチガチにするのは難しいと判断して、理論寄りの書…
前回の記事で、「安全は創発性であり、創発性は要素の知識からは演繹されえない」、「演繹できないような問題に対するエンジニアリングは難しい」ということを書いた。 それを書きながら、AI(機械学習)のことを連想した。 機械学習の品質確認の難しさ 機械学習を「帰納的プログラミング」、従来のプログラム開発を「演繹的プログラミング」とする対比がよくされる。 「機械学習工学に向けて」(丸山宏, 日本ソフトウェア科学会第34回大会)では、摂氏を華氏に変換するプログラムを例にとり、以下のような分かりやすい対比を示している。 演繹的プログラミング: "F = 1.8 x C + 32" という変換式(先験的知識)…
Amazon Macieを利用すると、データのセキュリティまたはプライバシーに関する潜在的な問題を解決する事ができます。 また、機密情報の検出だけでなく、情報の可視化やデータの評価なども可能です。 本記事では、Amazon Macieの概要について紹介します。 Amazon Macieとは 利用料金 利用料金と要素 利用料金の計算例 Amazon S3バケットの可視化 ジョブの作成 対象S3バケットの選択 スコープ設定 識別子設定 マネージド識別子 カスタムデータ識別子 検出結果の確認 アクションの実行 (参考)マルチアカウント環境におけるAmazon Macieの管理 おわりに Amazon…
Appleがまったく新しいiPad Proに驚異的な性能をもたらす最新のチップM4を今日発表した。第2世代3ナノメートルプロセスで製作されたシステムオンチップ(SoC、System on Chip)であるM4は、Apple Siliconの業界最高水準の電力効率をさらに一歩進め、iPad Proの驚くほど薄いデザインを可能にする。さらに、M4チップは全く新しいディスプレイエンジンを搭載しています。このおかげで、iPad Proで披露する画期的なUltra Retina XDRディスプレイに驚くほどの精度、色精度、明るさを実現します。新しいCPUは最大10個のコアを搭載し、新しい10コアGPUは…
個人開発のライブラリ(クラスライブラリやヘッダーオンリーライブラリ)が多数存在するC++に対して、C#ではあまり見かけない気がします。数学や統計、機械学習に関する大規模なライブラリはGitHubで複数公開されていますが、特定機能に絞ったものは特に見かけません。その理由をずっと考えているのですが、言語の設計思想や時代背景があるのかと想像しています。なお、C#およびC++言語仕様の知識はほとんどないので間違ったことも書くかもしれません。 言語の設計思想として、C#はリフレクションによる型情報の取得が前提です。クラスやメソッドは実行中に名前を取得でき、コンパイル時に未使用でも作成や呼び出しが可能です…
3行まとめ Appleは、先ほど「Apple M4」を発表しました。
4月の読書メーター読んだ本の数:8読んだページ数:2551ナイス数:1Pen(ペン)2024年4月号[特集:未来をつくる26校のチャレンジ 新しい学校]の感想教育研究家、竹村詠美さんの解説するこれからの学校に求められる5要素の1つにLocality(地域との接続)がある。生徒にとって身近な学外環境は親しみを持ちやすい。自然環境、地域に根ざす企業や団体、伝統行事、そこで触れ合う様々な大人の深い考えから、テストだけでは得られない、記憶に残る深い学習体験が生まれる。Localityのある学校として紹介されていたのが、秋田の五城目小学校。子供の教育環境としてLocalityを明確に意識したことがなかっ…
はじめに 『トピックモデル』(MLPシリーズ)の勉強会資料のまとめです。各種モデルやアルゴリズムを「数式」と「プログラム」を用いて解説します。 本の補助として読んでください。 この記事では、ユニグラムモデルにおけるMAP推定(ハイパーパラメータ推定)をR言語でスクラッチ実装します。 【前節の内容】 www.anarchive-beta.com 【他の節の内容】 www.anarchive-beta.com 【この節の内容】 はじめに 2.7 ユニグラムモデルの最大事後確率推定の実装:ハイパーパラメータ推定 参考書籍 おわりに 2.7 ユニグラムモデルの最大事後確率推定の実装:ハイパーパラメータ…
新しいiPad Air Appleは5月7日(米国太平洋夏時間)、新製品を発表するスペシャルイベントを開催した。この記事では、発表された新製品の概要をお伝えする。なお、いずれも予約は既に始まっており、5月15日に発売される。 【画像】新型iPad Proに搭載される「M4チップ」の特徴 iPad Air:史上初の2サイズ構成に 新型「iPad Air」は、従来の10.9インチモデルに加えて、13インチモデルも用意される。メインターゲットである若年層がより大きな画面を求めるニーズに応えたものだという。SoCプロセッサは「M2チップ」を備える。米国における販売価格は、11インチモデルが599ドル(…
以前,何処かのインターネット上の記事で読んだのだが,一日に起こった悪かった事は一切記録せず,一日に起こった良かった事を,最低3つ意地でも見つけ,日記等に記録する日課を継続すると,精神状態の改善を図る事が出来るという.「一体,何を根拠にそんな事を言っているんだ?」と思う方も多かったのかもしれない記事だったのかもしれないが,私は,合理性を感じた.その科学的根拠を,以下に何点か提示しよう.・根拠1人間は認知科学的に言語化されていない事を認識出来ないと言う.上記は,トンデモ科学者としてネット上では有名な,苫米地英人大先生の受け売りだが,これは,個人的には非常に頷ける話だ.(※私は彼の事,結構好きですよ…
ひょんなことから、ブラウザに書いた手書きの数字の認識を目指すことにしました。 今回は、OpenAI APIを試してみます。前回同様、手書きで数字を書く仕組みは、かつて作った、Canvasに線を引けるWebサイトを流用します。blog.kimizuka.orgまた、OpenAIのAPIに画像の内容をテキスト化してもらうプロトタイプも、かつて作っているので、今回はこれらをうまいこと組み合わせればすぐに完成することでしょう。blog.kimizuka.org今回はNext.jsのPage Routerをつかって実装しました。 ソースコード(抜粋) src/pages/api/openai.ts im…
FSコミュニティで原文を読む 現在のコンピューティングパワーの急速な発展に伴い、データセンターとハイパフォーマンスコンピューティングの需要は急増し続けています。このような背景から、高性能ネットワークソリューションとしてInfiniBandアーキテクチャが大きな注目を集めています。この記事では、InfiniBandのコンセプトと特徴を掘り下げ、現在のコンピューティングパワーのトレンドの中で、その必然的な成長と発展を探ります。InfiniBandネットワークの主要コンポーネントに焦点を当て、従来のTCP/IPと比較し、ハイパフォーマンス・コンピューティング環境における利点を明らかにします。上位層、…
はじめに 『トピックモデル』(MLPシリーズ)の勉強会資料のまとめです。各種モデルやアルゴリズムを「数式」と「プログラム」を用いて解説します。 本の補助として読んでください。 この記事では、ユニグラムモデルにおけるMAP推定(ハイパーパラメータ推定)の数式の行間を埋めます。 【前節の内容】 www.anarchive-beta.com 【他の節の内容】 www.anarchive-beta.com 【この節の内容】 はじめに 2.7 ユニグラムモデルのMAP推定の導出:ハイパーパラメータ推定 MAP解の設定 不動点反復法の更新式の導出 参考書籍 おわりに 2.7 ユニグラムモデルのMAP推定の…
ABEJAでデータサイエンティストをしている服部です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構(以下「NEDO」)が公募した「ポスト5G情報通信システム基盤強化研究開発事業/ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実装に向けた特化型モデルの元となる汎化的LLM」に採択されたことを受け、LLMの事前学習を実施しました。 その中でモデルの学習だけでなく、学習に欠かせない大規模日本語言語コーパスを作りました。データセットのサイズとしては、語彙拡張前のMixtral Tokenizerで約400Bほどのものです。 特にその中で大部分を占めるCommon Cr…
プログラミングの世界では、常に新しい技術やツールが登場し、その変化に追いつくためには、着実なキャリアプランが必要不可欠です。 そこで、本記事ではプログラマーのキャリアプランについて詳しく考察していきます。まずは、プログラマーのキャリアプランとはどのようなものなのか、成功するプログラマーに共通する特徴やプログラミング言語の選び方がキャリアに与える影響などを探っていきます。 さらに、キャリアプランを考える上でのポイントや転職・昇進に向けた作り方、学習方法やリソースの活用法まで、幅広く解説していきます。 プログラマーとしてのキャリアを築く上で重要な情報が満載の本記事で、あなたのキャリアに役立つ知識を…