多変量解析

「ggplot2によるデータの視覚化」 第二弾はジェット戦闘機編ggolot2でくらべる飛行機－ジェット戦闘機編 ggplot2によるデータの視覚化作者:山岡直樹Amazon子供の頃から、何かしら自分の作品を出して LEVIN と TRUENO と名付けたかったんだけど、 今回使ったグラフ描画時の theme に無理矢理 LEVIN と TRUENO と名付けてみた。こっちが theme_trueno (雷鳴) で こっちが theme_levin (稲妻) 本の目次はじめに 1. ggplot2 による散布図の描画 1.1. 単純な散布図 1.2. 国ごとに色を変える 1.3. グラフのタイ…

今回は統計的手法について。 「その24」以前が未読の方は先ずは一つ前の以下の記事から。 tomo1961.hateblo.jp 皆さんの会社では「統計的手法」を活用しているだろうか？ 「統計的手法」に関して日本の製造業は、おそらく以下の３つのグループにはっきりと分かれるだろう。 ・活用している ・活用できていない ・「統計的手法」を知らない 知らない、というのは本来問題外なのだが、中小を合わせた全製造業の殆どは、統計的手法を知らないまま、あてずっぽうで判断/決断して会社の大切な将来を危険にさらしているのだろう。 「統計的手法」を活用して業務上の効果を得られるには、第一に”計算ができる人材”が必…

まだ続くの…？ 今回は重要ですよ！最近よく出題される多変量解析の種類です！ただ「統計学」では回帰分析ばっかりですけどね…。 多変量解析って↑の表でいうところの「分析」の欄じゃね。 多変量解析編 多変量解析の種類とその内容です。実際の分析は不要です。ただそれが何なのかを知るだけでOKです。 ①A/B分析 ②主成分分析 ③因子分析 ④判別分析 ⑤クラスター分析 ⑥コンジョイント分析 ⑦コレスポンデンス分析 ⑧単回帰分析 ⑨重回帰分析 ⑩数量化分析 まとめ ①A/B分析 一番簡単な分析方法。とりあえず色々やってみて、結果どれが良かったかを確認するやつです。広告とかでもよく使われる分析の方法です。どん…

条件付き確率とベイズの定理 正規分布のベイズ判別 判別関数 参考文献 条件付き確率とベイズの定理 ベイズ判別の基本的な考え方はベイズの定理に基づく。例えばある患者の発熱という症状について風邪かインフルエンザのどちらの原因で生じたかを判断したいとする。ここで風邪が原因である確率がインフルエンザが原因である確率よりも高ければ、患者の発熱の原因は風邪だと判断することができる。これを条件付き確率を用いて表すと、ただし。 図1、は風邪とインフルエンザの相対頻度であり、発熱という結果を前提としないため事前確率と呼ばれる。発熱という結果が生じる確率は事前確率と条件付き確率を用いてと表せる。求めたいのは発熱が…

クラスター分析は異なる性質が混ざった多数の個体を、個体間の類似度に基づいて似たものの集まり（クラスター）を作るための手法。判別分析ではどの群に属するかがあらかじめわかっているデータに基づいて判別関数（判別方法）を構成したのに対し、クラスター分析では分類のための外的な基準は与えられていない*1。クラスター分析は、階層型分析法と非階層型分類法に大別できる。階層型分類法は、最も似ている組み合わせから順番にクラスターを形成する。途中過程が階層のように表せるため、アウトプットとして樹形図（デンドログラム）を描くことができる。一方、非階層分類法は階層的な構造を持たない。あらかじめクラスターの数を決め、決め…

フィッシャーの線形判別関数は、青（1群）と赤（2群）から観測されたデータを、変数の線形結合で表される軸上へ射影し、それぞれの群の分離度を表す群間分散と、各群内のデータのばらつき度合いを示す郡内分散の比を最大にする軸（直線）を最適な射影軸とする関数を構成した。ここではデータと各群を代表する平均ベクトルとの距離を定義し、距離の小さい方に判別する方法を示す。 マハラノビスの距離 1次元のマハラノビスの距離 多次元のマハラノビスの距離 マハラノビス距離とユークリッド距離 マハラノビスの距離と線形判別関数の関係 マハラノビスの距離 1次元のマハラノビスの距離 データを1次元（青（1群）のデータは個、赤（…

線形判別分析 判別分析の目的は量的なデータを元に質的な結果を予想すること。例えば身長や体重、血圧といった量的なデータを元に、その人が健康か不健康かを判断する。線形判別とはデータを直線で分け、データが直線の左右どちらにあるかを判別する。図1は2次元データの散布図であり、青グループと赤グループは質的に異なると仮定する。青を1群、赤を2群とし、直線を引いてこれらを区別する。 図1 石井（2014）を元に作成まずデータの平均（図2の黒点）を通る直線を引き、さらにその直線に直交する直線（）を引く。直線は青（1群）と赤（2群）の判別のために用いる。 図2 石井（2014）を元に作成直線に、各データから垂線…

" data-en-clipboard="true"> 新生児や乳児のCOVID-19はリスクが高いと考えられていますが、実際には、それほど悪くないようです。自験例でも、新生児・乳児での悪化例は、ほとんど経験がないです。 " data-en-clipboard="true"> アラブ首長国連邦からの報告です。 " data-en-clipboard="true">要点・新生児・乳児のCOVID-19は症状の持続期間も短く・経過が良い・ICU入院を要するのは２%以下。 " data-en-clipboard="true"> Clinical Outcomes of COVID-19 in New…

計数の修士では統計学輪講という単位がありましたが、私はその時間帯にバイトを入れていたのでその単位は取りませんでした。今となってはおそらくすごいメンバーで構成されていたと思われますが、当時は統計学にはさらさら興味がなかったので、特に気にすることもなくバイトにいそしんでいました。 そのバイトというのは、同級生の中山泰一君経由で紹介してもらった専門学校で、今はもうないみたいですが英進情報処理専門学校と国際観光専門学校というところでした。前者は情報処理技術者試験資格向けで、後者は観光業とかでPC使って事務処理をすることが目的でしたが、プログラミングとか結構マニアックなことを教えていたような気がします。…

EETimes Japan様から頂いておりますコラム「デバイス通信」を更新しました。シリーズ「2022年度版 実装技術ロードマップ」の第25回です。実装技術ロードマップ（書籍）の第2章「注目される市場と電子機器群」から、第3節「ヒューマンサイエンス」の第3項「人間拡張」を紹介中です。五感センサーの中で最も開発が遅れているという「嗅覚」の解説回が続いております。嗅覚の最後は人間の鼻の代わりをしてくれるシステム「人工電子鼻（e-Nose）」を紹介します。eetimes.itmedia.co.jp基本的な構成はセンサーアレイ（においセンサーアレイ）と情報処理です。アレイ出力を多変量解析やパターン認識…

2023年5月に統計検定準1級（CBT方式）に合格しました。 合格するまでに実施したことを備忘として残したいと思います。ここまで長い道のりだった。 #統計検定準1級 pic.twitter.com/cCsndEBYNA— shika (@nlwxp5) 2023年5月13日 受験する前の状態 統計検定2級を2019年に取得済み 統計検定準1級から試験範囲に含まれる多変量解析は大学時代に触れている 時系列解析、マルコフ連鎖、確率過程等は全く知識なし 勉強期間と方法 試験合格までに期間は約半年ほど掛かりました。勉強時間としては70～80時間程度かと思います。 勉強には以下の書籍を使用しました。最初…

JELENA DJURIS;…; SVETLANA IBRIC(2013.3, JOURNAL OF PHARMACEUTICAL SCIENCES)[ Application of Quality by Design Concepts in the Development of Fluidized Bed Granulation and Tableting Processes] 理由 自分の仕事関連 概要 本研究は、造粒と打錠の定義されたデザイン空間における実験デザインと多変量データ解析の応用を説明する。Quality by Design概念によると、顆粒や錠剤の重要品質特性(CQAs)は、…

機械学習や統計では線形代数がいたるところで使われていますが，普通の線形代数の教科書ではさらっと扱われるようなことが重要だったりすることがあります． その一つはベクトルや行列にかかわる関数の微分です．例えば重回帰分析を導出する際に，二乗誤差をパラメータベクトルで微分することを知っていると，式がすっきりしますし， tr(X^T X) とか det(X) とかの微分は多変量正規分布を扱う初期に必要なものです． 最近でこそ機械学習の本がたくさん出ているので，こういう内容を含めた本というのも数多くありますが，私が学生の頃はほとんどありませんでした．このシステム制御のためのマトリクス理論は，そのようなこと…

1991年にJapan Clinical Oncology Group（JCOG）リンパ腫グループ（LSG）による813例のATL患者の全国実態調査をもとに，多変量解析による予後因子として，年齢，全身状態（performance status：PS），総病変数，高Ca血症，高LDH血症が同定された14-17）。そしてATLの予後因子解析，自然史と臨床病態の特徴から，白血化，臓器浸潤（リンパ節，皮膚，肺，肝脾，骨，消化管，胸水，腹水，中枢神経），高LDH血症，高Ca血症の有無と程度により「急性型」，「リンパ腫型」，「慢性型」，「くすぶり型」の4臨床病型分類が提唱された18）。 ホーム｜造血器腫瘍…

私が電総研に入った年，栗田さんはカナダＮＲＣに滞在されており，麻生さんは通産省に出向ということで，メンバーが少なめなスタートでした． そんな中，私は，室長の大津さんのD論をまとめた電総研の研究報告を勉強して，ほとんど前提知識のなかった多変量解析について多くのことを知ることができました． この本は大津さんや栗田さんを中心に構築された非線形多変量解析理論を軸に書かれた本です． この理論は数学的には非常に美しいのですが，私は若干不満があります．それは学習理論においては本質的な有限個のデータにおける推定精度についてはほとんど何も教えてくれないことです．ただし，逆に言えばほとんどの学習理論研究がそちらに…

・本稿の内容 2度の不合格を経て、統計検定準1級に合格できました(※3回ともCBT移行後の受験です)。受験勉強の際に参考にした資料(書籍とWeb資料)まとめておきます。準1級の受験を考えている方の参考になれば幸いです。 ・本文 1.参考にした資料 必須の2冊 2級の復習 2級の内容をより深く 回帰分析関連 確率過程、時系列分析関連 多変量解析(主成分分析、判別分析、因子分析、クラスター分析) ベイズ統計 数学 各種Web資料 2.おまけ:過去問を分野ごとにまとめました。 確率と確率変数(1章:事象と確率～4章:変数変換、7章:極限定理、漸近理論) 種々の確率分布(5章:離散型分布、6章:連続型…

・ ・ ・ 関連ブログを６つ立ち上げる。プロフィールに情報。 ・ ・ ｛東山道・美濃国・百姓の次男・栗山正博｝・ 江戸時代の和算や土木技術は世界トップレベルで、その経験に基づいた柔軟な発想・想像を持った理系頭脳を受け継いできたのが武士や学者ではなく庶民であった。 そして、庶民は和歌、俳句・川柳、漢詩、歌舞音曲などの多種多様な分野で表現する文系頭脳を車の両輪として持っていた。 それが、オンリーワンとナンバーワンという日本一・日の本一・当代一である。 高度経済成長期までの日本が生み出したイノベーションやリノベーションは、庶民的な理系頭脳と文系頭脳から総合的に生み出していた。 そうした庶民の知的遺産…

統計検定準1級の出題範囲は幅広く、統計学の各種手法や、機械学習の応用分野についても出題されます。 また、統計検定2級相当の知識は前提となっており、さらに幅広い検定手法の理論と解釈方法を問われます。 統計の土台となる数学知識についても、統計検定2級はそこまで高度な数学知識は求められませんが、統計検定準1級はある程度の大学数学の知識がないと、試験に合格できません。 微積分や線形代数の基礎を理解することは、計算問題に対応するためにも、試験範囲を理解するためにも必要です。 統計検定1級も難しい試験になっていますが、統計検定準1級は出題範囲が幅広いため、対策が難しく別の難しさがあります。 統計検定準1級…

主成分分析（PCA）とは あらすじ 考え方（分散の最大化） 考え方（対角化） 元データの分解 データ行列を使った表現 特異値分解との関係 参考文献 主成分分析（PCA）とはあらすじ$p$次元のベクトルで表される$n$個のデータ$\{\bm{x}_{i} = {}^{t}\!(x_{i1},\ldots,x_{ip})\}_{i = 1}^{n}$を並べた「データ行列」\begin{aligned} X= \begin{pmatrix} x_{11} & x_{12} & \cdots & x_{1p} \\ \vdots & \vdots & \ddots & \vdots \\ x_{n1}…