すべてがMFになる

すべてがFになる,映像化するみたいですね.犀川創平も西之園萌絵も配役がイメージと違って一部で話題になっていました.さて,最近テンソル分解を使った論文をよく見かけるのですが,いまだにきちんと整理できずにいます.テンソルかわいいよ,テンソル. …

Learning Latent Variable Gaussian Graphical Models (ICML2014)読んだ

MLaPPアドベントカレンダー12日目という下書きが下書きエントリにずっと入っていてそろそろ腐敗し始めているため,きまずくてブログが更新できない昨今です.MLaPPアドベントカレンダーは2年越しの計画という言い訳を思いついているので,今年の年末にがんば…

MLaPP アドベントカレンダー11日目:Ch.11 Mixture models and the EM algorithm

この章は混合モデルとEMアルゴリズムについて.前半の混合モデルについてはちゃんと読めたけど,EMについてはそんなに詳しく読めていないし,知っているところも多かったのでだいぶ飛ばしてしまった.混合モデル周辺はこれまでそんなに触ったことがないので…

MLaPP アドベントカレンダー10日目:Ch.10 Directed graphical models

ということで10日目ですが,そろそろ力尽きそうな感じでDirected graphical modelです.この章のポイントがどこにあるのか,ざっと読んだだけでは理解しきれていません.当たり前のことが書いてあるような,重要なことが書いてあるような….細かい部分につい…

MLaPP アドベントカレンダー9日目:Ch.9 Generalized linear models and the exponential family

本日は指数型分布族に関する章で,指数型分布族とはなんぞ その3のような感じです(その1, その2).任意の指数型分布族のメンバーは生成分類器をつくるためのクラス条件付き確率密度として簡単に用いることができます.また,反応変数yが指数型分布族分布とな…

MLaPP アドベントカレンダー8日目:Ch.8 Logistic regression

ロジスティック回帰の章まできました.このあたりは自分は結構よく知っていることもあり(読む時間もないし…),まとめ方は雑になってます.多くの本では,ロジスティック回帰の説明がなされている章で大抵ロジスティック回帰そのものよりも非線形最適化の話…

MLaPP アドベントカレンダー7日目:Ch.7 Linear regression

なんとか7日目を迎えることができました.1週間というのは長いものです.しかし,これでまだ1/4の章.しかも簡単な部類の章ばかりなので,MLaPPこわい.ということで線形回帰の章です. Model specification 線形回帰モデル の代わりに非線形関数を用いても…

MLaPP アドベントカレンダー6日目:Ch.6 Frequentist statistics

というわけで,昨日はベイズ統計でしたが,本日は頻度論的統計の章です.頻度論から統計学を知った身としては,頻度論の問題点を指摘されているのは自分の黒歴史を見つめているようで悲しい気分になります….とはいえ,最近は完全に発想がベイジアンになって…

MLaPP アドベントカレンダー5日目:Ch.5 Bayesian statistics

5日目になってベイズ統計の章に入ってきました.ベイズの定理を用いたベイズモデリングや,そこまで詳しく触れられませんが古典的ベイズ,階層ベイズ,経験ベイズの違いがわかるといいと思います.また,次の章では頻度論的な話になっているので対比してみる…

MLaPP アドベントカレンダー4日目:Ch.4 Gaussian models

4章長くてつらい.4.3が1番重要と思う.PRML 2章でも正規分布の部分は結構重たかったんだけど,それだけ重要だということだと思う.途中で積ん読になるならこの章だと思うので,序盤の山場と思われ.初日に書いた通り,自分も1, 2, 3章読んで止まってたので4…

MLaPP アドベントカレンダー3日目:Ch.3 Generative models for discrete data

というわけでMLaPPアドベントカレンダー3日目.三日坊主の域まで来たので,一つ目の関門は越えた感じです.ここまでで一応100ページ弱.3章の内容はまだまだ導入という感じの章ですね.生成モデルの考え方,ベイズの考え方などが具体例に沿って説明されるの…

MLaPP アドベントカレンダー2日目:Ch.2 Probability

他のアドベントカレンダーのエントリタイトルみていたらみんな,ほにゃららAdvent Calendarってなってて,アドベントカレンダーってカタカナで書いてしまって恥ずかしい….ということで,確率論の概要の章.ここらへんはまだ大丈夫そうです. Some common di…

MLaPP アドベントカレンダー1日目:Ch.1 Introduction

12月ですね.そういえば昨年ベイズ統計分析ハンドブックに関するエントリーを書いたところ,ホッテントリに入って大量のアクセスを頂きましたが,誰一人としてアフィリエイトで買う人間はおらず,やはり薦める本を失敗した!と後悔し続けた2013年です.皆様…

Contrastive Divergenceについてお勉強してみた

今週はMLど素人でありながら初めてIBISに参加し,様々な刺激を受けて大変良い1週間でした.いつもtwitter上でご活躍を拝見している方々とリアルに会ったり,遠目に眺めてみたり,話をしたりできたので良かったです.刺激を受けたご講演・発表は数多くあった…

SEXI2013読み会に参加した

SEXI2013読み会に参加して発表してきました.会場を提供してくださったysekkyさんおよび株式会社Gunosy様,幹事の@y_benjoさん,発案者の@sleepy_yoshiさん,楽しい時間を過ごさせていただいた参加者の皆さんに改めて感謝申し上げます.SEXI2013のpaperは5本…

Googleの人のオークション理論論文でも読んでみる その1

Goel, G., Mirrokni, V. and Leme, R. P., Polyhedral Clinching Auctions and the Adwords Polytope, 44th ACM Symposium on Theory of Computing (STOC 2012).Google の2012年excellent paperが挙げられていて,その中にオークション理論の論文があった.M…

Semi-Supervised Learning (Chapelle et al., 2006)のChapter 3読んだ

Semi-Supervised Text Classification Using EM Nigam, K., McCallum, A. and Mitchell, T. 私なんぞでも知っている有名人GoogleのNigamさんによるChapter 3 (pp.33-55). McCallum, Mitchellも有名人.Tom MitchellはMachine Learningのテキストを1997年に…

Semi-Supervised Learning (Chapelle et al., 2006)のChapter 2読んだ

A Taxonomy for Semi-Supervised Learning Methods Seeger, M.Ch 2(pp.15-31)もどちらかというとoverviewっぽい.半教師あり学習の分類について書かれている.相変わらず簡単なまとめメモ+適当な意訳あり.あとはてダの数式が綺麗ではないので,少しがんば…

指数型分布族とはなんぞ その2

情報幾何の観点から指数型分布族を眺めるその2です.前回よりはもう少し内容のあることを書きたいと思います.前回のエントリーを書いた後に指数型分布族の空間におけるデータ解析法について(pdf)を見つけてとてもわかりやすいので死にたくなりました.でも…

Semi-Supervised Learning (Chapelle et al., 2006)のChapter 1読んだ

Chapelle et al. (2006)を買ったので読んでみてる.Zhu and Goldberg (2009)の"Introduction to Semi-Supervised Learning"も買った.後者はかなり薄いかつ簡単そうなので,概要を掴むには良さそう.まだ特に半教師ありを何かに適用するつもりではないのだけ…

Hierarchical Geographical Modeling of User Locations from Social Media Posts (WWW2013)を読んだ

論文のpdfはここ 概要 TwitterやFacebook,FoursquareやGoogle+などのソーシャルネットワークサービスによってロケーションセンサーやジオタグが安価に利用可能になっている.この論文は地理情報とメッセージ内容の生成モデルを提案する.既往研究のように予…

視覚と音楽,そして25年

まずは下の文章を読んでいただきたい. K: (前略)もうひとつ音楽にとって,いかに視覚が重要かというのは,ストラヴィンスキーが「目をつぶってオーケストラを聴く馬鹿」と言ったんですが,演奏しているのを見ているというのは,音楽の体験にとって,とても…

4th 凸解析苦手の会

4回目でp.49あたりまで.全然すすまねーw2.3のOperations that preserve convexityはaffine functionやperspective functionが凸性を保存することが書かれていた.perspective functionは簡単に言えば1次元下げるような写像(ピンホールカメラのイメージ)…

指数型分布族とはなんぞ

皆さん,ご存じの指数型分布族(exponential family)について私の拙い理解をまとめておきたいと思います.指数型分布族といえば,難しめの統計学や機械学習の本を読んだときに突如出てきて,「え,何それ,指数分布じゃないの?僕,指数分布しか知らないよ−」…

3rd 凸解析苦手の会

1時間程度開かれた凸解析苦手の会の第三回.他研究室の学生さんも加わって6名になった.喜ばしい.その一方で,今回やったところはあまり幾何的なイメージができずに悪戦苦闘し,数頁しか進まなかった.内容は凸性を保存する操作について.まだまだ前半です…

交通の観点から見たメカニズムデザイン入門

さみしかったのでtwitterで@niamさんに謎絡みしてしまったが,そのついでに昨年研究室の学生向けにサクッと説明したメカニズムデザインの説明スライドをslideshareにupしたのでここにもリンクしとく.メカニズムデザインの専門家が見たら切れられそうだが,…

2nd 凸解析苦手の会

無事,心が折れることなく第2回が開催された.当然のことながら予習無しの本読み会.前回参加者2名で今回5名と大幅増(無理矢理リクルートしたとも言う).今回は凸集合の話だったので,だいぶスピードが上がって,理解度も高し.p.23からp.35まで進んだ. …

1st 凸解析苦手の会

凸解析苦手の会による凸解析勉強会をはじめてみた.本はBoyd and VandenbergheのConvex Optimization.たぶんスピードはゆっくり目でやる予定.忙しいのでどこまでやれるか.今日はChapter 1とChapter2の前半アフィン集合まで.大変適当な理解をした.

CPLEXのPython APIが謎なので無理矢理バッチ化

確実に方向性が間違ってる気がするんだが,User's Manual見てもよくわからない上にインターネット上にも情報が少ないので,とりあえずアドホックな方法の紹介.というか,無理矢理バッチ処理にしちゃって動かせばよい.WindowsのCドライブ直下にproblem.lpと…

Google リーダーと情報収集

iGoogle に続き,Google リーダーがお亡くなりになるということで,どこに乗り換えようかと考えています.いろいろと代替サービスはweb上でレコメンドされているので,みんなの評判を見つつ乗り換えようかと.しかし,RSSはブラウザ上で読むことが多いので,…