imyt’s learning space

Introduction to Semi-Supervised Learning #6

book

1. Introduction to Statistical Machine Learning

2. Overview of Semi-Supervised Learning

3. Mixture Models and EM

4. Co-Training

5. Graph-Based Semi-Supervised Learning

6. Semi-Supevised Support Vector Machines

6.1 Support Vector Machines

• SVMの概要説明。
  • マージン最大化を制約付き最適化問題に帰着して解く
  • 線形分離可能でない訓練事例に対してはスラック変数（制約の緩和量）を導入して対応
  • 正則化リスク最小化として定式化することもできる
  • その場合，損失関数はhinge loss function，正則化項はL2。
• カーネルトリックなどの説明はS3VMの導入には不要なので省略

6.2 Semi-Supervised Support Vector Machines

• ラベルあり事例とラベルなし事例の双方をマージン外に置く。
• 損失関数として，hat loss functionを用いる
• S3VMの目的関数はnon-convexなので，局所最適解に陥ってしまうことがある。

6.3 Entropy Regularization

• SVMもS3VMも確率モデルではない
• ロジスティック回帰モデルをS3VMの確率モデルと考えることができる
• logistic lossがhinge loss，entropy regularizerがhat lossに対応する。

6.4 The Assumption of S3VMs and Entropy Regularization

• クラスはwell-separatedである，という前提が崩れると良い境界面を見つけ出すことができない
• 特に，分布の低密度なところが識別境界にならない場合，その影響が顕著である。

7. Human Semi-Supervised Learning

• 人間の学習モデルと機械学習モデルの比較
• 簡単なタスクでは半教師あり学習と同じようなことをしている
  • ラベルなしデータを活用している
• 複雑なタスクでは，ラベルなしデータは学習結果に影響しない。

8. Theory and Outlook

• 半教師あり学習の理論的根拠を説明
  • 教師あり学習に関するPAC学習可能性
  • 半教師あり学習に関するPAC学習可能性
• 真の誤差をある閾値以下にするために必要なサンプル数を理論的に見積もることができる。

ツイートする

Permalink | コメント(0) | トラックバック(0) | 06:23

無線LAN親機新調

misc

9年ほど使ってきたBuffalo BLR-TX4（WLI-PCM-L11Gで無線化）の調子が悪くなってきたので，無線LAN親機を新調しました。購入したのはWHR-HP-GNです。

IEEE802.11b（11Mbps）からIEEE802.11g（54Mbps）になったので，とても快適になりました。主な用途は，iPod Touchからの接続ですが，Speed Testで16Mbpsくらいでるようになりました。以前は4Mbpsぐらいでした。接続も安定しています。良い買い物でした。

ツイートする

Permalink | コメント(0) | トラックバック(0) | 05:24

パターン，Wiki，XP 〜時を超えた創造の原則

book

ソフトウェア設計の定石集であるデザインパターン，アジャイルな開発手法であるエクストリームプログラミング（XP），知のコラボレーションシステムであるWiki。これらの起源がどこにあるのか？，を建築家クリストファー・アレグザンダーまで遡って歴史を振り返っています。

ソフトウェア開発におけるパターンは，アレグザンダーが考え出した建築手法の一つである「パターンランゲージ」を起源としています。また，Wikiもパターンを記述して共有するためにつくられました。建築からソフトウェア開発，そしてWiki。この流れを「パターン」を軸に説明しています。

その中で，

p.143

アレグザンダーが建築の世界で無名の質を備えた建築を追い求めたように，ベックは無名の質を備えたソフトウェアを目標とし，カニンガムは無名の質を備えたWebサイトを目標とした

p.146

無名の質を備えたコミュニティとは，生き生きとした持続性のある発展可能なコミュニティでもあるのです。

とあるように「無名の質」という概念がキーになっています。

p.184

無名の質とは，古い都市の調和した街並みが備えている生き生きとした建物や街が持つ特性です。この思想に強く共鳴したソフトウェアの世界の人々もまた，「無名の質」という「言葉にできない何か」を実現することに惹きつけられていたのかもしれません。

この「無名の質」という概念。まだ，私はきっちりとは理解できていませんが，計算機が作り出す世界を考えていく上で非常に重要な概念だと感じました。

ツイートする

Permalink | コメント(0) | トラックバック(0) | 06:11