Hatena::ブログ(Diary)

technophobia このページをアンテナに追加 RSSフィード Twitter

2012-02-05

[]think stats chapter 2

meanとaverage

どちらも平均という意味だけど、少し違う。総和を取って単純に割ったものをmean。同じ計算式で求めるのだが、典型的な値、真ん中辺りの値をaverageと呼ぶ。大体みんな同じくらいの値の場合はどちらでもOKだけど、極端にばらつきのある場合にはmeanをaverageと呼ぶことはできない。

偏差(variance)

meanとの差分を2乗して全体の数で割ったもの。そのルート取ったのが標準偏差。ルートを取ると単位が合う。ここで練習問題2つ。かぼちゃの重さの平均と偏差と標準偏差を求めましょうというのが1問目。2問目は前の章の妊娠週数の平均、偏差、標準偏差を求めましょうというもの。

分散(distributions)

頻度を縦軸にとったヒストグラムで表すのが一般的。dictionaryを使って値を頻度にマッピングする。正規化されたヒストグラムはPMF(probability mass function)。

ヒストグラムの表示

値の羅列から頻度をカウントして正規化して確率を出す作業は、著者が書いたPmf.pyを使ってもよいと書いてある。MakeHistFromListでリストからHistを作って、FreqとかValuesとかItemsとかで要素を取り出す。ここで練習問題。最頻値を求めなさい。また、各値の頻度を求めなさい。

ヒストグラムのプロット

matplotlibパッケージのpyplotを使う。ヒストグラムの利点は以下の3つがすぐわかること。

  • Mode 最頻値が一目でわかる
  • Shape 最頻値の周りが対称的か非対称的か
  • Outliers 外れた点、主にエラーがすぐわかる。

でもヒストグラムは2つの分散を比較するにはあまり便利じゃない。サンプリングサイズの違いがクローズアップされるだけだから、そんなときにPMFを使う。

PMFの表示

正規化されたヒストグラム、PMF。MakeHistFromListではなくMakePmfFromListを使うだけ。Probで確率を求めて、IncrとかMultで和積の操作をしてTotalで総和を求めて、Normalizeで再び正規化できる。ここで練習問題2つ。1つ目は、統計にある生存率分析という考え方を実際に計算してみようというもの。具体的にはある部品の1年目、2年目、3年目にあと何年使えるかを計算する。2つ目はPMFを使った平均、分散で求めた値が通常の求め方で求めた値と一緒か確認するというもの。

PMFのプロット

棒グラフにはpyplot.barかmyplot.Histを使う。数が少ないときに便利。折れ線グラフにはpyplot.plotかmyplot.Pmfを使う。数が多いとき、Pmfが滑らかなときに便利。著者の書いたdescriptive.pyを参考にする。

異常値

20週未満で赤ちゃんがうまれるはずないということで、そのへんをエラーとして片付ける。それ以上のは判断が難しい。上と下のいくつかを無視して平均を出すことをtruncated meanと言うそうだ。

他のビジュアライゼーション

今回扱っているデータで最も違いが出るのは最頻値の付近。そこにフォーカスして違いを強調するようなグラフを書いてみよう。35週から45週のPMFの差を取って100倍したのを示している。

相対リスク

そもそも「1人目の赤ちゃんは遅く生まれるか」という疑問からスタートしたが、より正確に37週以前、38、39または40週、41週以後の3つに分けて考える。そこで練習問題。この3つに分けてそれぞれの確率を計算。その後1人目とそれ以外の確率を比較。詳しくはrisk.pyを見るようにとのこと。

条件付き確率

38週目まで生まれず、39週目に生まれる確率はどのくらいか。38週目までの結果を全部ゼロにして残りを正規化すれば求められる。そこで練習問題。各週においてそれまで生まれず、その週に生まれる条件付き確率をプロットして比較せよ。答えはconditional.pyを見る。

結果を報告

こんな感じで大体のデータがそろったわけだが、その報告も重要。質問者によって必要とされる答えは違ってくる。科学者ならどんなに小さくても実際の影響に興味があるし、医者なら臨床的に重要な結果が気になる。妊婦なら自分に関係する情報、例えば条件付き確率が気になるものだ。そこで練習問題。夜のニュースならどう伝えるか、心配している患者ならどう伝えるか。最後に、シカゴ・リーダー紙で「一般読者のどんな難問奇問にも答えてみせよう」という連載コラム"The Straight Dope"を担当しているCecil Adamsになったつもりで明解かつ正確に答えてみよう。

まとめと感想

実際にビジュアライズすると確かにわかりやすい。最後の結果を報告の項目がいいと思った。データをこねくり回してどうのこうのってのじゃなくて、何を知りたいか、誰が知りたいかを明確にして、どうすれば必要とされる情報を効果的に簡潔に正確に伝えられるかに言及しているところがいい。あくまでも問題解決の道具にすぎないということがよくわかる。

2012-01-23

[]「チューリング化」等を読んで

年末に自分のブログを読み返してみたら、なんか似た様なことばかり書いていることに気づいた。機械に置き換えられる仕事についてである。そういえばケヴィン・ケリーの本の「チューリング化」の章にそんなことが書いてあった。

自分がひとたびチューリング化されると、人間にしかできないと思われていた他人の職業が計算機でもできるということを容易に信じられるようになる。人生のいかなる場面でも、画期的変化をもたらす技術を受け入れられる。

こんなふうに前向きに変化に対応していくことが大事なんだろう。また「私たちを作った機械」という章では次のようなことが書かれている。

印刷や筆記やアルファベットは、文化をそれに都合のよいように曲げてしまったのは確かだ。あまりにも不可欠になって、それがない文化や社会を想像することもできない。書くことがなければ私たちの文化は認識不能である。そしてワイゼンバウムが示したように、新しく組み込まれた技術は、それ以前の思考様式に取ってかわる傾向がある。口述は過去のものになり、書物の文化は口述の文化とはしばしば対立している。

・・・

ユビキタス・コンピューティングの到来により、私たちのアイデンティティーはもう一度オーバーホールを受けようとしている。

このように歴史上いくつかある大きな転換点の一つに差し掛かっているんだろうな。その結果として起こるコモディティ化、価値観の変化に関して、「コピーの盛衰」という記事が興味深かった。

あるものが無料になり、どこにでもあるようになったとたんに、その価値は逆転する。夜間の電灯が珍しい時代には、ふつうのろうそくで明かりをとるのは貧しい人たちであった。ところが電気がどこにでもあってほとんど無料になると、電球は安っぽく感じられ、ろうそくはディナーの席で豪華さを示すものとなった。

でも単に珍しいから価値があるというものではない気がする。自分のキャリアもまた然り。自分がユニークなキャリアを積んできたとしても、それだけでは意味がなくて、自分の過去の蓄積をうまくつないで今後に活かしていくことが大切だと思った。

変化の受け入れ、アイデンティティのオーバーホールを経て、自分が本当に価値を出せるのは何なのか見極めるのが最初のステップ。機械が得意なところは機械にやらせ、人間が得意なところは人間にやってもらって、肝になるところに自分のattentionを集中投下する。たった3週間だけどそんな視点を持てるようになったのは大きな収穫である。

ケヴィン・ケリー著作選集 1

http://tatsu-zine.com/books/kk1

2012-01-22

[]この3週間の出来事

12月29日(木)バイトの契約が切れる前日。バイト先で欠員が出ていたのは知ってたけど、どうしようか考えていた。同僚はいい人ばかりだし、(給与に反映されるかどうかは別として)会社は割とうまくいっている雰囲気だったし、日本担当としてではなく特許担当として雇ってくれそう、ということで、働きたいとボスに伝えた。大学をパートタイムにしてフルタイムで働きたいのだが、ビザはサポートしてくれるのか、などなど。

12月30日(金)ボスに呼ばれたので行ってきた。問題はただ一つ、給料。いくら欲しい?と聞かれた。まだtrainee身分だし、大体相場がわかっていたので、それらしい額を言った。ボスのイメージと少し開きがあったけど、半年後に君の言う額を出そうってことで契約書にサイン。その後すぐに就労ビザ手続きの書類を用意してくれて、必要事項を記入したら、昼にはオンラインで提出してくれた模様。

1月3日(火)祝日明けの業務開始日。朝CFO兼総務のとこに言ったら、もうin principleビザが出てるよと言われた。シンガポール政府(労働局)の手続き早すぎだろ。0.5営業日でビザが下りるとは思わなかった。あとは学生ビザをキャンセルして、結核とHIVの検査をしたらOKとのことで、このビザで既に働けるとのこと。このin principleビザをスキャンして大学に送って、フルタイムからパートタイムに替えてくれとメールを出した。

1月6日(金)著作権の試験日。特許とか商標とかその他諸々はもう終わったんだけど著作権がなかなか取れなくて何回も受けてる。仕事は毎週To Doリストをシステム上で全部終わらせなければならないので、試験後に会社に戻って働いた。アシスタントさんと協力しながら効率よく仕事をこなすことが大事なんだなあと思ったりした。

1月9日(月)病院に行って検査を受けた。国のビザに必要な検査というのはある種の独占業務だと感じた。非常にシステマチックですんなり終わる。もっと早く検査を受けに行っても良かったんだけど、なんとなく試験が終わるまで行くのが面倒でいかなかっただけ。夕方に移民局に言ったが、お前の時計は移民局の時計よりも7分遅いとか訳の分からないことを言われて4時30分にカウンターを閉められた。入り口の移民局の時計とは合ってたんだけどな。大学のサイトにログインしたら団体保険の料金の請求が来ていなかったのでパートタイムに学生になれたっぽかった。著作権の試験に合格するまで他の科目は受講できないし、授業料の請求もされないという話だったのだが、なぜか授業料の請求がされていたので、問い合わせのメールをした。

1月10日(火)再び移民局へ。学生ビザをキャンセルしたいだけなのに手間がかかる。提出後、昼にまた来てと言われたので昼休みにソーシャルビジットパスを受け取って学生ビザキャンセル完了。移民局にいるときに大学の寮から、君の寮はフルタイムの学生専用だから一週間以内に出るように、居座る場合には金銭的なペナルティを課す、みたいなメールが来ていてビビる。妻と作戦会議。家を探しつつ、退去までの期間を伸ばしてもらえるよう交渉。仕事は通常通りやって、夜は家の内見。

1月11日(水)夕方に病院に行って診断書をゲット。それをCFO兼総務のとこに持って行くとオンラインで手続きをしてくれて、就労ビザの番号が発行された。夜は家の内見。

1月13日(金)朝労働局に行って写真を撮って、指紋を採って、健康診断書の確認をして、手続きほぼ終了。寮に退去時期を遅らせてくれよと電話したけど、今日中にメールするといいながら無視された。ボスが10年ぶりの長期休暇に入るということで、その前に自分の休暇を申請した。2月に日本でファミリーホリデーだかなんだかという理由で。有休は月に1日ずつしか発生しないため、2月に一週間休むとほとんど無給休暇らしいけど、まあ久々に帰りたかったからいいことにする。メールのチェックは休暇中も毎日やる予定。

1月14日(土)日本から妻の友人が親子で遊びにきたので、しばし案内。家はもう決定ってことで、荷造りスタート。なかなか授業料の請求が消えないのでオンラインで休学手続きなんてのをしてみた。プルダウンメニューで仕事が忙しいとか選んで、ずいぶんシステマチックだなと思った。どっちみち今期は授業を取れても取る気がなかったので、学校行くのは8月からでいいやという気分。

1月15日(日)朝、大家さんと話をして契約書にサイン。初めて小切手を使った。もう鍵を渡すからこれから荷物を入れていいよと言われたので、非常に助かった。タクシーで2往復していろいろ運び入れた。夜はテレビを譲るために、テレビを抱えてタクシーに乗った。

16日(月)朝荷物を抱えて新居に運び入れてから、会社に行く。

17日(火)朝、旧居と新居の間を1往復半してから会社に行く。退去手続きは妻に任せきり。申し訳ない。夜は新居に戻って荷解き。休学申請は認められたらしい。大学内が縦割りでバラバラすぎて記録もバラバラで正直自分の状態がどう記録されているかわからない。

18日(水)朝、労働局に行って就労ビザをゲット。2,3分で終了。移民局はぐだぐだだけど、労働局はテキパキしていて仕事が早いという印象。

まとめ

そんな感じで一応引越しも終わり、仕事にも少しずつ慣れてきた。大学は試験の結果がまだ出ないけど7月末まで休学することにした。短期的に(3年位)お金を稼ぎたいなら日本で働いたほうがいいと思うけど、今東南アジア、インドの特許出願をこなせるようにして、一人の専門家として日本に頼らずとも働けるようにしておけば、5年後、10年後に自分にとって大きな財産になると判断してこういう選択をした。大学をパートタイムにしたのは、授業料が半額ってのが主な理由。1年半くらい半ニートでふらふらしててちょっと飽きたし、家庭内で日々働けプレッシャーを感じるようになってきたのも理由ではある(貯金を切り崩しながら家賃・生活費を半分出してるんだけど、そういう問題ではないらしい)。まあ、新しいことを始めるのはけっこう楽しいものだ。

2012-01-08

[]悪魔に仕える牧師

虹の解体、盲目の時計技師、利己的な遺伝子で知られるリチャード・ドーキンスのエッセイ集を読んだ。

悪魔に仕える牧師

悪魔に仕える牧師

大学生の頃に買ったのだが、取っ付き難くてずっと積ん読状態だった。当時と比べると多少は理解する力がついたかもしれない。科学教育、宗教、情報、ダグラス・アダムス、グールド、アフリカなどに関するドーキンスの鋭く力強い言葉をまとめた本である。

  • 私は、科学者としてダーウィン主義を支持すると同時に、こと政治の話になり、人間界の諸問題にどう対処すべきかということになれば、私は熱烈な反ダーウィン主義者である

実に明解な言葉。進化論を拡大解釈して政治的な意図に使うことを厳しく糾弾している。

  • しかしあなたは、すべてのなかで最大の天賦の才を持っている。私たちすべてをこの世に存在せしめた無慈悲で残酷な過程を理解できるという才、それがもつ意味合いに反逆できるという才、予見するという、無様な短期的な自然淘汰にはまったく馴染みのない才、そして宇宙そのものを内面化するという才である

人間の可能性をこうやって指摘されると、なんか元気が出てくる

  • ここまで私は、私たちが心の中に立てた人間と「類人猿」の間の不連続な断絶は嘆かわしいものであることを論じてきた。また、いずれにせよ、神聖視された断絶という現在の立場は恣意的なものであり、進化的な偶然の出来事の結果である。もし、生き残ったものと絶滅したものの賽の目が異なっていれば、断絶は違った場所にできていただろう。偶発的な気まぐれに根拠をおく倫理的原則は、絶対的なもの(意思に刻まれたもの)のように尊重されるべきではない

ここもなかなか切り込んでいる。神聖視されているものの徹底して見直そうというスタンスがいい。

  • 私は何も、いわゆる「代替医療」のすべてがホメオパシーのように無益だと言おうと思っているわけではない。ことによると、そのうちのあるものは効くのかもしれない。しかし、それらは、二重盲検試験か、あるいはそれに匹敵する計画的な実験によって実証されなければならない。そして、もしそうした試験に合格すれば、もはやそれらを「代替」と呼ぶべき理由がなくなるだろう。

実にシンプル。「代替」という存在そのものがいろいろ矛盾している。

  • 私は、「喜びに満ちた人生の秘訣は、危険な生活をおくることだ」というニーチェの意見に賛成する。喜びに満ちた人生とは積極的な人生である。それは、いわゆる幸福のような、だらだらした静的な状態のことではない。アナーキーで、革命的で、エネルギッシュで、悪魔的で、ディオニソス的な情熱の炎が燃えたぎり、想像への恐ろしいほどの衝動に溢れるほどに満たされる。これこそが、成長と幸福のために、安全と幸福を危険にさらす人間の人生だ。

こんなに清々しい文章を久々に読んだ気がする。

  • なんと心ときめく考え方ではあるまいか?われわれはアフリカ鮮新世を記録したデジタル文書の図書館であり、さらにデボン紀の海の記録さえある。古き時代からの知恵を詰め込んだ歩く宝物庫なのだ。そしてこの太古の図書を読むのに一生涯を費やすことができ、なおかつその神秘を味わい尽くさないままに死ぬのだ。

シャノンの情報理論に対する端的な説明から遺伝子に話は移って、そして最後にこの引用。こういう視点はなかったので非常に新鮮に感じた。

  • 私の論点は、宗教そのものが戦争や殺人やテロ攻撃の動機付けになっているというのではなく、宗教が、「われわれ」に敵対するものとしての「彼ら」を識別するための基本的なレッテル、最も危険なレッテルだということである。
  • 宗教こそ、歴史において最も扇動的に敵というレッテルを貼り付ける装置だと言っても誇張ではない。
  • 人間の心は二つの大きな病気をもっている。すなわち、世代を超えて復讐心を伝えていく衝動と、人々を個人として見るのではなく、集団としてのレッテルを貼り付けたがる傾向である。

これは本当にどうしようもないなと思うけど、どうしようもないでは済ませられないことなんだろう。

  • 世界は、極端に混沌とした複雑さと豊かさと奇妙さを持つもので、絶対的に畏怖の念を引き起こすものです。私の言いたいのは、そのような複雑さが、そのような単純なものから生まれてくるだけでなく、おそらくは、まったく何もないところから生まれてくることができるという考えは、実に途方もなく驚異的であるということです。

これはダグラス・アダムスの言葉。銀河ヒッチハイクガイドの背景にはこういうものがあるんだな。

  • 多くの点で私たちは意見を異にしたが、自然界の驚異に魅了される歓び、そしてそのような驚異こそ、まさしく純粋に自然科学的な説明に値するという熱い確信を含めて、共通するところも多かったのである。

グールドについてこう評した。意見の違いがあっても、敬意を払うところは敬意を払っていて好感が持てる。

  • もしあなたが、エデンの園を遅ればせながら一目見たいと思うなら、チグリス川やユーフラテス川や農耕の黎明のことは忘れたほうがいい。代わりに、セレンゲティ平原やカラハリ砂漠に行くべきだ。ギリシアのアルカディア(桃源郷)やオーストラリア奥地原住民のドリームタイムは忘れることだ。あまりにも年代が新しすぎる。オリュンポス山やシナイ山から、あるいはエアーズロックからでさえ、何が伝えられてきているにせよ、代わりにキリマンジャロ山を眺め、あるいは大地溝帯の高地草原に向かって下るがよい。そこには、人類が反映するために設計された場所があるのだ。

そんなことを言われると気になってしまう。

  • 世界について知るために科学者が用いる方法は、私が短い手紙で説明できるよりも、もっと頭のいいもので、もっと複雑なものです。しかし、今度は、何かを信じてもよい理由である証拠から話を進めて、何でも信じてはいけないという三つの悪い理由について、君に警告しておきたいと思います。それは、「伝統(伝説)」、「権威」、「啓示(お告げ)」と呼ばれています。
  • 伝統がもっている困った点は、ある話がどんなに昔につくられたのかに関係なく、いつまでたっても、最初の話がそうであったのとまったく同じように、真実あるいは偽りのままだということです。もし君が真実ではない話をこしらえて、それをどれだけの世紀にわたって未来に引き継がせたとしても、それはちっとも真実に近づくわけではないのです。
  • 何かを信じるための理由としての権威は、誰か偉い人からそれを信じるように言われたから信じるということを意味します。
  • 科学者は、どんなときでも、アイデアを得るために、内面の感情を使うのです。しかし、証拠によって支持されるまでは、そうした思いつきは、何の価値もないのです。
  • 今度、誰かが、大切そうなことを君に教えたときには、自分で「これは、証拠がきっとあるから人々が知っているというような事柄なのだろうか?それとも、伝統、権威、お告げだからという理由だけで信じているような事柄なのだろうか?」と考えてみるのです。

最後は10歳になった娘へのドーキンスからの手紙。非常に分かりやすい。大切なことは実にシンプルに説明できるものだなと感じた。敵を作ることを厭わず、確固たる自信を保ち、論理立てて率直な意見を次々に展開する姿勢が素晴らしい。当たり前のことだけれども、そういう基本が大切なんだと改めて気付かされた。分野はどうあれ、このような姿勢で物事に取り組みたいものである。

2012-01-07

[]クチンに行ってきた(2011年12月)

ブルネイムル洞窟に引き続き、3度目のボルネオ島旅行に行ってきた。マレーシア部分のクチンでのんびりしてきた。

中国の寺院とかチャイナタウンとかがある。

チャールズ・ブルックさん。このあたりで内乱が起きたときに鎮圧したのがきっかけでホワイトラジャ(白人の王)になったのは、東インド会社のジェームズ・ブルックさん。チャールズさんはその2代目。3代目のホワイトラジャは日本軍が来たときにオーストラリアに亡命し、終戦後は自信を無くしてもうラジャに復帰することはなかったそうだ。その後ここはイギリスの植民地となり、マレーシア連邦の一つになったとのこと。そこらへんはシンガポールによく似てる気がした。ブルネイの統治エリアって広かったんだなと現地で知る。よくわからん建物もある。

モスクもある。猫もいる。

60ドルのリバークルーズと20ドルのリバークルーズ。どっちもやらなかった。

夜景は控えめ。クリスマスということでお菓子の家。

あとオラウータンを見てきた。

子どもががっちりしがみついているのがよくわかる。手も足も器用に使うんだなと思った。

食事してたり、アクロバティックな動きをしてたりしていて、なかなか面白かった。あとオラウータンの赤ん坊の写真を見たら人間の赤ん坊そっくりで、たまたま読んでいたリチャード・ドーキンスの本の内容を思い出した。たまたまそこに線を引いたに過ぎないのだと実感。あとは食べ物。

ご飯が美味しい。エビが特に美味しい。

ここはラクサで有名。イカも美味しかった。

シンガポールとメニュー自体はそんなに違わないけど、味がけっこう違ったりする。

このエビが特に美味しかった。

おみやげには、コーヒー豆とかツバメの巣とか黒胡椒、白胡椒あたりがメジャーな雰囲気。あとライスワインなんてのがあった。要は日本酒なんだろうけど、けっこうフルーティーだった。

そんなわけで特になにか目新しいものがあるってわけではないけれど、のんびりするには良いところ。

カレンダー
2002 | 05 |
2003 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2004 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2005 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2006 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2007 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2008 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2009 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2010 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2011 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 10 | 11 | 12 |
2012 | 01 | 02 |