Hatena::ブログ(Diary)

hiroki_fの日記 このページをアンテナに追加 RSSフィード

2008 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2009 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2010 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2011 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2012 | 01 | 02 | 03 | 04 | 05 | 09 | 11 | 12 |
2013 | 02 | 06 | 10 | 11 | 12 |
2014 | 01 | 02 | 03 | 04 | 05 | 06 | 08 | 09 | 10 | 11 | 12 |
2015 | 02 | 04 | 07 | 11 |
2016 | 02 | 03 | 04 | 06 | 07 | 11 | 12 |
2017 | 01 | 07 |
人, プロフィール twilog カテゴリー[ 日常, 雑感, 物理, 数学, PC, 備忘録, 参考書 ] その他この日記のはてなブックマーク数
 | 

2008-08-04

情報エントロピーと熱力学エントロピー

| 02:50 | 情報エントロピーと熱力学エントロピーを含むブックマーク 情報エントロピーと熱力学エントロピーのブックマークコメント

粗視化、量子消しゴム、エントロピー - hiroki_fの日記
の続き。

情報エントロピー熱力学エントロピーは深い関係にある。しかし、統計力学の教科書を読んでもこの事を書いてあることはあまりない。

統計力学は、kをボルツマン定数として、系の持つ状態数ΩとエントロピーSに
S=k log ¥Omega
の関係があることを仮定している。

ボルツマンがこの関係を見出したことは、彼が天才であることの証だと思う。

しかし、この関係が何故成り立つのかについては、はっきりしない。

かつては、エルゴード理論などという無意味な空論がその根拠とされ、多くの統計力学の本の冒頭にはその記述がある。苦し紛れの議論で、真面目に考えるとおかしな結論を導き出す。

統計力学では、
S=k log ¥Omega
が成り立っていることは、暗黙の了解なのだけれど、熱力学との整合性を期待すると、状態数Ωに強い制約を与える。その制約を根拠なしに、状態数が全て満たすというのはまさに驚異だ。





S=k log ¥Omegaについて、あまりスタンダードではないけれど、情報理論との関連で正当化してみようと思う。

甘利俊一の情報理論や、ベネットの考察(ファインマン計算機科学に詳しい)を元に、僕の考察も交えて説明してみたいと思う。

ベネットの論文では、情報をエネルギーに変える仮想機械が提案されている。これを情報エンジンと名づける。

どんなふうに情報からエネルギーを得るのかというと、

*1

f:id:hiroki_f:20090107002951g:image


分子が一つしかない気体を考える。仕切りを入れると気体は右か左かどちらかに存在することになる。仮に右に存在していることがわかると、ピストンエネルギーを使うことなく、真中に持っていける。
そして仕切りを取ると、1分子気体の圧力を受けて、ピストンは仕事をすることができる。つまり、分子の存在情報から、エネルギーを取り出すことができた。

これは計算すると、情報エントロピーlog 2から、エネルギーT k log 2を取り出せたことになる。ベネットはこの情報エンジンを使って、系が記憶を無くした時に系のエントロピーが上昇していることを示している。これを量子論的に議論しているのが、MAXWELL’S DEMON, SZILARD’S ENGINE AND QUANTUM MEASUREMENTS by Wojciech Hubert Zurekだ。

これは、特殊な場合にエントロピーと情報の等価性を示しただけに過ぎないが、物理法則の普遍性を期待すると、これを一般法則に格上げすることができる。

詳しい話は、KTln2 - hiroki_fの日記にしました。




甘利俊一の本(情報理論p26〜p30)では、雑談として遠慮がちに議論されていたが、僕はエルゴード理論なんかよりも、はるかに本質的な議論であると考えている。

統計力学エントロピーS=k log ¥Omegaは系の微視的な状態の分からなさを表している。SはエネルギーU,体積V,粒子数Nで定まるが、それだけでは系の状態は完全に決まらない。状態数Ωだけ不定性が残る。等重率仮定は全ての状態について同じ重みを与えるという統計力学の基礎となる仮定であるが、こういうことを考えなくても、系のもつ分からない情報量は、情報学の観点から、各量子状態が平等であるならば、log ¥Omegaと定めることができる。ちなみに余談だけれど、シャノンは情報エントロピーを定義する際に、情報とは何かと言うことを上手い具合に議論しないで、情報エントロピーを議論している。今だったら、可逆圧縮がどの程度できるかを定義する量だと思って差し支えない。*2

ところで、ボルツマン定数kはなんだろうか?これはエネルギーの決め方、もしくは温度の決め方が恣意的であったために生じたものだと考えて良い。光が秒速30万Kmなのも、メートルの単位を恣意的に決めた為だ。ここからしばらくはボルツマン定数をk=1とする。

さて、量子力学によると観測してない対象は、取りうる量子状態の重ね合わせになっている。マクロな量(エネルギーU,体積V,粒子数N)が分かっても、量子状態を定めることはできない。A,B,C,‥といろんな可能性がある。どの状態についても、どれが実現するかということに対して特別な知識(情報)がないとすると、系の持つ分からなさの量はlogΩになる。そして、どの量子状態にあるということを知りえたときに得る情報量IはlogΩになる。

巨大な系(熱力学的な系)での通常の観測(操作)では、logΩの情報を系から得ることなんてありえない。量子状態をぴったり定めることをできないから、結局、系には観測で得た情報を引いた分だけの不確定性が残る。残った不確定性はどうやって実現するのかというと、似通った量子状態であると考えることができる。観測では決めることのできない状態がΩ'個あるのだ。



ここまでのことをまとめてみる。系の持つエントロピーをSとし、観測によって得る情報をIとすると、観測によって、系のエントロピーS'は、

S'=S-I

となる。情報を得ることによって系のエントロピーを減少させることができるのだ。



「おー、ラッキー。観測して、エントロピーを減少させることができるなら、第二種の永久機関ができるじょ。さっそく、特許に。」

と思った人。手を上げて!!


世の中そんなに甘くない。ベネットは、情報を蓄えとくメモリーについても考察した。情報を情報として保持する為には、メモリーを持ってる必要がある。メモリーの保持している情報量をMとする。

観測する前には、M=0だ。そして観測した情報量Iを保持した場合、当然、M=Iになる。

そこで、系を観測対象だけではなくメモリーも含めて考えてみようと思う。

全体のエントロピーは、S+Mになる。

観測対象のエントロピー初期のエントロピーS=S_0とし、メモリーをM=0とする。

全体のエントロピーS+Mは
S+M=S_0 +0
となる。



観測して情報量Iを得るとすると、
観測対象のエントロピーは、S=S_0-I
メモリーの情報量は、M=I
となる。つまり、全体のエントロピーS+Mをみると、
S+M=(S_0- I)+I=S_0
となって、観測対象とメモリーを含めた系全体としては、エントロピーは全く変わってないことが分かる。

MAXWELL’S DEMON, SZILARD’S ENGINE AND QUANTUM MEASUREMENTS by Wojciech Hubert Zurekには、ここまでの一連の操作が、unitary発展で書けることを示している。unitary発展であると量子論エントロピーは変わらない。


さて、観測対象のエントロピーを更に低くするためには、メモリーの情報を破棄して、M=0にしなくてはならない。

さて、メモリーの情報を破棄するのにコストはかからないのであろうか?コストが0ならば、メモリーの情報をじゃんじゃん破棄して、観測対象のエントロピーを幾らでも下げることができる。

しかし、これを阻むものがいた。

熱力学第二法則、またの名をエントロピー増大の法則と言う。

「メモリーの情報を破棄するのが、タダだったらエントロピー増大の法則を破っちゃうから、メモリーの情報を破棄させるところは、第二法則よりエントロピーが増大するはずだよね。」って話が、ベネットの論文The thermodynamics of computation?a review | SpringerLinkだ。

環境のエントロピーをNとすると。
メモリーと環境のエントロピーはM+Nになる。

メモリーを破棄する前のエントロピー

メモリーのエントロピーは、M=I
環境のエントロピーは、N=N_0
となる。よって、
M+N=I+N_0
が成り立つ。


メモリーを破棄した後のエントロピー

メモリーのエントロピーは、M=0
環境のエントロピーは、N=N’
となる。よって、
M+N=0+N’
が成り立つ。

エントロピー増大の法則より、
I+N_0¥le0+N’
が成り立つ。

つまり、メモリーを破棄するためには、環境のエントロピーを少なくともI上げなくてはならない。

対象となる系と環境の熱力学的なエントロピーの変化分Δ(S+N)は、得られた情報Iを改めてΔIで定義しなおすと

Δ(S+N)≧ΔI

となる。つまり熱力学第二法則は、ベネットの理論により、

Δ(S(環境と対象となる系を含めた全体)+I)≧0

と定義しなおすことができる。

これは何を意味するかと言うと、物理系の情報、例えば粒子の位置や速度の情報ΔIを得る為には、観測対象、観測装置、環境を含めた全エントロピーをΔS上げることなしには不可能だということある。つまり、情報エントロピーIを下げる為には、熱力学エントロピーΔSをあげなくてはならない。



このことから、次のようなことが自然と分かる。

あまりにも特殊な量子状態は、観測されない。それは、特殊な量子状態を観測することは、観測によって得る情報量が莫大であり、観測装置にその情報を蓄えるメモリーを用意しとかなくてはならない。

例えば、1箸竜ぢ里砲呂よそ10^23の気体分子があり、これは0.1ヨタバイト (YB)のメモリーが必要になる。

ん、ヨタバイト?
ヨタバイト - Wikipedia

えっと、1テラの10^12倍だから、0.1ヨタバイトなら1000兆個の1テラバイトハードディスクがあればいいのか。
googleは500万テラバイトの情報をもっているらしいから、2億googleあれば良いのか。

こんな高精度な実験をマクロな系に対してするなんて無理だよね。

ありえない現象を観測するというのは、それだけ情報エントロピーを増大させるのだけれど、そのためには情報エントロピーを蓄えるメモリーを持っていなくてはならない。普通のマクロな観測で、ありえない現象(例えば、溶かしたインクは一点に集中するとか)を観測できないのは、そのような情報を記憶するメモリーを観測装置が備えてないからなんだよね。

観測装置がヨタバイトの記憶装置をもっていて、そういう情報を測定できるなら、ありえない現象(例えば、溶かしたインクは一点に集中するとか)を観測することができるかもしれないけど、その場合もちゃんとエントロピー増大の法則は守られている。

インクが拡散していく様を眺めているのは、量子状態の重ねあわせを淡い色の中に見ているんだよね。


補足:ありえない状態とは?
例えば、箱の中央に仕切りを入れたときに気体分子が、どちらか片方に偏って観測されること。

粒子数を10^23だとすると、この現象が起こる確率は2^(10^23)分の1となる。まず、起こりえないと思って良いだろう。

ここで、重要なのはその確率の低さそのものよりも、2^(10^23)分の1の現象を観測した場合の情報量Iの値だ。最初、系の持っている不確かさを表す情報エントロピーは、log 2^(10^23)だ。一方、片方に分子がよっていることを観測した場合の系の不確かさを表す情報エントロピーは、log 1=0だ。つまり、観測によって得た情報エントロピーIは、log 2^(10^23)となる。bit換算で10^23 bitになる。つまり10^23 bitという途方もない情報を観測装置は保持しなくてはならない。ちなみに、熱量換算すると、ボルツマン定数が1.3806503 ¥times 10^{-23} J K^{-1}と小さいので、大した熱量にならない。

観測装置の解像度が現象に影響与える、もしくは量子状態の重ね合わせを復活させることは、量子消しゴムの例で明らか。
粗視化、量子消しゴム、エントロピー - hiroki_fの日記

マンション需要の推定

| 01:08 | マンション需要の推定を含むブックマーク マンション需要の推定のブックマークコメント

最近よく遊んでるような気がする。「気分転換しないとねぇー」といいながら、こうも気分転換ばかりしていると、次から次へと気分転換したくなる。

なんだそりゃ。

押井守 スカイ クロラ
no title
面白そうだなぁ。

東急将棋祭りも行ってみたい。
将棋の腕前は初段くらい。あまり強くはないねぇ。将棋を指すのは好きだけど、集中力を使ってしまい、他の事ができなくなるからあまり指さない。だから強くならない。

どうでもいいけど、人類の歴史の中で数理的な能力を必要とされた時代って、どのぐらいあったのだろう?ほとんどなかったのじゃないかなぁ。

今、マンションの販売会社がものすごい勢いでつぶれているらしい。
倒産危険度ランキング
そりゃそうだよ。首都圏はどこをみても、雨後の筍のように高層マンション建築されている。あきらかに供給過多だ。

マンションの需要って、

首都圏の人口×30〜45歳の割合×購買能力のある所得層×持ち家選択率×マンションの選択率÷15年(30〜45歳の人が入れ替わる)÷2(夫婦で持つと考えて)

で計算できる。

4000万×0.25×0.5×0.6×0.4÷15÷2=4万人

すげー適当な計算だけど、オーダーは間違えてないはず。

近年は、首都圏で年間8万戸供給されている。2倍の供給量なので、8年で需要を満たしてしまう。
マンションブームは1994年から始まり2000年に最高になった。2002年には一巡してしまう。計算があわないなぁ。投資目的で上乗せされているのか。2005年度からは、マンションが売れ残り始めた。適当にやった割にはうまいこと計算できている。

f:id:hiroki_f:20080805022948g:image

2006年度の記事
2007年・新築マンション展望(2) / SAFETY JAPAN [さくら事務所] / 日経BP社

mizuhoの資料
http://www.mizuhocbk.co.jp/pdf/industry/1007_02.pdf

経営コンサルタントをやってる先輩に聞いたのだけれど、こういうアバウトな推定をする能力がコンサルでは必要らしく、これさえできればコンサルは勤まるらしい。*3

マンションって売れれば、ものすごく利潤が高い商売だと思う。売れれば、だけどね。

考えればすぐに分かるのに、マンションが供給過多になったり、銀行が必要以上に融資したりするのは、末端では、短期的な内部の評価に基づいて仕事をするから、仕事をしない(企画しない、融資をしない)っていう、選択がないのだと思う。

マンションの企画をしたら偉い、融資したら出世。みたいに。

もしマンションの販売会社の社員で、企画するのやめましょうよとかを会議で言ったら、フルボッコにされる気がする。

なんとなく思ったのは、世の中の数理能力の標準は思った以上に低いところにあるってこと。

*1no titleの図を拝借

*2:コンピューターの発展のおかげで数学的概念を日常の実体験として感じることができるようになったのは、とてもありがたい。

*3:だからコンサルが成り立っている。

 | 
先頭に戻る