Hatena::ブログ(Diary)

himaginaryの日記

2017-09-23

ノイズ除去装置としてのAI

|

今月の13-14日に、「AI経済学(Economics of AI)」というNBERコンファレンスがトロント開かれ、「Behavioural Economics」と題したカリフォルニア工科大学のColin Camererの講演(資料スライドビデオ)にカーネマンが討論者として参加した。Joshua Gansがビデオ紹介しているが、その中でカーネマンは、自分はAI門外漢だと断りつつも、人間も肉でできたコンピューターなのだから、感情面の対処も含め、人間にできてAIにできないことがあるとは思えない、という意見を表明している。

また、AIの特長として、ノイズの扱いが人間より上手い、という点を挙げている*1

I think it's a lovely idea that if you have a mass of data and you use deep learning you will find out much more than your theory in general. I would hope that machine learning can be a source of hypotheses. Some of these variables that you identify are genuinely interesting. At least in my field, the bar for successful publishable science is very low. We consider theories confirmed -- even when they explain very little of the variance -- if they yield statistically significant predictions. We treat the residual variance as noise. A deeper look into the residual variance, which machine learning is good at, is clearly an advantage. So, as an outsider, actually I have been surprised not to hear more about the superiority of AI to what people can do. Perhaps as a psychologist this is what interests me most. Now I'm not sure that new signals will always be interesting, but I suppose that some may lead to new theory and that would be useful.

(拙訳)

大量のデータがあって深層学習を使えば、一般的な理論におけるよりも遥かに多くの発見が得られる、という考えは素晴らしいと思います。機械学習によって数々の仮説が生み出されることを期待します。あなた方が特定した変数の中には極めて興味深いものがあります。少なくとも私の専門分野では、出版に値する成功した科学の敷居はとても低いのです。我々は、変動をほんの僅かしか説明していなくても、統計的に有意な予想を生み出せば、理論は検証された、と考えます。そして、残差の変動はノイズとして扱います。機械学習が得意とする残差の変動を深く掘り下げる能力は、明確な利点です。その点からすると、人々の能力に比べた人工知能の優位性がもっと多く語られなかったことは、部外者として率直に言って驚きでした。心理学者としてはこの点がおそらく最も興味深かったです。新たな兆候を示す変数が常に興味深いものだとは言いませんが、その中には新たな理論を導くものがあり、そうしたことは有益である、と思います。

The main characteristic of people is that they're very noisy. You show them the same stimulus twice, they don't give you the same response twice. You show the same choice twice, I mean that's why we had stochastic choice theory, because there is so much variability in people's choices given the same stimuli. Now what can be done with AI -- it can be done even without AI -- is a program that observes an individual's choices will be better than the individual at a wide variety of things. In particular, it will make better choices for the individual, because it will be noise-free. That we know from the literature that Colin cited from Meehl on predictions. There's an interesting tidbit. You take clinicians and you have them predict some criterion a large number of time. And then, you develop a simple equation that predicts not the outcome but the clinicians judgment. That model does better in predicting the outcome than the clinician himself. That is fundamental. This is telling you that one of the major limitations on human performance is not bias, it is just noise. I'm maybe partly responsible for this, but when people now talk about error, they tend to think of bias as an explanation. That's the first thing that comes to mind. Well, this is a bias, and it is an error. In fact, most of the errors that people make are better viewed as random noise, and there's an awful lot of it. Admitting the essence of noise means it has implications for practice. One implication is obvious, that you should replace humans by algorithms whenever possible, and this is really happening. Even when the algorithm don't do very well, humans do so poorly and are so noisy, that just by removing the noise you can do better than people. And the other is that when you can't do it, you try to have human simulate the algorithm. By enforcing regularity and processes and discipline on judgment and on choice, you improve, you reduce the noise, and you improve performance, because noises are so poisonous.

(拙訳)

人々の主たる特性は、非常にノイズが多い、という点です。同じ刺激を二度与えても、同じ反応が二度返ってきません。同じ選択肢を二度与えた時も同様で、それが確率的選択理論が存在する理由です。同じ刺激を与えられた人々の選択のばらつきが非常に大きいため、というわけです。AIでできること――それはAI無しでもできることなのですが――は、個人の選択を観測するプログラムは、幅広い物事について個人よりも良い選択をする、ということです。それはノイズから自由であるためです。そのことを我々は、コリンが引用したミールの予測に関する研究から知っています。次のような面白い話がありました。臨床医を連れてきて、彼らに何らかの基準を数多く予測させます。それから、結果ではなく臨床医の判断を予測する単純な方程式を構築します。そのモデルは、臨床医自身よりも結果を上手く予測するのです。これは根本に関わる話です。このことが教えてくれるのは、人々のパフォーマンスを制約する主な要因の一つはバイアスではなく、単なるノイズである、ということです。私にも多少責任があるのでしょうが、現在人々が誤りについて話す時、彼らはバイアス説明要因にしたがる傾向があります。それが彼らの念頭に真っ先に浮かぶのです。そのこと自体がバイアスであり、間違いでもあります。実際には、人々が犯す誤りのほとんどはランダムなノイズとして見做す方が良くて、そうした事例は数多あります。ノイズの本質を認識すれば、実務面でもノイズの含意が見えてきます。一つの含意は明白で、できる限り人々をアルゴリズムで置き換えるべき、ということです。そうしたことは実際に起きています。アルゴリズムの出来がそれほど芳しくなくても、人々の出来があまりにもひどく、かつノイズに満ちているため、ノイズを除去するだけで人々よりましになるのです。もう一つの含意は、人々をアルゴリズムで置き換えられない時には、人々にアルゴリズムシミュレートさせろ、ということです。判断や選択に対して規則性や手続きや規律を課すことにより、事態は改善します。ノイズが減り、パフォーマンスが向上するのです。というのは、ノイズはそれだけ有害だからです。

*1:以下はYoutubeの自動生成字幕の文字起こしからの引用(分かりやすさのため軽く編集している)。

トラックバック - http://d.hatena.ne.jp/himaginary/20170923/kahneman_on_ai_versus_humans