はじめに 分析業務を進めていく中で,上司やお客さまから「このAIの判断は正しいのか?」聞かれたことはないだろうか? 製造業の業務で機械学習モデルを運用する際に,「なぜ今回の結果が得られたのか」ということを説明する必要があるシーンがある。たとえば生産ラインに不具合が起きた時に,その原因究明をするために,不具合があったときを1,不具合がなかったときを0として判別モデルを作るということが考えられる。ただ,本当に行ないたいことは判別というより不具合の原因究明なので,生産ラインのデータにおけるどの項目が不具合に寄与していたか,ということが知りたくなる。またきちんと説明できないと,現場では受け入れてもらえ…