アンチウイルスソフトの検出率は製品性能の指標になるのか

security |

という話をちょうど追いかけていたところ、2009年7月30日グランドプリンスホテル赤坂で行われた「Trend Micro 『Direction 2009』」で『検出率はセキュリティの性能か？〜Detection2009：現在のテスト手法の課題とは〜』という興味がある話題があったので砂かぶりの席で聞いてきました。パネリストは私にはお馴染みの方々でした。

【モデレータ】

・トレンドマイクロ株式会社 スレットモニタリングセンター　マネージャー 平原 伸昭

【パネリスト】

・株式会社ラック 　サイバーリスク総合研究所　 　所長　新井悠

・株式会社 フォティーンフォティ技術研究所 　代表取締役社長 　鵜飼裕司

・マイクロソフト株式会社 　セキュリティレスポンスマネージャー 　小野寺　匠

Trend Micro 『Direction 2009』

この辺りのネタはそのうちコラムにでも書くか、どっかで話す予定（未定だけど）ですが、個人的におもしろかったのでとりいそぎ主な部分のメモを公開しておきます。

”（）”括弧内は私のコメントで、太字は私が気になったところです。

前置きとしてトレンドマイクロでの既存のテスト手法について説明がありました。

• 平原さん
  • パターンファイルベースの対策と検出率という指標だけで製品性能を測ることが難しくなってきた
  • テスト手法では1週間以内に採れたての既知のマルウェアを使うなど

既存のテスト手法って役に立ってる？

• 新井さん
  • 製品性能を定量的に提示するのはわかりやすい指標
  • 社内で使いたいという場合の選択基準の材料
• 鵜飼さん
  • 検知精度を数値指標化したいという要求はある
  • 実際に起きている近年の脅威を検体として与えなければならない
  • 脆弱性を持ったアプリケーションで検体を開くなどのテストも必要だが、手間が掛かるのは否めない
• 小野寺さん
  • 流行ってるウイルスは1週間単位でがらっと代わることもあるので、1週間前の検体では指標として役に立たないかもしれない

今のテスト手法でもこうすれば使える？

• 新井さん
  • 現在のテスト手法は評価の尺度としては古い
  • 事故前提社会の今、水際だけの対策や尺度でいいのか？新しい評価軸が必要な時期に来ている
• 鵜飼さん
  • yaraiの性能測定では大量のマルウェアを片っ端から実行していき、感染したかどうかを調べる
  • 感染とは何か？という定義も必要

（被害とは何か？という定義も必要になりそう）

• 小野寺さん
  • 性能指標を決めるための組織を作る？
• 鵜飼さん
  • 大量の検体をテストしなければならいというのは事実
  • ユーザーに被害が及ぶか及ばないかで線引きをすべきかもしれない
  • 機械的にこれをどうやるかは課題
• 新井さん
  • 事後が大事だけどそれをウイルス対策ソフトだけに求めるのか？という議論は必要
  • 何が起きたか知ることができる機能（トレースとか）大事かも

事後って何をすれば？

• 小野寺さん
  • 入り口で見逃してしまっても、後から検出できることも必要
• 鵜飼さん
  • 最近多いダウンローダー型のウイルスは最初の感染のとき防ぐことも大事だけど、後々に駆除できることが重要
  • 本当に問題のあるものがブロックできればいいんじゃないだろうか
  • ユーザーの視点に立てば、被害にさえ遭わなければよい

（駆除率なんていう指標もいいかもしれませんね）

• 新井さん
  • 感染して漏えいの被害が発生する瞬間に通信が起きるからそれを止められればいいのかもしれない

（情報漏えいの遮断率なんていう指標もありかも）

新しい指標をどうつくる？　

• 新井さん
  • 業界団体で作るのではイマイチかも
  • 利用者目線も必要なのでお客様にもご協力を頂く形で
• 鵜飼さん
  • ベンダーニュートラルなセキュリティ研究者にも参加してもらう
• 小野寺さん
  • OSとかシステム全体でトータルで評価できるようになりたい

最後に一言

• 小野寺さん
  • 経済的に厳しい時勢ですがセキュリティソリューションをカットの声も聞こえてくる。しかし、必要なものなので、うまく見極めて下さい
• 鵜飼さん
  • 今日のような議論があるということを多くの人に伝えたい
• 新井さん
  • 私的な話題ですが元上司でセキュリティ業界では有名な人が最近オークション詐欺に遭ったと聞いた。ID、パスを盗まれ58件ぐらい偽の出品をされ、出品手数料の請求が来たらしい。
  • そういうセキュリティの専門家でも事故に遭う。だから事故前提で考えることが必要なんだ

ツイートする