piyolog

2024年5月28日、生成AIを使用したマルウエアを作成した容疑で警視庁が男を逮捕したことが報じられました。ここでは関連する情報をまとめます。

対話型生成AIを使用しランサムウエアらしきものを作成

男の容疑は不正指令電磁的記録作成。2023年3月31日に自宅PCやスマートフォンを使用して、対話型生成AIを使用し、不正プログラムの設計情報を組み合わせてマルウエアを作成した疑い。2024年3月に警視庁は男を偽造身分証を使用してSIMカードの不正契約を行ったなどとして詐欺容疑（今回の事案とは別件）で逮捕しており、*1 捜査より自宅から押収されたPCを解析したところマルウエアが発見された。*2 生成AIを使用したマルウエア作成の事案摘発は全国で初めてとされる。*3
男が作成したマルウエアは、実行環境のデータを破壊（暗号化とも報道）し、暗号資産の要求をする機能が含まれており、いわゆるランサムウエアに近いものであったとみられる。男はSNSを通じて知人のスマートフォンに対しこのマルウエアを送っていたが、実用化にはいたっていなかったとみられ、何らかの原因でマルウエアは動作はしなかった。*4 そのためこれまでのところマルウエアによる被害は確認されていない。*5 *6
男はマルウェアを作成した動機について、「昔からランサムウエアを使って楽に稼ごうと思っていた」と金銭目的で行ったと供述している。「生成AIは聞けば何でも出来る」と考えたことから使用に至ったとも話しており、2022年11月末頃に男は報道より生成AIを知り、マルウエアの作成を思いついた。*7 なお、男は元工場作業員でIT関連の技術についてはこれまで専門的に学んだことはなく、情報技術関連の資格もなかった。

3つの生成AIを併用しコード修正か

男はマルウエアの作成に際して、目的を伏せたうえで遠回しな聞き方をしながらファイルの破壊、身代金要求などの機能実装に必要となるソースコードを生成AIに回答させていた。*8 不正用途の目的であるにもかかわらず回答を得ることが可能となる手段（質問の仕方）は、検索サイトを通じて把握していた。
一方で大手のOpenAIなどでは回答を得られない（不正利用への対策を回避できない）と考え、今回の事案ではインターネット上で公開されている提供者不明の生成AIサービスを3つ併用していた。AIより取得した回答をさらに別のAIに質問して回答を得ることでソースコードの修正を行い、ソースコード自体は使用可能な段階にあったとされる。*9 *10 これら3つの生成AIはいずれも犯罪などに悪用することが可能な情報への回答拒否を行う機能（いわゆるガードレール）は備わっていなかったとみられる。

日時	出来事
2023年3月31日	男が生成AIを使用し、マルウエアに関係する情報（ソースコードなど）を取得・作成していた疑い。
2024年3月	警視庁が男をSIMカード不正取得などを行った疑いで詐欺容疑で逮捕。自宅を家宅捜索しPCを押収。
：	押収されたPCから昨年3月に作成していたマルウエアが発見される。
2024年5月27日	警視庁が男を不正指令電磁的記録作成の容疑で再逮捕。
2024年5月28日	警視庁が男を東京地検へ送検。