Prompt Injection

このタグの解説について

この解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。

フレクトのクラウドblog•5ヶ月前

Prompt Injection の観点についてまとめてみる

こんにちは。エンジニアの山下です。今回は Prompt Injection について書きたいと思います。一般的に開発者が何らかのサービスの開発に携わる場合、当然ながらそのセキュリティについても責任を負わなければなりません。日々取り組んでいる開発業務において SQL Injection などのよく知られた攻撃に気を遣えない人間はプロとは呼べないというのは共通認識ではないでしょうか。同様に LLM を利用したサービスの開発を行う場合でも、固有のセキュリティ事情について考慮しなければなりません。特に LLM に悪意ある指示を注入して機密情報の詐取等を行う Prompt Injection は有…

#LLM#Prompt Injection

関連ブログ

JTP Tech blog•5ヶ月前

生成AI時代の新たな攻撃面：PDFに仕込まれるインダイレクト型プロンプトインジェクション

生成AIにPDFを読み込ませる運用が増える一方で、PDF内部に埋め込まれた「見えない指示文」によってAIの出力が誘導・攪乱される事例が確認されています。これはインダイレクト型プロンプトインジェクション（Indirect Prompt Injection）と呼ばれ、AIに直接指示するのではなく、AIが参照する外部データに指示を埋め込む攻撃です。OWASPの「LLMアプリケーション向けTop 10（2023/2024）」でも、最上位リスク（LLM01: Prompt Injection）として位置づけられています。本記事では、これらの攻撃を防ぐための技術的対策を考察します。要旨（TL;DR）背…

#LLM#Prompt Injection#PDF#OWASP#RAG#sanitize#guardrail#Defense in Depth

nikkie-ftnextの日記•2年前

LLMへの攻撃についてのサーベイ論文「Breaking Down the Defenses」で知った Prompt Injection の論文メモ

はじめにふふっ。Python界の田中琴葉、nikkieです。 LLMへの攻撃の1つ、プロンプトインジェクションについて、サーベイ論文から代表的な論文をいくつか知りました。論文を読んでいる中での中間アウトプットです。目次はじめに目次 Breaking Down the Defenses: A Comparative Survey of Attacks on Large Language Models Prompt Injection Objective Manipulation Prompt Leaking Malicious Content Generation Training D…

#LLM#Prompt Injection#プロンプトインジェクション攻撃

NFLabs. エンジニアブログ•3年前

Prompt Injection問！DEF CON CTF Qualifier 2023, Guptaシリーズ（Pawan | Praveen | Prakash Gupta）

著者：yu1hpa(@yu1hpa) はじめに 5月27日から開催されたDEF CON CTF Qualifier 2023にTeam Enuとして参加しました。今回は、Prompt Injectionの問題のwriteupです。ぜひ、最後までご覧ください。 [Prompti 24] Pawan Gupta (202solves) [Prompti 85] Praveen Gupta (48solves) [Prompti 102] Prakash Gupta (38solves) Prompt Injectionとは Prompt Injectionとは、悪意のあるプロンプトを挿入すること…

#DEFCON#CTF#セキュリティコンテスト#Prompt Injection