敵対的攻撃とは、入力データなどを意図的に細工する攻撃です。AIや機械学習モデルの誤判断を狙います。
たとえば、人にはほとんど同じ画像に見える場合があります。しかし、AIには別のものとして認識されるよう加工されています。
ただし、「敵対的攻撃」という言葉は広く使われます。データポイズニングや、AIから情報を引き出す攻撃まで含めて議論される場合もあります。
この記事では、推論時の誤認識を誘う攻撃を中心に扱います。意味や仕組み、具体例、似た用語との違い、対策を初心者向けに解説します。
敵対的攻撃とは？
敵対的攻撃は、AIや機械学習モデルの性質を悪用します。意図した誤分類や誤動作を引き起こすことが目的です。
また、こうした攻撃と防御を研究する分野があります。「Adversarial Machine Learning（敵対的機械学習）」と呼ばれます。
初心者向けに言い換えると、**「AIにとって判断しにくいよう、入力をわざと細工する行為」**と考えると分かりやすいでしょう。
通常の画像やデータへ小さな変更を加えます。人には元とほぼ同じでも、AIには違うものとして認識させることがあります。
一方、敵対的機械学習は広い分類です。推論時の入力だけでなく、学習データやモデル、機密情報を狙う攻撃も扱います。
敵対的攻撃が起こる仕組み
敵対的攻撃を理解するポイントは、人間とAIではデータの見方が同じとは限らないことです。
AIモデルは、人のように対象の意味をそのまま理解しているわけではありません。学習したデータを基に数値的な特徴やパターンを捉え、入力がどの分類に近いかなどを判断します。
そのため、入力の一部が意図的に変わると注意が必要です。人間には違いがなくても、モデル内部では判断結果が変わる場合があります。
大まかな流れは次のとおりです。
- 通常の入力ではAIが正しく判断する
- 攻撃者が入力へ意図的な変化を加える
- 変化した入力がAIへ渡される
- モデル内部の判断が変化する
- 本来とは異なる分類や出力につながる
つまり、AIそのものを壊す必要はありません。AIが受け取る情報を変えるだけで、誤った判断を誘える可能性があります。
敵対的攻撃にはどのような種類がある？
敵対的攻撃は一種類ではありません。NISTでは、敵対的機械学習の攻撃をAIの種類や攻撃段階などに応じて整理しています。
初心者は、まず「いつ攻撃するのか」で分けると理解しやすくなります。
| 種類 | 主なタイミング | 概要 |
|---|---|---|
| 回避攻撃・敵対的サンプル | AIの利用・推論時 | 入力を細工し、誤分類や誤動作を誘う |
| ポイズニング攻撃 | AIの学習時 | 学習データや学習過程へ干渉する |
| プライバシー攻撃 | 学習後・利用時など | モデルなどから機密情報の取得を狙う |
| 生成AIへの悪用 | 生成AIの利用時 | AIシステムを本来意図しない目的で利用する |
一般に「入力を少し変更してAIをだます」攻撃があります。回避攻撃や敵対的サンプルが該当します。
特に、データポイズニングは学習時に行われます。一方、敵対的サンプルは推論時の入力を細工するため、両者の区別が重要です。
敵対的攻撃の具体例
敵対的攻撃は、画像認識だけに関係する問題ではありません。AIがデータを基に判断するさまざまな場面で検討されます。
画像認識
分かりやすい例が画像認識です。
元の画像へ、人間には気付きにくい変化を加えます。その結果、AIの分類結果が変わる場合があります。
人から見れば同じ対象です。しかし、AI内部では異なる特徴として処理される可能性があります。
音声認識
音声を扱うAIでも、入力の変化によって認識結果が変化する可能性があります。
そのため、音声だけを根拠として重要な処理を自動実行するシステムでは、AIの認識結果を無条件で信頼しない設計が重要です。
不正検知や自動判定
AIを使った不正検知や自動判定でも、モデルの判断基準を狙った入力が問題になる場合があります。
特に、AIの判定結果が認証、金融、医療、交通など重要な意思決定へ直結する場合、誤分類の影響は大きくなります。
敵対的攻撃は「AIが間違えること」そのものではありません。意図的な操作によってAIの誤動作を引き起こそうとする点が重要です。
敵対的攻撃と似た用語の違い
AIセキュリティでは、敵対的攻撃と似た言葉が複数登場します。
違いを整理しておきましょう。
データポイズニングとの違い
データポイズニングは、AIの学習段階を狙う攻撃です。
悪意のあるデータを学習データへ混ぜるなどして、モデルの学習結果へ影響を与えようとします。
一方、敵対的サンプルによる回避攻撃では、すでに学習済みのAIへ細工した入力を与え、推論時の判断を変えることが中心です。
プロンプトインジェクションとの違い
プロンプトインジェクションは、主に生成AIや大規模言語モデルを利用するシステムに対して、不正な指示を読み込ませ、本来の命令やルールとは異なる動作をさせようとする攻撃です。
敵対的サンプルがモデルの分類や認識特性を狙うのに対し、プロンプトインジェクションはAIが処理する指示や文脈の構造を狙う点が異なります。
ただし、敵対的機械学習という広い研究領域では、生成AIへのさまざまな攻撃も対象になります。
ジェイルブレイクとの違い
生成AIにおけるジェイルブレイクは、安全上の制限を回避し、本来制限されている回答を引き出そうとする試みです。
そのため、画像分類などで見られる典型的な敵対的サンプルとは目的も仕組みも異なります。
用語ごとの違いを理解すると、「AIへの攻撃」を一括りにせず、どの段階・どの仕組みが狙われているのか判断しやすくなります。
敵対的攻撃にはどう対策する？
敵対的攻撃への対策では、一つの方法だけで完全に防げると考えないことが重要です。
NISTも、敵対的攻撃への防御には限界やトレードオフがあり、既存の防御策がより強い攻撃によって突破される場合があることを指摘しています。
敵対的な入力を想定して評価する
通常のテストデータだけでなく、モデルが判断を誤りやすい入力も含めて評価します。
正常時の正解率だけを見るのではなく、「意図的に変化した入力にどれだけ耐えられるか」という堅牢性も確認することが重要です。
敵対的訓練を活用する
代表的な防御手法の一つが「敵対的訓練（Adversarial Training）」です。
これは、敵対的な入力例を学習へ取り入れ、モデルがそのような入力にも対応しやすくなるよう訓練する方法です。
ただし、計算コストが増えたり、通常データでの精度とのトレードオフが発生したりする場合があります。
入力だけでなくシステム全体を守る
モデル単体の防御だけに依存するのではなく、入力チェック、アクセス制御、ログ監視、異常検知などを組み合わせます。
重要なシステムほど、複数の防御を重ねる考え方が必要です。
重要な判断には人を関与させる
AIの判定が安全性や金銭、権利などへ大きな影響を与える場合、AIだけで最終判断を完結させない設計も有効です。
異常な入力や不自然な結果が検出された場合に人が確認できる仕組みを用意すれば、AIの誤判断がそのまま重大な結果へつながるリスクを抑えられます。
敵対的攻撃に関するよくある質問
敵対的攻撃は普通のAIの間違いと同じですか？
同じではありません。
AIは通常の利用でも誤認識する場合があります。一方、敵対的攻撃では、攻撃者が意図的に入力などを操作して誤動作を引き起こそうとします。
敵対的サンプルは人間にも分かりますか？
必ずしも分かるとは限りません。
人には変化が小さく見えても、AIの判断へ大きく影響する場合があります。ただし、すべての敵対的入力が人間にとって見分けられないわけではありません。
敵対的攻撃は生成AIにも関係しますか？
関係します。
NISTの敵対的機械学習の分類では、生成AIについても回避、ポイズニング、プライバシー、悪用などの攻撃が整理されています。
ただし、ChatGPTなどの生成AIで問題となるプロンプトインジェクションやジェイルブレイクと、画像分類で典型的に説明される敵対的サンプルでは、仕組みが異なります。
敵対的攻撃を完全に防ぐことはできますか？
「この方法だけで完全に防げる」と断定するのは適切ではありません。
攻撃手法と防御手法は継続的に変化しており、既存の対策が新しい攻撃によって突破される場合もあります。そのため、堅牢性評価、モデル側の対策、システム側の防御、監視、人による確認を組み合わせることが重要です。
まとめ
敵対的攻撃とは、AIや機械学習モデルの性質を悪用し、意図的に誤分類や誤動作を引き起こそうとする攻撃です。
初心者がまず理解しておきたいのは、人間には大きな違いがないように見える入力でも、AIにとっては判断を変える要因になることがあるという点です。
特に、推論時の入力を細工する敵対的サンプルは代表的な例です。一方、学習段階を狙うデータポイズニングや、生成AIへのプロンプトインジェクションとは攻撃する段階や仕組みが異なります。
AIを安全に活用するには、通常時の精度だけでなく、意図的に操作された入力に対する堅牢性も考える必要があります。また、単一の防御策へ依存せず、評価・監視・アクセス制御・人による確認などを組み合わせることが重要です。
関連用語
出典・参考情報
NIST「Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations」
確認日：2026年8月21日
用語の定義：NIST CSRC Glossary「adversarial example」
確認日：2026年8月21日
攻撃分類：NIST CSRC Glossary「poisoning attacks」
確認日：2026年8月21日
関連資料：NIST「NIST AI 100-2 | Adversarial Machine Learning Taxonomy」
確認日：2026年8月21日
