データポイズニングとは、AIの学習などに使われるデータを不正に操作し、モデルの判断や出力へ悪影響を与える攻撃です。
たとえば、誤った情報が学習データへ入り込む場合があります。すると、AIが間違った規則や偏った傾向を学習する可能性があります。NISTも、攻撃者が学習データの一部を制御する攻撃として整理しています。
この記事では、データポイズニングの意味や仕組み、具体例を解説します。また、似た攻撃との違いや対策も、AIを学び始めた人向けに紹介します。
データポイズニングとは
データポイズニングは、AI・機械学習システムが利用するデータを汚染し、学習結果やモデルの動作へ影響を与える攻撃です。
簡単にいうと「AIの学習材料を汚染する」こと
AIの学習は、教材から知識を身につけることに似ています。データポイズニングは、その教材の一部を意図的に書き換えるようなものです。
正しいデータを使えば、AIは適切な傾向を学びます。しかし、不正な情報が混ざると、間違った判断基準まで学習する可能性があります。
その結果、モデル全体の精度が低下する場合もあれば、特定の条件だけで不適切な動作をする場合もあります。NISTはポイズニング攻撃について、AIの学習段階を狙う攻撃として整理しています。
生成AIでは対象範囲が広がっている
従来のデータポイズニングは、主に機械学習モデルの「学習データ」を汚染する攻撃として説明されてきました。
一方、生成AIではデータの利用方法が複雑です。OWASPの2026版は、事前学習やファインチューニング以外のリスクも挙げています。埋め込みデータや継続学習などが例です。
そのため、生成AIのセキュリティを考える場合は、「最初の学習データだけを守ればよい」と考えないことが重要です。
データポイズニングの仕組み
データポイズニングは、AIが情報から規則やパターンを学習する性質を悪用します。
1. AIに使うデータを集める
機械学習や生成AIの開発では、大量のデータを収集してモデルの学習や調整に利用します。
自社で作ったデータだけでなく、外部のデータセットや公開情報などを利用する場合もあります。
2. 不正または誤ったデータが入り込む
攻撃者による改ざんなどで、不正な情報がデータへ混入すると、元のデータセットの信頼性が損なわれます。
また、生成AIでは外部データや継続的に更新される情報を利用する仕組みが増えているため、データの出所や変更経路の管理も重要になります。
3. AIが誤った傾向を学習する
AIは、与えられたデータが正しいかどうかを人間と同じ意味で理解して学習しているわけではありません。
汚染されたデータが学習に使われれば、誤った関連性や偏りまでモデルへ反映される可能性があります。
4. 精度低下や特定条件での誤動作につながる
影響の現れ方は一つではありません。
モデル全体の性能が下がる場合があります。一方、特定の入力にだけ意図しない結果を返すケースもあります。NISTは、広範囲な性能低下と対象を絞った影響の両方を取り上げています。
データポイズニングで起こり得る影響
データポイズニングが成功すると、AIシステムには次のような問題が発生する可能性があります。
- AIモデル全体の精度や信頼性が下がる
- 一部の対象について誤った分類や判断をする
- 偏った回答や不適切な出力が増える
- 特定条件でのみ意図しない動作をする
- AIを利用する後続システムの判断にも影響が及ぶ
特に注意したいのは、モデルが一見正常に動いている場合でも問題が潜んでいる可能性があることです。OWASPも、ポイズニングによって有害な振る舞いやバイアス、脆弱性がAIシステムへ組み込まれるリスクを挙げています。
データポイズニングと似た攻撃の違い
AIセキュリティには、データポイズニング以外にも似た用語があります。
| 用語 | 主な対象 | 主なタイミング | 特徴 |
|---|---|---|---|
| データポイズニング | 学習・調整などに利用するデータ | 学習前・学習中など | 汚染されたデータを通じてモデルへ継続的な影響を与える |
| プロンプトインジェクション | AIへ渡される指示やコンテキスト | AIの利用時 | 不正な指示によって意図しない振る舞いを引き起こす |
| ジェイルブレイク | AIの安全制限 | AIの利用時 | 安全上の制限を回避しようとする |
| 敵対的攻撃 | AIシステム全般 | 攻撃方法によって異なる | AIの弱点を狙う攻撃を広く含む概念 |
特に間違えやすいのが、データポイズニングとプロンプトインジェクションです。
プロンプトインジェクションは、入力や指示を通じてAIの振る舞いを変える攻撃です。一方、データポイズニングは学習や調整に使うデータ自体へ影響を与えます。
ただし、生成AIではRAGや長期メモリも利用されます。そのため、両者の境界が複雑になる場合があります。実際のシステムでは、データが影響した時点と処理を確認することが重要です。
データポイズニングという言葉の使い方
「データポイズニングの使い方」と検索した場合、攻撃方法ではなく、用語をどのように使うのか知りたい人もいるでしょう。
この用語は、主にAI開発やAIセキュリティについて話す場面で使います。
たとえば、次のような使い方があります。
- 「外部データを学習に使うなら、データポイズニングへの対策も必要です」
- 「モデルの精度低下が通常のデータ品質問題なのか、データポイズニングなのかを調査します」
- 「生成AIのセキュリティ対策では、データの出所と変更履歴を管理してポイズニングのリスクを減らします」
つまり、AIへ悪影響を与えるためにデータが意図的に汚染されるリスクを説明するときに使われる用語です。
データポイズニングの具体例
データポイズニングは、さまざまなAIシステムで問題になる可能性があります。
迷惑メール判定AI
迷惑メールを判定するAIが学習するデータへ、不正なラベルや誤った分類情報が大量に混入したとします。
そのデータを信頼して学習すると、本来は迷惑メールとして検出すべき内容を正常なメールと誤認する可能性があります。
画像認識AI
画像認識モデルの学習データが不正に変更されると、一部の画像を誤って分類するようなモデルが作られる可能性があります。
NISTも、ポイズニングされたAIモデルの研究例として、画像認識モデルに特定の誤動作を引き起こすケースを取り上げています。
生成AI
生成AIでは、ファインチューニングや埋め込みなどに利用されるデータが汚染されることで、偏った回答や誤った情報、有害な振る舞いが組み込まれるリスクがあります。
さらに、現在の生成AIシステムはRAGや外部データベースなど複数のデータ源を利用するため、モデル本体以外のデータ管理も重要になっています。
データポイズニングへの対策
データポイズニング対策では、一つの方法だけに頼らず、データの収集からモデル運用まで複数の防御策を組み合わせることが重要です。
データの出所を確認する
まず、どこから取得したデータなのかを管理します。
外部データを無条件に信用せず、提供元や取得方法、変更履歴などを確認することが基本です。
データへのアクセスを制限する
学習データやデータパイプラインを誰でも変更できる状態にしないことも重要です。
必要な人だけが操作できるように権限を設定し、不正な追加・変更のリスクを減らします。
データの変更履歴を残す
データセットのバージョンを管理すると、いつ何が変更されたのかを追跡しやすくなります。
問題が発生した場合に、安全だった状態との差分を確認できることも重要です。
異常なデータをチェックする
通常とは大きく異なるデータ、急増したパターン、不自然なラベルなどを検査します。
OWASPも、入力データの検証、異常検知、データのバージョン管理などを対策として挙げています。
モデルの動作を継続的に評価する
データだけを見るのではなく、学習後のモデルが想定どおり動くかも確認します。
既知の安全なデータを使った評価や継続的なモニタリングによって、精度や出力傾向の変化を把握しやすくなります。
なお、どの対策もリスクを完全にゼロへできるとは限りません。重要なAIシステムほど、データ管理、アクセス管理、評価、監視などを重ねた多層的な対策が必要です。
データポイズニングに関するFAQ
ChatGPTに間違った情報を入力するとデータポイズニングになりますか？
通常の会話で間違った情報を1回入力しただけで、直ちにデータポイズニングになるとはいえません。
データポイズニングは一般に、AIの学習・調整などへ使われるデータを意図的に操作してモデルへ影響を与える攻撃を指します。通常のチャット入力によってそのAIモデル自体がその場で再学習されるとは限りません。
データポイズニングとプロンプトインジェクションは同じですか？
同じではありません。
データポイズニングは主に学習・調整などに利用するデータの汚染を狙います。一方、プロンプトインジェクションは、AIへ渡される入力やコンテキストを悪用し、利用時の振る舞いを変えようとする攻撃です。
データポイズニングは完全に防げますか？
完全な防御を前提にするのは適切ではありません。
データの出所確認、アクセス制御、変更履歴、異常検知、モデル評価などを組み合わせ、攻撃される可能性と影響を減らすことが重要です。
まとめ｜データポイズニングはAIの「学習材料」を狙う攻撃
データポイズニングとは、AIの学習や調整に利用されるデータを不正に操作し、モデルの判断や出力へ悪影響を与える攻撃です。
初心者は、まず次の3点を押さえておくと理解しやすいでしょう。
- AIが学ぶデータそのものを狙う攻撃
- 精度低下だけでなく、特定条件での誤動作や偏った出力につながる場合がある
- データの出所、アクセス権限、変更履歴、異常検知、モデル評価を組み合わせて対策する
生成AIでは、学習データだけでなくファインチューニングや埋め込みなど、AIへデータを取り込む経路が増えています。そのため、安全にAIを活用するには、モデルだけではなく「どのデータを、どこから、どのように利用しているか」まで管理する視点が重要です。
関連用語
出典・参考情報
NIST CSRC「data poisoning – Glossary」
NIST「Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations」
