データ前処理とは、AI・機械学習・データ分析・検索などにデータを使う前に、生のデータを目的に合わせて整理・変換し、扱いやすい状態へ整える作業です。
集めたデータは、そのまま使えるとは限りません。たとえば、値の欠落や表記の不統一があります。数値と文字が混在する場合もあります。また、機械学習では数値形式への変換も必要です。そのため、scikit-learnでは生の特徴量を推定器向けの表現へ変換します。
生成AIの分野でもデータ前処理は使われます。たとえばRAGでは、文書を読み込み、検索しやすい単位へ分割し、埋め込みへ変換して検索用のインデックスへ保存するといった処理があります。
この記事では、データ前処理の意味や仕組みを解説します。さらに、代表的な作業や使い方、注意点も初心者向けに紹介します。
データ前処理とは
データ前処理（Data Preprocessing）とは、収集したデータを、その後の分析・学習・検索などに適した状態へ整える工程です。
たとえば、店舗の売上を分析するとします。空欄があると、正しい集計が難しくなります。また、「東京都」と「東京」のような表記揺れにも注意が必要です。
そこで、利用前にデータの内容を確認します。具体的には、欠損値への対応や形式の統一、必要な変換を行います。Googleの資料でも、欠損対応や数値の正規化がデータ準備として説明されています。
なぜデータ前処理が必要なのか
データ前処理が必要なのは、現実のデータが必ずしも「そのまま利用できる状態」ではないためです。
機械学習で使うデータには数値、カテゴリ、文章、画像などさまざまな種類があります。それぞれ扱い方が異なるうえ、欠損や入力ミスなどが含まれる場合もあります。データの品質は、機械学習システムの結果にも影響します。
つまり、データ前処理は「AIに渡す前の下ごしらえ」と考えるとわかりやすいでしょう。
データ前処理の仕組み
データ前処理の基本的な考え方は、生データを確認し、目的に応じた整理や変換を行い、その後の処理で利用できる形へ変えることです。
料理で考えると理解しやすくなります。まず、買った食材を洗います。次に、不要な部分を除き、大きさを揃えます。データ前処理も、このような下準備です。
データも同様です。収集したデータを確認し、必要に応じて修正・変換してからモデルや検索システムへ渡します。
TensorFlowでも前処理を行えます。たとえば、数値の正規化やカテゴリ値のインデックス化です。さらに、テキストもモデルが扱える形へ変換できます。
データ前処理で行う代表的な作業
データ前処理の内容は、データの種類と利用目的によって変わります。すべてのデータに同じ処理を行うわけではありません。
| 処理 | 内容 | 例 |
|---|---|---|
| 欠損値への対応 | 空欄や欠けている値を処理する | 削除、補完、不明値として扱う |
| 表記・形式の統一 | 同じ意味のデータを同じ形式へ揃える | 日付形式、単位、カテゴリ名を統一 |
| 数値のスケーリング | 数値の大きさや範囲を調整する | 標準化、正規化 |
| カテゴリ変換 | 文字のカテゴリをモデルが扱える形へ変換する | カテゴリを数値表現へ変換 |
| 外れ値への対応 | 極端に大きい・小さい値を確認する | 除外、クリッピングなど |
| テキスト処理 | 文章を目的に合った形式へ変える | 標準化、トークン化、ベクトル化 |
| 文書分割 | 長い文書を扱いやすい単位へ分ける | RAGでのチャンキング |
scikit-learnには、複数の前処理方法があります。具体例は、標準化や正規化、カテゴリ特徴量のエンコードです。また、Googleの教材でも欠損処理やスケーリングが説明されています。
データ前処理はどこで使う？
データ前処理は、機械学習だけに使うものではありません。AIやデータ活用のさまざまな場面で使われます。
機械学習
機械学習では、モデルへ入力する前にデータを整えます。
たとえば、年収が「300万円〜2,000万円」、年齢が「18〜80」のように特徴量ごとの数値範囲が大きく異なる場合があります。アルゴリズムによっては、スケーリングによって特徴量を扱いやすい範囲へ揃えることが重要です。
カテゴリデータや欠損値を適切な形式へ変える処理も前処理の一部です。
生成AI・RAG
生成AIで社内資料などを検索して回答させるRAGでも、データ前処理は重要です。
たとえば、PDFや文書からテキストを取り出し、検索しやすいサイズへ分割します。その後、各チャンクを埋め込みへ変換してベクトルインデックスへ保存するといった処理が行われます。Amazon Bedrockの公式資料でも、非構造化データをテキストへ変換し、チャンクへ分割して埋め込みへ変換する工程が説明されています。
データ分析
売上分析、顧客分析、アンケート分析などでも前処理を行います。
たとえば、同じ顧客が重複して登録されていないか確認したり、日付や商品名の表記を揃えたりすることで、集計しやすい状態へ整えます。
そのため、データ前処理は「AIを作る人だけが行う専門作業」ではなく、データを正しく活用するための基本的な工程と考えられます。
データ前処理の使い方
初心者がデータ前処理を行う場合は、目的を決めてから必要な処理だけを選ぶことが重要です。機械学習では特に、評価用データの情報が学習工程へ入り込む「データ漏洩」に注意する必要があります。scikit-learnは、学習データとテストデータを先に分け、テストデータを前処理の学習に使わないことを推奨しています。
- 目的を決める
何を分析・予測・検索したいのかを明確にします。 - 元データを確認する
欠損、形式、異常な値、データ型などを調べます。 - 必要なデータを整理する
明らかな入力ミスや不要な項目などを確認します。 - 目的に応じて変換する
欠損処理、標準化、カテゴリ変換、テキスト処理などを選びます。 - 処理後のデータを確認する
値や分布が意図しない形に変わっていないか確認します。 - 同じ処理を再現できるようにする
本番環境でも同じ前処理を適用できるよう、処理手順を保存・自動化します。
重要なのは、前処理をたくさん行うことではなく、利用目的に必要な処理を選ぶことです。
データクレンジング・特徴量エンジニアリングとの違い
データ前処理について調べると、「データクレンジング」や「特徴量エンジニアリング」という言葉も登場します。
これらは関連していますが、完全に同じ意味ではありません。
| 用語 | 主な意味 |
|---|---|
| データ前処理 | データを利用できる状態へ整える幅広い工程 |
| データクレンジング | 誤り、欠損、不整合などを見つけてデータ品質を整える作業 |
| 特徴量エンジニアリング | モデルで利用する特徴量を作成・変換・選択する工程 |
実務では境界が重なることもあります。そのため、「データ前処理」という大きな工程の中で、クレンジングや変換などを行うと考えると理解しやすいでしょう。scikit-learnも前処理だけでなく、特徴抽出やデータ変換など複数の工程を機械学習パイプラインの構成要素として扱っています。
データ前処理のメリット
データ前処理を適切に行うと、データを後工程で扱いやすくできます。
たとえば、形式を揃えることで集計や比較がしやすくなります。また、機械学習ではアルゴリズムに適した数値表現へ変換することで、各特徴量を意図した形で扱いやすくなります。
さらに、前処理を一つのパイプラインとして管理すれば、学習時と実際の利用時で処理方法が変わってしまう問題も防ぎやすくなります。scikit-learnでも、前処理とモデルをPipelineで連結する方法が提供されています。
データ前処理の注意点
データ前処理は多く行えばよいわけではありません。
特に注意したいのが、必要な情報まで消してしまうことです。外れ値に見えるデータでも、実際には重要な現象を表している可能性があります。何を除外・変換するかは、データの意味や目的を確認したうえで判断する必要があります。
また、機械学習ではデータ漏洩にも注意が必要です。テストデータを含む全データから平均値などを計算して前処理すると、本来は学習時に利用できない情報がモデル評価へ入り込み、性能を正しく評価できなくなる可能性があります。
さらに、学習時と実際の利用時で異なる前処理を行うと、入力データの状態が変わります。前処理の手順もモデルと一緒に管理することが重要です。
データ前処理についてよくある質問
データ前処理とデータクレンジングは同じですか？
完全に同じ意味ではありません。
データクレンジングは、欠損や誤り、不整合などを修正してデータ品質を整える作業を中心に指します。一方、データ前処理は、クレンジングに加えて数値のスケーリング、カテゴリ変換、テキスト変換なども含む、より広い工程として使われます。
データ前処理は必ず必要ですか？
必要な処理量はデータと用途によって異なります。
すでに適切な形式へ整えられたデータであれば、複雑な処理は必要ない場合があります。一方、欠損や形式の違いがある場合や、利用するモデルが特定の入力形式を必要とする場合は、適切な前処理が必要です。
データ前処理は生成AIでも使いますか？
はい。
生成AIモデルの学習データを準備する場合だけでなく、RAG用の文書を検索可能な状態へ整えるときにも前処理が使われます。RAGでは文書の解析、分割、埋め込みへの変換などが代表例です。
データ前処理とチャンキングの関係は？
チャンキングは、RAGなどで使われる前処理の一つと考えられます。
長い文書を検索しやすい単位へ分割することで、関連する部分を取得しやすくします。Amazon Bedrockでも、データ取り込み時に文書をチャンクへ分割してから埋め込みへ変換する仕組みが採用されています。
初心者でもデータ前処理はできますか？
基本的な前処理であれば可能です。
表記統一や欠損値の確認などは表計算ソフトでも行えます。また、Pythonではscikit-learnやTensorFlowなどに前処理用の機能が用意されています。重要なのは、ツールの操作だけでなく「なぜその処理をするのか」を理解して進めることです。
まとめ
データ前処理とは、AI・機械学習・データ分析・検索などで利用する前に、生のデータを目的に合わせて整理・変換する作業です。
欠損値への対応、形式の統一、数値のスケーリング、カテゴリ変換、テキスト処理など、目的に応じてさまざまな方法があります。また、生成AIのRAGでは、文書を解析してチャンクへ分け、検索に適した形へ準備する処理も重要です。
ただし、不要な前処理やデータ漏洩には注意が必要です。「何のためにデータを使うのか」を先に決め、その目的に必要な処理を選ぶことが基本です。
関連用語
出典・参考情報
scikit-learn「Preprocessing data」 — 前処理、標準化、正規化、カテゴリ変換等を確認。2026年8月19日確認。
scikit-learn「Common pitfalls and recommended practices」 — データ漏洩、一貫した前処理、Pipeline利用を確認。2026年8月19日確認。
Google for Developers「Data preparation」 — 欠損値、正規化、データ準備を確認。2026年8月19日確認。
Google for Developers「Data quality and interpretation」 — データ品質と前処理の重要性を確認。2026年8月19日確認。
TensorFlow「Working with preprocessing layers」 — 数値・カテゴリ・テキスト等の前処理を確認。2026年8月19日確認。
AWS「How Amazon Bedrock knowledge bases work」 — RAGでの文書変換・チャンキング・埋め込み・インデックス化を確認。2026年8月19日確認。
