拡散モデル（Diffusion Model）とは、ノイズを利用して新しい画像などを生成する生成モデルの一種です。
簡単にいうと、学習時には画像へ少しずつノイズを加えます。その後、ノイズを取り除き、元のようなデータへ戻す方法を学びます。生成時は、この仕組みを利用します。ランダムなノイズから形を整え、新しい画像を作ります。
画像生成AIについて調べていると、「拡散モデル」「Diffusion」「Stable Diffusion」といった言葉を見かけることがあります。しかし、それぞれの関係が分かりにくいと感じる人もいるでしょう。
この記事では、拡散モデルの意味や仕組みを解説します。使われる場面、他の生成モデルとの違い、注意点も初心者向けに紹介します。
拡散モデルとは
拡散モデルは、ノイズを加える処理と取り除く処理を利用します。この処理によって新しいデータを生成するモデルです。
画像生成で広く知られています。ただし、拡散という考え方は画像だけに限定されません。
簡単にいうと「ノイズを少しずつ消してデータを作るモデル」
テレビの砂嵐のようなノイズを想像してください。拡散モデルのイメージを理解しやすくなります。
最初は何が描かれているのか分からないランダムなノイズでも、適切な方法でノイズを少しずつ取り除いていけば、徐々に形や色が現れてきます。
拡散モデルは、この「ノイズから意味のあるデータへ変化させる方法」を学習します。
生成モデルの一種
拡散モデルは、新しいデータを作る生成モデルの一種です。
生成方法はモデルごとに異なります。拡散モデルでは、段階的なノイズ除去が大きな特徴です。
ノイズを使う基本的な仕組み
拡散モデルの基本的な仕組みは、**「ノイズを加える」「逆方向の処理を学ぶ」「ノイズから生成する」**という流れで考えると理解しやすくなります。
①元データへ少しずつノイズを加える
学習では、まず元の画像などへ少しずつノイズを加えていきます。
たとえば、猫の画像へノイズを加え続けます。すると、輪郭や色が徐々に分からなくなり、最後はほぼランダムなノイズになります。
このように、データを段階的に崩します。拡散モデルを理解する重要なポイントです。
②ノイズを取り除く方法を学習する
次に、モデルはノイズの少ない状態へ戻す方法を学びます。
つまり、ノイズの中に隠れているデータを推測します。そして、少しずつデータを復元する能力を身につけます。
2020年に発表されたDDPM（Denoising Diffusion Probabilistic Models）は、この考え方を用いて高品質な画像生成を示した代表的な研究です。
③生成時はノイズから新しいデータを作る
学習後は、元画像を用意しなくてもランダムなノイズから生成を始められます。
モデルがノイズ除去を繰り返すことで、最初は意味のなかったノイズが徐々に画像らしい構造へ変わっていきます。
テキストから画像を作る場合は、条件を与えます。たとえば、「赤い帽子をかぶった犬」などです。その内容に沿ってノイズ除去が進みます。
拡散モデルが画像生成で使われる理由
拡散モデルは、高品質な画像生成を実現する方法として発展してきました。
DDPM以降の研究により、画像生成性能が大きく向上しました。その後、テキストなどを条件にした画像生成にも応用されています。
高品質な画像生成に利用できる
拡散モデルは、いきなり完成画像を出力しません。複数の段階を経てデータを整えます。
この仕組みにより、複雑な画像を生成する研究で高い性能が示されてきました。
Google ResearchのImagenも、テキストの情報と拡散モデルを組み合わせて画像を生成する研究例の一つです。
Latent Diffusionで計算負荷を抑える
通常の画像データは情報量が多いため、高解像度になるほど計算負荷が大きくなります。
そこで登場した代表的な方法が**Latent Diffusion（潜在拡散モデル）**です。
Latent Diffusionは、画像を圧縮した「潜在空間」を利用します。画像の全ピクセル上ではなく、この表現上で主な処理を行います。
これにより、画質や柔軟性を維持しながら、ピクセル空間で直接処理する拡散モデルと比べて計算量を抑える方法が示されました。
Stable Diffusionも、Latent Diffusionの流れをくむ画像生成モデルとして知られています。
拡散モデルの使い方・具体例
一般の利用者が拡散モデルを使う場合、数式やモデル内部の処理を直接操作する必要はありません。
多くの場合は、拡散モデルを利用した画像生成サービスやアプリなどを通じて利用します。
テキストから画像を生成する
代表的な使い方は、文章で作りたい画像を指定するテキストからの画像生成です。
たとえば、
「木漏れ日の差す森にある小さなカフェ、写真風」
といった指示を入力すると、その条件を参考にしながら画像が生成されます。
利用者の指示は一般に「プロンプト」と呼ばれます。
画像の一部を修正する
拡散モデルは、画像全体をゼロから生成するだけではありません。
指定した部分を生成し直すインペインティングなどにも利用できます。
たとえば、写真の背景にある不要な物を別の景色へ置き換えたり、服の一部分を変更したりする用途が考えられます。
画像を高解像度化する
低解像度の画像から、より高解像度の画像を生成する超解像にも拡散モデルが研究・利用されています。
元画像の特徴を参考にしながら細部を補うことで、より高い解像度の画像を作る方法です。
画像以外にも応用される
拡散モデルは画像生成で特に有名ですが、対象は画像だけとは限りません。
研究は動画、音声、分子データ、言語などへも広がっています。そのため、「拡散モデル＝画像だけの技術」と限定して覚える必要はありません。
拡散モデルとGAN・VAEの違い
拡散モデル、GAN、VAEはいずれも生成モデルですが、データを生成する考え方が異なります。
| モデル | 基本的な考え方 | 特徴 |
|---|---|---|
| 拡散モデル | ノイズから段階的にデータを形成する | 段階的なノイズ除去を利用 |
| GAN | 生成器と識別器を競わせる | 2つのネットワークを対抗させて学習 |
| VAE | データを潜在表現へ圧縮し、そこから生成する | 潜在空間を利用してデータを生成 |
| 自己回帰モデル | それまでの出力をもとに次を生成する | 文章生成などで利用される |
どの方式が常に優れているというわけではありません。
生成するデータの種類、必要な品質、生成速度、計算資源、制御方法などによって適した方式は変わります。
拡散モデルのメリット
拡散モデルの特徴として、主に次の点が挙げられます。
- 高品質な画像生成へ応用されている
- テキストなどの条件を与えた生成ができる
- 画像生成だけでなく、編集や超解像などにも応用できる
- 画像以外のデータ生成にも研究が広がっている
特に画像生成では、拡散モデルに関する研究が数多く発表され、生成AIを理解するうえで重要な技術の一つになっています。
一方、メリットだけでなく、計算量や生成速度なども考慮する必要があります。
拡散モデルの注意点
拡散モデルを理解するときは、「高品質な画像を作れる仕組み」だけで終わらせないことが重要です。
生成に複数の処理が必要になる
基本的な拡散モデルでは、ノイズ除去を複数回繰り返しながらデータを生成します。
そのため、方式や設定によっては生成に必要な計算量や時間が大きくなります。
こうした課題に対し、少ないステップで生成する方法や、潜在空間で処理する方法など、さまざまな高速化・効率化の研究が進められてきました。
同じ指示でも毎回同じ画像になるとは限らない
画像生成ではランダムなノイズを出発点として利用するため、同じプロンプトでも条件によって異なる結果が得られる場合があります。
サービスによってはシード値などを固定することで再現性を高められますが、具体的な設定方法は利用するモデルやサービスによって異なります。
生成結果には確認が必要
拡散モデルを使った画像生成AIでも、利用者の意図と異なる画像や不自然な表現が生成されることがあります。
また、生成物を公開・商用利用する場合には、使用しているサービスの利用規約やライセンス、第三者の権利なども確認する必要があります。
「拡散モデルを使っているから自由に利用できる」と判断するのではなく、実際に利用するサービスやモデルごとの条件を確認しましょう。
拡散モデルについてよくある質問
簡単にいうと、どのようなモデルですか？
拡散モデルとは、ランダムなノイズから少しずつノイズを取り除き、画像などのデータを生成するモデルです。
学習時にはデータへノイズを加える過程と、その逆方向の処理を学びます。
拡散モデルは画像生成AIそのものですか？
同じ意味ではありません。
画像生成AIは画像を生成するAIの総称で、拡散モデルは画像生成に利用できるモデル方式の一つです。
画像生成AIには、別の技術が使われる場合もあります。
Stable Diffusionと拡散モデルは同じですか？
同じではありません。
拡散モデルはモデル方式を表す一般的な名称で、Stable Diffusionはその技術系統を利用した具体的な画像生成モデル群です。
「自動車」と「特定の車種」のように、概念と具体例を分けて考えると理解しやすいでしょう。
なぜ最初にノイズを使うのですか？
拡散モデルでは、データが徐々にノイズへ変わる過程を設定し、その逆方向の処理を学習することで生成を行います。
生成時にはランダムなノイズを出発点として、学習した逆方向の処理を繰り返し、新しいデータを形成します。
拡散モデルは画像以外にも使えますか？
はい。画像生成で特に知られていますが、拡散モデルの研究対象は動画や音声、分子、言語などにも広がっています。
ただし、利用されるモデル構造や具体的な生成方法は対象データによって異なります。
まとめ
拡散モデルとは、ノイズを利用して画像などの新しいデータを生成する生成モデルの一種です。
基本的な流れは次の3段階で理解できます。
- 学習データへ段階的にノイズを加える
- ノイズを取り除く逆方向の処理を学習する
- 生成時にはランダムなノイズから新しいデータを形成する
特に画像生成の分野で発展してきましたが、画像編集、超解像、動画などにも応用されています。
一方で、拡散モデルと画像生成AI、Stable Diffusionは同じ意味ではありません。拡散モデルは技術方式、画像生成AIは用途・カテゴリ、Stable Diffusionは具体的なモデル群として分けて理解すると整理しやすくなります。
関連記事：生成AIとは？仕組み・できること・使い方を初心者向けに解説
出典・参考情報
- PMLR「Deep Unsupervised Learning using Nonequilibrium Thermodynamics」
- NeurIPS「Denoising Diffusion Probabilistic Models」
- Computer Vision Foundation「High-Resolution Image Synthesis With Latent Diffusion Models」
- Google Research「Towards demystifying the creativity of diffusion models」
- Google Research「Imagen: Text-to-Image Diffusion Models」
- Stability AI「Core Models」
