Transformer の主要モデル

（株）パラテク　AI基盤部　作成日：2025年9月3日

Decoder-only（ChatGPT のような生成特化）だけではありません。用途に応じて Encoder-only、Encoder–Decoder、Decoder-only の3系統に大別できます。

Transformer アーキテクチャの3類型 Encoder-only、Decoder-only、Encoder–Decoder のデータフローを対比した図 Encoder-only 入力 → 表現（理解） 分類・検索など Decoder-only 自回帰で次トークン予測 文章生成・対話 Encoder–Decoder Encoder 入力理解 Decoder 条件付き生成 翻訳・要約など

※ 図はデータフローのイメージ。Encoder-only は「理解」、Decoder-only は「生成」、Encoder–Decoder は両者の組合せ。

Encoder-only

エンコーダ型（理解特化）

入力シーケンスを双方向に取り込み、文脈的な 表現 を得る。主に 理解・検索・分類 に適する。

  • 代表: BERT, RoBERTa, ALBERT, DistilBERT
  • 用途: テキスト分類、意味検索、固有表現抽出、読解型QA など
Decoder-only

デコーダ型（生成特化）

左から右へ順に次のトークンを予測する 自回帰。長文生成や対話に強い。

  • 代表: GPT 系（GPT‑2/3/4, LLaMA, Falcon, Mistral など）
  • 用途: 文章生成、会話、要約の生成、コード補完 など
Encoder–Decoder

エンコーダ–デコーダ型（理解+生成）

エンコーダで入力を理解し、その表現を条件としてデコーダで出力を 生成。入出力がいずれもシーケンスのタスクに最適。

  • 代表: T5, BART, mBART, MarianMT
  • 用途: 機械翻訳、抽象要約、パラフレーズ、生成型QA など

3類型の比較

アーキテクチャ 代表モデル コア特徴 得意なタスク
Encoder-only BERT / RoBERTa / ALBERT / DistilBERT 双方向の文脈理解・表現学習。生成は行わない。 分類、意味検索、固有表現抽出、読解型QA
Decoder-only GPT 系（GPT‑2/3/4, LLaMA, Falcon, Mistral など） 自回帰（次トークン予測）。長文生成・対話に強い。 文章生成、会話、コード補完、生成要約
Encoder–Decoder T5 / BART / mBART / MarianMT 理解（Encoder）と条件付き生成（Decoder）を統合。 翻訳、抽象要約、パラフレーズ、生成型QA