トランスフォーマーが解決した問題：「忘れっぽい読者」

トランスフォーマーが登場する前、AIモデルは長い文章の文脈を理解することに苦労していました。
それはまるで、一語ずつ物語を読もうとして、読み終える頃には最初を忘れてしまう人のようなものでした。
そのため、微妙なニュアンス、皮肉、そして離れた単語同士の関係を理解するのが難しかったのです。

例：

「ロボットはボールを拾い上げたが、それは重すぎた。」

従来のモデルは、この「それ（it）」が何を指すのか混乱していました。
ロボット？それともボール？
彼らはまさに「忘れっぽい読者」だったのです。

「なるほど！」の瞬間：自己注意機構の登場

トランスフォーマーの背後にある天才的な発想は、シンプルでありながら深いものです。
「順番に読むのではなく、重要な部分に注目して全体を一度に理解する。」

こう考えてみてください。
あなたが文を読むとき、脳は瞬時に「it」はロボットではなくボールを指していると理解します。
あなたの脳は無意識に重要な単語をハイライトして文脈を理解しているのです。

トランスフォーマーは、この能力をAIにもたらしました。
それが 自己注意機構（Self-Attention） です。

自己注意機構の仕組み（たとえ話）

各単語に対して、トランスフォーマーは次のように問いかけます：

「この単語を理解するために、どの単語が一番重要だろう？」

各単語に対して 「注目度（focus score）」 を割り当てます。
他の単語の意味を重みづけ平均し、それを使ってその単語の新しい豊かな表現を作り出します。

つまり、トランスフォーマーが「it」を見たとき、「ball」 に強く注目し、「robot」 にはあまり注意を向けません。
このプロセスはすべての単語で並行して行われるため、トランスフォーマーは効率的かつ強力なのです。

教室を越えて：トランスフォーマーが世界を変える場所

大規模言語モデル（LLMs）

GPT は Generative Pre-trained Transformer（生成的事前学習型トランスフォーマー） の略です。
ChatGPT、Google Gemini、Claude などとのやり取りはすべて、トランスフォーマーがあなたの質問を理解し、人間のような応答を生成することで成り立っています。

機械翻訳

Google 翻訳 のようなツールは、文全体の文脈を理解するためにトランスフォーマーを使用し、より自然な翻訳を実現しています。

画像生成

DALL·E、Midjourney、Stable Diffusion などのモデルは、注意機構を利用してテキストのプロンプトを詳細なビジュアルへと変換します。

科学的発見

AlphaFold は、たんぱく質の3D構造を予測するために注意機構に似た仕組みを用い、創薬や生物学研究を加速させています。

重要なポイント

トランスフォーマーは単なるAI用語ではありません。
それは、機械がテキスト、画像、そして科学データを理解し生成する方法を革命的に変えた技術です。

AIが文脈に「注意を払う」ことを可能にしたことで、かつてはSFのように思われた能力が現実となったのです。

— SHR

すべてを変えたAI