Attention レッスン 1 / 4

なぜ文脈が重要か

静的ベクトルの問題

前回のコースでは、単語がベクトルとして表現できることを学びました。しかし、根本的な限界があります：同じ単語は常に同じベクトルになるということです。

「bank」という単語を考えてみましょう：

"I went to the bank to deposit money"（お金を預けに銀行へ行った）

"I sat on the river bank watching fish"（川岸に座って魚を見ていた）

同じ単語。でも全く異なる意味。静的な単語ベクトルでは、「bank」は両方の文で同一の表現になってしまいます。これは問題です。

それぞれの文をクリックして、文脈が「bank」の意味をどう変えるか見てみましょう。

人間は「bank」が異なる文脈で異なる意味を持つことを自然に理解します。「deposit」「money」（金融）や「river」「fish」（自然）などの周囲の単語を見て意味を判断します。

これがまさにAttentionの役割です。文中のすべての単語を見て、各単語を理解するためにどの単語が最も関連しているかを判断できるようにします。

重要な洞察：単語の意味は文脈に依存します。 Attentionはこの文脈を捉えるメカニズムです。