トランスフォーマーモデルとは?

どういうものか

まず、テキストはトークンと呼ばれる小さな断片に分割されます。トークンは、単語全体や単語の一部であることが多くあります。中心となる手順はアテンションと呼ばれます。各トークンについて、テキスト内の他のトークンとどれだけ強く関係するかを評価し、「それ」のような語が何を指すかを割り出します。最後に、次に来うるすべてのトークンにスコアを付け、可能性の高いものの一つを選んで追加し、これを繰り返します。

これができるようになる前に、モデルは学習を受けます。非常に大量のテキストを与えられ、予測が改善するまで何度も自らを調整します。だからこそ滑らかで自然な文章を書けますが、これが主な弱点の原因でもあります。モデルはもっともらしいテキストを生成するのであり、検証済みの事実を調べているわけではないため、本当のことと同じ落ち着いた口調で、誤ったことを述べることがあります。Claudeや、OpenAIのChatGPTなどのツールは、この方式で作られています。

企業にとって重要な理由

• 流暢さと正確さは別です:よく書けた出力でも誤っていることがあるため、事実、数値、引用は確認が必要です。
• データの扱い:ホスト型のモデルでは、テキストが処理のためにプロバイダーへ送られます。共有してよい内容を決めてください。
• 費用:利用量は通常トークンで計測されるため、入力と出力が長いほど費用が増えます。
• 人による確認:お客様や記録に届くものは、知識のある人が読むべきです。

当社の業務での関わり

当社のAIと自動化業務では、業務ごとにモデルを選び、重要な出力には人が関与し、送ってよいデータの判断をお客様と一緒に行います。自律的に動くツールについては、エージェント型AIで詳しく解説しています。

詳しく見る

• Wikipediaのトランスフォーマー設計の技術的な概要です。さらに深く知りたい方に役立ちます。
• Wikipediaの大規模言語モデルこれらのモデルがどのように作られ使われるかを中立的にまとめた概要で、入り口として役立ちます。