Googleの進化型Transformer「Titans」

ChatGPTの出現により急進している生成AI、そのベースになっているのは Transformer というAIモデルです。このモデルを開発したのはGoogle社で、特許も取得されています。

そのGoogleが、Transformerの進化型とも言える新しいアーキテクチャー「タイタン（Titans）」を発表しています。

Titans: Learning to Memorize at Test Time

Over more than a decade there has been an extensive research effort on how to effectively utilize recurrent models and a...

arxiv.org

このモデルは、人間の記憶システムに近づけることを目指し、短期記憶と長期記憶の両方を組み合わせています。

主な特徴:

1. 短期記憶と長期記憶の二重構造:
   • 短期記憶: 従来のトランスフォーマーが持つアテンション機構を活用し、入力データの直近の文脈に注目します。
   • 長期記憶: 新たに導入された「ニューラル長期記憶モジュール」により、過去の重要な情報をモデル内部に蓄積します。
2. 「驚きメトリック」による学習:
   • モデルが予想外のデータに遭遇した際、その情報を優先的に長期記憶に保存します。これにより、重要な出来事や情報を効果的に記憶します。

メリット:

• 長文対応と文脈保持の向上: 長期記憶モジュールにより、過去の重要な文脈を参照し、長大なテキストでも一貫性を保ちながら処理できます。
• 人間らしい記憶によるエラー低減: 重要な情報を保持し、必要に応じて忘れる機能により、モデルの一貫性と柔軟性が向上します。

このように、「タイタン（Titans）」は、AIモデルに人間の記憶システムを取り入れることで、より高度で柔軟な情報処理を可能にすることが期待されています。