AIの「奇跡」がビジネステクノロジーの未来について語ること

AI21 Labsは、米国に拠点を置くOpenAIに対するイスラエルからの回答とも言える存在です。同社は自然言語処理（NLP）の最先端研究を行う研究機関であると同時に、その最新の成果を実際のビジネスで活用・購入できる製品へと迅速に展開することを目指す商業企業でもあります。
AI21 Labsは、スタンフォード大学の人工知能名誉教授であるYoav Shoham氏、Intelに買収された自動運転ソフトウェア企業Mobileye の創業者であるAmnon Shashua氏、クラウドファンディングプラットフォームCrowdXの創業者であるOri Goshen氏によって設立されました。同社の崇高な目標は「人々の読み書きの方法をより良い形で再構築すること」です。
同研究所は、「Miracle」と少々大胆に名付けた新システムを構築しました。これはMRKL（Modular Reasoning, Knowledge and Language systemの略）をより親しみやすくしたものです。MRKLは、今後企業がAIをどのように活用するかという4つの重要なトレンドを示しているという点で重要です。
第一に、MRKLはあらゆる種類の自然言語タスクを処理できるよう設計されており、最近まで多くのシステムがそうであったような特定の1つの作業に限定されません。例えば、カスタマーサービス用チャットボットが必要な場合、同じAIがCEOの決算説明会のセンチメント分析を行うことはできませんでした。しかし今では、単一のNLPエンジンが両方のタスクを処理できます。これはNLPにおける真の革命と、それがビジネスに与え始めている影響のもう一つの例です。
第二の、密接に関連するトレンドとして注目すべきは、これらの汎用NLPシステムが「超大規模言語モデル」、すなわち単語間の数十億もの統計的関係を学習する単一のアルゴリズムに基づいて構築されるようになるという点です。これらは、英語やその他の言語で書かれた書籍、WikipediaやRedditのスレッドなどの公開ソースを含む、インターネットから収集された膨大なテキストで学習されます。これらのシステムのほとんどは、文中の欠けている単語や次の単語を予測するように学習されています。しかし、それほど大きなAIシステムを構築して一つのことを学習させると、追加学習をほとんど、あるいは全く行わなくても、翻訳、質問への回答、オリジナルの文章の作成など、多くの他のことも行えるようになることがわかっています。
さらに、比較的少数の例でわずかに追加学習するだけで、これらの大規模言語モデルは、単一の狭いタスクを達成するために多大なコストをかけて整備された大規模データセットで学習された小規模なAIシステムを凌駕することが多いです。「少ないデータ」で機能するこの能力こそが、超大規模言語モデルをビジネスにとって非常に魅力的なものにしています。なぜなら、それらを使用することでより速く、より安くなる可能性があるからです。
商業利用可能な超大規模言語モデルの最もよく知られた例は、おそらくOpenAIのGPT-3でしょう。OpenAIはMicrosoftと緊密な関係にあり、MicrosoftはOpenAIに10億ドル以上を投資しています。当然のことながら、MicrosoftはGPT-3をコンピューターコードを自動的に記述する製品に組み込んでいます。また、Azureクラウドの顧客にもこの技術を提供しています。

AI21 Labsは、昨年商業的にリリースしたJurassic-1と呼ばれる独自の超大規模言語モデルを持っており、部分的にはより大きな「トークン語彙」を持つことからGPT-3より優れていると主張しています。これは、同モデルが知っている単語や単語の一部の数を指します。Jurassicのトークン語彙は25万以上で、GPT-3の5倍です。
これらの超大規模言語モデルには、有害な言語を出力するよう誘導される可能性があるなど、よく知られた問題がいくつかあります。しかし、もう一つの大きな欠陥は、事実に関する質問に対して不正確な情報を生成する傾向があることです。
例えば、GPT-3に2足す2を計算させると、自信を持って4と答えますが、4桁や5桁の数字をいくつか足すよう求めると、同じように自信を持って間違った答えを出す可能性があります。現在のニューヨークの天気を尋ねると答えてくれますが、それはAccuWeatherのデータが学習セットに取り込まれた時点のニューヨークの気温であり、今日の天気ではない可能性が高いです。同じ問題は、時事問題や科学に関する質問にも当てはまります。そして、これらの大規模言語モデルは非常に大きいため、学習コストが数百万ドルと極めて高く、データを常に最新の状態に保つために継続的に更新することは現実的ではありません。
これがAI21 LabsがMRKLで解決しようとした問題です（研究所の以前のイノベーションの一つについてはこちらに書きました）。これにより、MRKLが示す第三の大きなトレンドに至ります：MRKLはハイブリッドシステムです。過去10年間の技術における大きな飛躍のほとんどを担ってきたAI手法であるディープラーニングだけを使用するのではなく、ディープラーニングを使用するモジュールと、より古い形式のAIであるシンボリック推論を使用するモジュールを組み合わせて、事実に関する質問に対して正確で最新の回答を提供します。
MRKLの巧妙な点は、ユーザーからの質問を受け取り、ユーザーがどのような情報を求めているかを判断するルーターと呼ばれるモジュールです。質問が数学に関するものであれば、その質問を普通の昔ながらの科学計算機に送ります。為替レートに関するものであれば、通貨換算ツールにルーティングします。天気に関するものであれば、天気予報サイトに送ります。Shoham氏によると、MRKLが現在サポートするこのようなタスク固有のモジュールは55個あります。ルーターがどのモジュールが最適か判断できない場合は、Jurassic-1を呼び出します。JurassicはMRKLの回答の周囲の文脈的な言語を構成するのにも役立ちます。
もう一つの巧妙なイノベーションは、AI21 LabsがJurassicから適切な種類の回答を引き出す方法です。これは「プロンプトチューニング」と呼ばれる手法で行われます。この手法では、最初の質問やテキストの断片を超大規模言語モデルに入力する方法が出力の性質を決定するのに役立ちます。これは、追加の学習データでファインチューニングすることなく、特定の種類のタスクにAIを適応させる一つの方法です。追加学習の問題は、システムが一つの狭いタスクに優れるようになると、実際には他のタスクで劣化することです。研究者はこの問題を「壊滅的忘却」と呼んでいます。
一部のAI研究者は、様々な異なるタスクを同時にモデルに学習させることで壊滅的忘却を克服しますが、それには多くのコンピューターパワー、時間、お金が必要です。プロンプトチューニングはこれを回避します。AI21 LabsのMRKLにおけるイノベーションは、Jurassicをリアルタイムで自動的にプロンプトチューニングできる小さなディープラーニングモジュールを作成し、ユーザーのクエリを受け取って、Jurassicが正しいスタイルと形式で回答を出力するよう誘導する最適なプロンプトセットを構成することです。
それでは、今週のAIに関するその他のニュースをお届けします。  

Jeremy Kahn
@jeremyakahn
jeremy.kahn@fortune.com

この記事はもともとFortune.comに掲載されたものです。