グローバルなビッグテック企業の「生成AIを利用した検索機能」競争が本格化する中、NAVERの検索結果がGoogleよりも精度が高いことが明らかになった。NAVERは「多段階推論（multi-step reasoning）」技術と信頼できるデータに基づいて精度を高めることができたとの分析だ。
28日、海外メディアおよび業界によれば、Googleが公開した生成AI検索サービス「AIオーバービュー（AI Overviews）」の精度が低いと指摘された。
AIオーバービューは、迅速かつ正確な回答と要約をAIに基づいて処理することを主なサービスとしている。しかし、オバマがムスリムの大統領であるとしたり、ピザにチーズをのせるには接着剤を使えとしたり、健康でいるためには一日に少なくとも石を1つ食べるべきだとするなどのミスを連発した。
Googleの関係者は「これまでに確認された多くのケースは、一般的でないクエリが入力された場合だった」とし、「Googleは自社のコンテンツポリシーに従って適切な対応を迅速に行い、その中で当該例を利用して既存のシステムとすでにリリースされた一部のシステムを改善している」と述べた。
これに対し、一部では、GoogleがオープンAIなどとのスピード競争で遅れを取らないように、AIオーバービューサービスの公開を早めたことが一因であるとの指摘もある。
NAVERは昨年9月に公開した、生成AIを活用した検索サービス「キュー（CUE:）」ベータ版の回答は比較的正確だった。
AIオーバービューで問題となった同じ質問に対して、NAVERのキューは、「アメリカにムスリムの大統領はいない」「ピザをもっと長く焼け」「石を食べると健康に良くない」など、精度が高い回答を出した。また、ピザのチーズがくっつかないように保存する方法、ピザを作る方法を教える動画など、関連情報も推奨した。
NAVERのキューは、複数意図を持ち、複雑な構造で絡まった質問も明確に理解した後、自ら体系的な検索を行う。また、適切な文書を基に回答を生成・要約し、ショッピングやローカルなどNAVERの様々なサービスとも連携がすることができる。
これは、キューが段階的な推論プロセスを通じて質問の意図を段階的に把握し、検索計画を立てた後、検索特化学習モデルが複数の段階を経て検索を行うためだ。キューは、「質問の理解（Reasoning）」「回答が含まれる出典の収集（Evidence Selector）」「回答と出典の事実性の一致確認（Factually Consistent Generation）」の3段階のプロセスを通じて幻覚を最小化するように開発された。内部の自己テストの結果、この技術を搭載した後、幻覚現象が72%減少したことが明らかになった。
専門家たちは、生成AIの検索方法によって精度が左右されると分析した。AIオーバービューは、ユーザーの質問（クエリ）でGoogle検索を行い、その結果をLLMに渡して要約する。一般的な質問、「アメリカの首都はどこか」などにミスが発生する確率は低い。検索結果が正確で、それを要約する過程でミスが出る可能性も低いためだ。
しかし、整理されていない質問や論理的でない質問などに対しては、このような検索方法がミスをする可能性があるとの説明だ。検索結果をLLMに渡し、LLMはそれを忠実に要約するためだ。
専門家たちは、AI検索の精度を高めるための手段として、質問の有効性評価と検索結果の有効性評価などを挙げた。
ネクサスAIのイ・ジェウォン代表は、「AIが不十分または不正確な検索結果を基に答えを生成しようとして検索の精度が低下する現象が起こる」とし、「質問が有効かどうかの評価を先に行い、検索結果も有効かどうかをLLMが1つ1つ評価する方式などを導入すれば、精度が向上すると見られるが、膨大な演算コストは解決課題」と述べた。
コメント0