PerplexityやChatGPTの検索機能に質問すると、Webページを引用しながら回答が生成されます。 自社サイトの記事が引用されることもあれば、競合の記事ばかりが引用されることもあります。
この違いはどこから生まれるのか。 AI検索で自社コンテンツが引用される条件を理解するには、AI検索の仕組み(RAG)を知る必要があります。
この記事では、RAGの基本的な動作を非エンジニア向けに解説し、「引用されるコンテンツ」に求められる条件を整理します。
AI検索はどう動いているのか——RAGという仕組み
RAG(Retrieval-Augmented Generation)は、2020年にMeta AI(当時Facebook AI Research)のLewis et al.が提案した手法です。 日本語に訳すと「検索で補強された文章生成」という意味になります。
仕組みは大きく2つのステップに分かれます。
ステップ1:関連するページを検索する(Retriever)
ユーザーの質問に関連するWebページやドキュメントを探し出すステップです。 質問文の「意味」を数値に変換し、データベース内の各ページの意味との近さを計算して、関連性の高い文書を選びます。
ステップ2:検索結果を参考に回答を生成する(Generator)
検索で取得されたページの内容と、ユーザーの質問を合わせてAIに渡し、回答文を生成するステップです。 GPTやClaudeなどのAIモデルが、「この参考情報を踏まえて、この質問に答えてください」という形で回答を作ります。
この2段階の構成がRAGの本質です。 AIは「自分の知識だけ」で回答するのではなく、「検索結果として渡された情報」を参照しながら回答を生成します。
「意味で検索する」とはどういうことか
従来の検索エンジンは、キーワードの一致でページを探していました。 「マーケティング ツール」と検索すれば、「マーケティング」「ツール」という単語が含まれるページが上位に出ます。
RAGで使われる検索方式(Dense Passage Retrieval)は、これを「意味の一致」に置き換えます。
Karpukhin et al.(2020, Meta AI)が提案したこの方式では、質問文もWebページもAIによって「意味を表す数値の列」に変換されます。 そして、数値の方向が近いもの同士を「意味が似ている」と判定します。
たとえば「マーケティングの自動化ツールはどう選べばいいか」という質問に対して、ページ内に「マーケティング」という単語がなくても、「MA導入の選定基準」というテーマのページが選ばれる可能性があります。 キーワードの一致ではなく、意味の近さで判断するためです。
Karpukhin et al.(2020)の実験では、この意味ベースの検索はキーワードベースの検索(BM25)に比べて、Top-20の検索精度で約9〜19ポイントの改善を示しました。
検索されたページはどう回答に使われるのか
検索で取得された複数のページは、チャンク(段落や節単位の断片)に分割されます。 その中から関連度の高い部分が選ばれ、AIモデルへの入力として渡されます。
Lewis et al.(2020)は、この生成プロセスに2つの方式を提示しました。
RAG-Sequence方式は、取得された各ページについて個別に回答を生成し、関連度スコアで重み付けして統合します。 回答全体の一貫性が高くなる特徴があります。
RAG-Token方式は、回答の各単語を生成する際に毎回すべてのページを参照します。 複数の情報源をまたいだ回答が可能になります。
実際のAI検索サービスではこれらをさらに発展させた実装が使われていますが、「検索結果を参考情報として与え、それを参照しながら生成する」という基本は共通しています。
RAGの研究はどのように発展してきたか
REALM——学習段階から検索を組み込む(Guu et al., 2020)
Guu et al.(2020, Google Research)が発表したREALMは、AIモデルの学習段階から「外部知識を検索して利用する」という行動を組み込みました。
従来は学習済みのAIに後から検索機能を追加する形でしたが、REALMは学習時から検索を前提とした設計です。 実験では、検索なしのモデルに比べて4〜16ポイントの精度向上が報告されています。
この研究は「AIの能力は内部の知識だけでなく、外部情報へのアクセスによって大きく拡張できる」という考え方を確立しました。
RETRO——大規模データベースからの検索(Borgeaud et al., 2022)
Borgeaud et al.(2022, DeepMind)が提案したRETROは、2兆トークンという膨大なデータベースを検索対象とし、比較的小さなAIモデルでも大きなモデルに匹敵する性能を示しました。
この結果は、AIモデル自体を大きくする代わりに検索データベースを拡充する方が効率的な場合があることを意味しています。 AI検索サービスにとっては、検索対象のデータベースの質と量が回答品質を大きく左右するということです。
現在のAI検索サービスはどう動いているのか
PerplexityやChatGPTの検索機能は、RAGの発展形と考えられます。 一般的な処理フローを整理します。
1. 質問の解析 ユーザーの質問を解析し、検索クエリを生成します。 あいまいな質問は、複数の検索クエリに分解される場合があります。
2. Web検索の実行 生成された検索クエリでWeb検索を実行し、関連するWebページを取得します。
3. ページの分割と再評価 取得されたWebページをチャンク(段落や節単位の断片)に分割します。 各チャンクと質問の関連度を再計算し、関連度の高いものを絞り込みます。
4. AIへの入力 関連度の高いチャンクを選択し、AIモデルに「参考情報」として渡します。
5. 回答の生成と引用 AIが参考情報をもとに回答を生成し、回答内の各主張に対して参照元のURLを引用として付けます。
AI検索で引用されるコンテンツの5つの条件
RAGの仕組みから逆算すると、引用されやすいコンテンツの条件が見えてきます。
条件1:AIのクローラがアクセスできること
AI検索の検索フェーズで取得されるためには、まずクローラがアクセスできなければなりません。 ペイウォール、ログイン壁、robots.txtによるブロックは、この段階で弾かれる原因になります。
条件2:質問に対する直接的な回答を含むこと
意味ベースの検索は、ユーザーの質問と意味的に近いテキストを選びます。 質問に対して直接的に回答する文章を含むコンテンツは、検索フェーズで上位に選ばれやすくなります。
回りくどい導入文や比喩から始まるコンテンツよりも、冒頭から主題に入るコンテンツの方が有利です。
条件3:見出しでセクションが区切られていること
チャンク分割の際、見出し(H2, H3)で区切られた構造化テキストは、意味的にまとまったチャンクに分割されやすくなります。 各セクションが独立した論点を持つ記事構成は、RAGのチャンク処理と相性がよいです。
複数のトピックが段落の区切りなく混在するテキストは、チャンク分割後に意味が断片化するリスクがあります。
条件4:事実と主張が明示的であること
AIの生成器は、参考情報内の明示的な記述を回答に反映しやすい特性があります。 「〜と考えられる」「〜の傾向がある」といったあいまいな記述よりも、「○○は△△です(出典: ×× et al., 2023)」のような明示的な記述の方が引用されやすくなります。
条件5:情報が新しいこと
AI検索のWeb検索フェーズでは、検索エンジンのランキングが影響します。 更新日時が新しいコンテンツ、定期的に更新されているサイトは、検索結果の上位に出やすく、結果としてRAGの入力に選ばれやすくなります。
RAGの限界——万能ではない点を理解しておく
RAGにはいくつかの限界があります。 Lewis et al.(2020)の論文でも指摘されている点です。
検索結果への依存 AIの回答品質は、検索で取得されるページの品質に依存します。 関連性の低いページが取得された場合、回答の質も低下します。
入力量の上限 AIモデルには一度に処理できるテキスト量の上限があります。 大量のページを参考情報として渡すことはできないため、どのチャンクが選ばれるかが回答品質に直結します。
検索されなければ存在しないのと同じ Web検索でヒットしなければ、AIの回答に含まれません。 新しい情報やニッチな情報は、まずWeb検索で見つかる状態にしておく必要があります。
実務で取り組むべき3つの施策
RAGの仕組みを踏まえて、コンテンツ制作者が取り組むべき施策を整理します。
質問形式を意識した構成にする
ユーザーがAI検索に投げかける質問を想定し、その質問に対する回答を記事内に明示的に含めます。 FAQ形式のセクション、「○○とは」の定義セクション、「○○の方法」の手順セクションは、意味ベースの検索でマッチしやすい構造です。
セクション単位で情報を完結させる
各見出し配下のセクションが、独立して読める単位になっているか確認します。 RAGのチャンク分割はセクション単位で行われることが多いため、セクション内で情報が完結していることが望ましいです。
「上記のとおり」「前述の○○」といった参照は、チャンク化された後に意味が通じなくなる可能性があります。
出典と根拠を本文中に明示する
数値データの出典、研究結果の引用元を本文中に記載します。 AIの生成器は、出典付きの記述を「信頼性の高い情報」として引用する傾向があります。
まとめ
RAGは「検索」と「生成」の組み合わせであり、AI検索の基盤技術です。
Lewis et al.(2020)がこの手法を提案して以降、Guu et al.(2020)のREALM、Borgeaud et al.(2022)のRETROによって有効性とスケーラビリティが実証されてきました。
コンテンツ制作者にとって重要なのは、RAGが「意味的に関連するテキストの断片を検索し、それを参照しながら回答を生成する」という仕組みだということです。
AIのクローラがアクセスできて、構造化されていて、質問に対する直接的な回答を含み、出典が明示されたコンテンツ。 これがAI検索の検索フェーズで選ばれ、生成フェーズで引用される条件です。
参考文献
- Lewis, P. et al. (2020). “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.” Meta AI. NeurIPS 2020.
- Guu, K. et al. (2020). “REALM: Retrieval-Augmented Language Model Pre-Training.” Google Research. ICML 2020.
- Karpukhin, V. et al. (2020). “Dense Passage Retrieval for Open-Domain Question Answering.” Meta AI. EMNLP 2020.
- Borgeaud, S. et al. (2022). “Improving Language Models by Retrieving from Trillions of Tokens.” DeepMind. ICML 2022.