ChatGPTやPerplexityが回答を生成するとき、裏側ではAIがWeb上のページを読みに行っています。 どのページを開き、どこを読み、どの部分を引用するのか。この行動パターンを理解すると、AI検索に選ばれるコンテンツの設計指針が見えてきます。
OpenAIのWebGPT研究(Nakano et al., 2021)をはじめとする学術研究は、AIの検索行動を具体的に明らかにしています。 この記事では、これらの研究知見をもとに、AIに読まれ、引用されるコンテンツの作り方を解説します。
WebGPT研究——AIにWebブラウジング能力を持たせた先駆的実験
研究の背景
2021年にOpenAIが発表した「WebGPT: Browser-assisted question-answering with human feedback」は、GPT-3にWebブラウザの操作能力を持たせ、質問応答タスクを行わせた研究です。
従来のLLMは、学習時に取り込んだ知識のみで回答を生成していました。 そのため、学習データに含まれない新しい情報や、出現頻度の低い事実については誤った回答を生成しやすいという課題がありました。 WebGPTはこの課題に対して、LLMにWebブラウジング能力を持たせるアプローチで取り組みました。
実験の設計
WebGPTの実験は以下のように設計されています。
- モデル: GPT-3(175Bパラメータ)をベースに、ブラウジング行動をファインチューニング
- 操作コマンド: 検索クエリ送信、検索結果のクリック、ページスクロール、引用の記録、回答の生成
- 評価データ: ELI5(Explain Like I’m 5)データセットの長文回答型質問
- 評価方法: 人間の評価者によるペア比較(WebGPTの回答 vs 人間の回答)
モデルはBing検索APIを通じてWeb検索を行い、検索結果のページを閲覧し、関連する情報を引用として記録したうえで回答を生成しました。
主要な成果
WebGPTの成果は以下の通りです。
- ELI5データセットにおいて、WebGPTの回答は56%のケースで人間の回答よりも好まれた(Nakano et al., 2021, Table 2)
- 引用の正確性について、人間の評価者はWebGPTの引用の約75%を「回答を裏付けている」と判定した
- 最良のモデルは、ブラウジング行動の模倣学習とRLHF(人間のフィードバックからの強化学習)を組み合わせたものだった
AIの検索行動パターン——3つのステップ
WebGPTの実験ログから、AIの検索行動には明確なパターンがあることが分かっています。
ステップ1: 検索クエリの生成
AIは、ユーザーの質問をそのまま検索窓に入力するわけではありません。 以下のような変換を行います。
- 質問の分解: 複雑な質問を複数の小さな検索クエリに分解する
- リフォーミュレーション: 最初の検索結果が不十分な場合、異なる語句で再検索する
- 具体化: 一般的な検索から、より具体的なキーワードに段階的に絞り込む
たとえば「なぜ空は青いのか」という質問に対して、「レイリー散乱 空 青い」「大気中の光の散乱 仕組み」といった具体的な検索クエリを生成します。
この挙動はコンテンツ設計に直接関わります。 AIは、ユーザーの質問よりも具体的・技術的なキーワードで検索する傾向があるため、コンテンツ内に専門的な用語や具体的な表現を含めておくことが、検索にヒットする確率を高めます。
ステップ2: ページの選択
検索結果からどのページを開くかについても、パターンが観察されています。
- 検索結果の上位に表示されるページを優先的にクリックする
- タイトルとスニペットが質問に直接関連するページを選ぶ
- 信頼性が高いと推定されるドメイン(学術機関、公的機関、Wikipediaなど)を優先する傾向がある
タイトルとmeta descriptionの最適化は、従来のSEOと同様にAI検索でも重要です。 AIがページを「開くかどうか」の判断は、これらの情報に基づいて行われています。
ステップ3: ページ内の情報読み取り
ページを開いた後の読み取り行動にも特徴があります。
- ページ上部の情報を最初に処理する
- ページ全体を通読するのではなく、関連する段落を探してジャンプする
- 引用に適した具体的な記述(数値、定義、因果関係の説明など)を探す
ページの冒頭に結論や要約を配置することの重要性がここにあります。 AIがページの途中で読み取りを終了した場合でも、冒頭に重要な情報があれば引用される可能性が高まります。
他のAIブラウジング研究からの知見
GopherCite——引用に適した文章の特徴
DeepMindのMenick et al.(2022年)は、「Teaching language models to support answers with verified quotes」でGopherCiteを発表しました。 回答と同時に、根拠となるWebページの正確な引用文を提示するシステムです。
人間の評価では、回答の80%以上で引用が正確と判定されました。
GopherCiteの研究は、AI検索が引用を選ぶ際に「正確に引用できる記述」を好むことを示しています。 具体的には、以下の特徴を持つ段落が引用されやすいです。
- 文脈から切り出しても意味が通じる(自己完結的)
- 「これ」「それ」「上記の」といった指示語が少ない
- 具体的な数値・固有名詞・定義を含む
コンテンツを書く際に、各段落が単独でも意味が通じるように書くことが、引用されやすさに直結します。
LaMDA——対話形式の質問に直接回答するコンテンツが選ばれる
GoogleのLaMDA(Thoppilan et al., 2022年)は、対話型AIモデルにおける外部知識の活用を研究したモデルです。 評価指標として「Groundedness(根拠性)」を導入し、回答が外部ソースで裏付けられているかどうかを測定しました。
LaMDAの知見として、「対話形式の質問に直接回答するコンテンツ」が根拠として利用されやすいことが示されています。 見出しに質問文を置き、直後に回答を書く構造が、このパターンに合致します。
WebAgent——HTML構造の理解
Google DeepMindのQin et al.(2024年)が発表したWebAgent(ICLR 2024)は、より現実的なWeb操作を行うAIエージェントの研究です。 HTML構造を直接理解し、フォーム入力やナビゲーションなど複雑な操作を行います。
この研究から、AIエージェントはHTML構造を解析してページの機能と内容を理解していることが分かります。 セマンティックHTMLの適切な使用が、AIによるページ理解に寄与します。
AIが「選ばない」ページの特徴
引用されるページの特徴と同様に、選ばれないページの特徴も把握しておくことが重要です。
JavaScriptに依存したページ
WebGPTの実験では、テキストベースのブラウジング環境が使用されました。 クライアントサイドJavaScriptによる動的レンダリングは、AIエージェントにとって障壁になります。
SPAで初期HTMLにコンテンツが含まれず、JavaScript実行後に表示されるページは、AIが正しく読み取れない可能性があります。 対策としてSSR(サーバーサイドレンダリング)やSSG(静的サイト生成)の採用が有効です。
アクセス制限のあるページ
ログインが必要なページや、コンテンツの一部しか表示しないページは、AIがアクセスできません。 AI検索に引用されたい場合は、主要なコンテンツを公開状態にする必要があります。
複数ページに分割された情報
1つの質問に対する回答が複数ページに分かれている場合、AIは各ページを順にたどるコストが高く、検索セッション内でのページ遷移は限られた回数しか行われません。 1ページ内で質問に完結する回答を提供するコンテンツが選ばれやすいです。
広告やポップアップで分断されたページ
コンテンツと広告の区別がつきにくいページは、AIが主要な情報を正確に抽出しにくくなります。 ページ構造が広告で分断されていると、文脈の連続性が損なわれます。
AI検索に選ばれるコンテンツ設計の指針
「質問 → 回答」の明示的構造
WebGPTの研究が示す最も重要な知見は、AIが「質問に対する直接的な回答」を探しているという点です。
具体的な実装方法は以下の通りです。
- 見出し(h2, h3)に質問文や疑問を含める
- 見出し直下の最初の段落で、その質問への回答を簡潔に述べる
- 詳細な説明はその後に続ける
自己完結的な段落を書く
GopherCite(Menick et al., 2022年)の研究が示す通り、AI検索は「正確に引用できる記述」を求めます。 引用に適した段落の特徴は以下の通りです。
- その段落だけで意味が通じる
- 指示語(「これ」「それ」「前述の」)が少ない
- 具体的な数値・固有名詞・定義を含む
信頼性のシグナルを含める
LaMDA(Thoppilan et al., 2022年)の「Groundedness」指標が示すように、根拠が明確な回答が高く評価されます。
- 著者情報(専門分野、所属、実績)を明記する
- 引用元・参考文献を記載する
- データの出典を具体的に示す
- 最終更新日を記載し、情報の鮮度を示す
テクニカルな最適化
Webページの技術的な構造も、AIの読み取りやすさに影響します。
- セマンティックHTMLを使用し、
<article>,<section>,<nav>,<header>,<footer>で文書構造を明示する - SSR / SSGでメインコンテンツを初期HTMLに含める
- メタデータ(title, description, canonical URL)を正確に設定する
- ページ表示速度を最適化する(LCP 2.5秒以内が目安)
- robots.txtでAI検索エージェントのアクセスを許可する
今後の展望——マルチモーダル検索への拡張
現在のAI検索エージェントはテキストベースの情報収集が中心ですが、画像・動画・音声を含むマルチモーダルな情報収集への拡張が進んでいます。 GPT-4V以降のマルチモーダルモデルは、ページ内の画像や図表も理解できます。
画像のalt属性、図表のキャプション、動画のトランスクリプトなどを適切に設定することが、今後さらに重要になります。
また、複数のAIエージェントが協調してWeb上の情報を収集・検証するシステムも研究されています。 情報源としてのWebページに「検証可能性」が求められるようになると、主張の根拠が明示され、第三者が確認できる形で記述されたコンテンツがさらに選ばれやすくなります。
まとめ
WebGPT(Nakano et al., 2021年)、GopherCite(Menick et al., 2022年)、LaMDA(Thoppilan et al., 2022年)の研究は、AI検索エージェントの情報収集行動に共通するパターンを明らかにしています。
AI検索エージェントは以下の基準でコンテンツを評価しています。
- 質問に対する直接的な回答が含まれているか
- 文脈から切り出しても意味が通じる記述があるか
- 情報の信頼性を示すシグナル(著者・出典・更新日)があるか
- ページの技術的な構造がアクセスしやすいか
自社サイトの既存コンテンツを上記の観点で確認するところから始めることをお勧めします。
主要ページの構造監査に2〜3営業日、SSR/SSG対応の確認と修正に3〜5営業日、FAQ構造の追加にページあたり1〜2営業日、著者情報・出典情報の整備に1〜2営業日が目安です。