AI検索で自社の記事が引用されることもあれば、まったく触れられないこともあります。 この違いはどこから生まれるのか。
AI検索の出力結果は、ランダムでもキーワードの一致だけでもありません。 AIが学習した「良い回答の基準」に照らして、引用するコンテンツが選ばれています。
この記事では、AIの品質判断の仕組みを学術研究に基づいて解説し、AI検索で引用されやすいコンテンツの特徴を整理します。
従来の検索ランキングとAI検索の違い
AI検索のランキングを理解するために、まず従来の検索エンジンの仕組みを振り返ります。
Liu（2009, Microsoft Research）の「Learning to Rank for Information Retrieval」によると、従来の検索エンジンでは被リンク数、ドメインの運用年数、キーワードの出現頻度など、数百の外部的な特徴量をもとにページの順位を決めていました。
AI検索では、この仕組みが大きく変わります。 外部的な指標に加えて、コンテンツの内容そのものがAIの「報酬モデル」によって評価されます。
この報酬モデルの訓練に使われるのが、RLHF（Reinforcement Learning from Human Feedback、人間のフィードバックによる強化学習）です。
AIの「良い回答」はどう決まるのか——RLHFの仕組み
3つのステップで品質基準を学習する
Ouyang et al.（2022, OpenAI）の「Training language models to follow instructions with human feedback」は、RLHFの実践的な手法を確立した研究です。
InstructGPTの訓練は、以下の3ステップで行われました。
ステップ1：お手本となる回答で学習する
人間の評価者（アノテーター）が理想的な回答を作成し、その回答でAIモデルを微調整します。 この段階で、モデルは「質問に答える」基本能力を獲得します。
ステップ2：「良い回答」を判定するモデルを作る
同じ質問に対してAIが複数の回答を生成し、人間の評価者がそれらに順位を付けます。 この順位データで「報酬モデル」を訓練します。 報酬モデルは、任意の回答に対して「品質スコア」を出力する仕組みです。
ステップ3：報酬モデルのスコアを使ってAIを最適化する
報酬モデルのスコアを基準として、AIモデルを強化学習で最適化します。 報酬モデルが高く評価する回答を生成する傾向が強化されます。
評価者はどんな回答を「良い」と判断したのか
Ouyang et al.の研究で報告された評価者の選好パターンは、AI検索のランキングを理解するうえで重要な手がかりです。
評価者は以下の特徴を持つ回答を一貫して高く評価しました。
| 高評価の特徴 | 低評価の特徴 |
|---|---|
| 質問に直接回答している | 質問に間接的にしか関連しない |
| 具体的で詳細 | 抽象的であいまい |
| 正確で事実に基づいている | 不正確または未確認の情報 |
| 構造化されている（リスト、ステップなど） | 構造化されていない長文 |
| 適切な長さ | 不必要に長い、または短すぎる |
これらの選好は報酬モデルを通じてAIの出力傾向に反映されます。 AI検索の出力もこの報酬モデルの影響下にあるため、同様の特徴を持つコンテンツが引用されやすいと考えられます。
AIの品質原則「正確・有用・安全」がコンテンツに求めること
Anthropicの「Constitutional AI」
Bai et al.（2022, Anthropic）の「Constitutional AI」は、AIの出力を一連の「原則」に照らして評価する仕組みです。
この原則には以下のようなものが含まれます。
- 正確で誠実な回答を選ぶ
- 具体的で役立つ回答を選ぶ
- 有害でない回答を選ぶ
- 偏りのない回答を選ぶ
原則がコンテンツ評価に与える影響
これらの原則は、AI検索がコンテンツを引用する際の評価にも間接的に影響します。
「正確で誠実な回答」が優先されるため、根拠のない主張や誇大な表現を含むコンテンツは評価が低くなる傾向があります。 「具体的で役立つ回答」が優先されるため、抽象的な一般論よりも具体的なデータや手順を含むコンテンツが高く評価されます。
これは「根拠のない煽り表現を避け、具体的な数値と手順で書く」というコンテンツの基本原則と一致しています。
報酬モデルが評価する「品質」を分解する
テキスト要約の研究から見えること
Stiennon et al.（2020, OpenAI）の「Learning to summarize from human feedback」は、テキスト要約タスクにおける品質評価の要素を詳細に分析した研究です。
人間の評価者がテキスト要約の品質を判定する際に重視した要素は以下のとおりです。
忠実性——要約が元のテキストの内容を正確に反映しているか。 事実の歪曲や、元にない情報の追加は低評価になります。
網羅性——元のテキストの重要な情報が含まれているか。 重要な情報が抜け落ちていると低評価になります。
一貫性——文章が論理的に一貫しているか。 矛盾する記述や論理のつながりがない文の並列は低評価になります。
簡潔性——不必要な冗長さがないか。 同じ情報の繰り返しや本題と関係ない情報の挿入は低評価になります。
これらの評価基準は要約タスクに限定されるものではありません。 報酬モデルはこの種の人間の選好を汎化して学習するため、AI検索の出力全般に適用されます。
AI検索で引用されるコンテンツの特徴を整理する
上記の研究を総合すると、AI検索で高く評価されるコンテンツの特徴は以下のように整理できます。
| 評価軸 | 高評価の特徴 | コンテンツでの実践方法 |
|---|---|---|
| 直接性 | 質問に直接回答している | H2見出しで質問を提示し、直後に回答を配置する |
| 具体性 | 具体的な数値・事例を含む | 「効果がある」→「CVRが1.2%から2.4%に改善した」 |
| 根拠性 | 主張に根拠がある | データの出典、調査の方法論を明示する |
| 構造性 | 情報が整理されている | 表、リスト、見出し階層を活用する |
| 簡潔性 | 不必要な冗長さがない | 1段落3行以内、同じ情報の繰り返しを避ける |
| 正確性 | 事実に基づいている | 検証可能な情報のみを記述する |
| 誠実性 | 限界や前提条件を明示 | 「この結果はBtoB SaaS企業の事例に限られる」 |
AI検索の出力には「暗黙の順位」がある
AI検索の出力には、従来の検索エンジンのような明示的な順位リストがない場合があります。 しかし、暗黙の順位は存在します。
- 回答の冒頭で引用されるソースは、後半で引用されるソースより重要と判断されている
- 直接引用（具体的な数値や事実の引用）は、間接参照（「〜によると」程度の言及）より高い評価を示している
- 複数の質問に対して繰り返し引用されるソースは、報酬モデルの評価が高い傾向がある
ランキングに影響する要因の整理
学術研究と実務的な観察を総合すると、AI検索のランキングに影響する要因は以下のように整理できます。
影響が大きいと考えられる要因
- コンテンツの情報密度（テキストあたりの有用な情報量）
- 質問との意味的な適合度
- 情報の具体性と正確性
- コンテンツの構造化の度合い
影響が中程度と考えられる要因
- ドメインの権威性
- 情報の新しさ（更新日時）
- コンテンツの独自性
これらの推定は、RLHF研究が示す人間の選好パターンと、AI検索の実際の引用パターンの観察に基づいています。
「報酬ハッキング」を避ける——表面的な最適化の落とし穴
報酬モデルの評価基準を表面的に満たすだけで、実質的な価値がないコンテンツが高評価を得る可能性があります。 これは「報酬ハッキング」と呼ばれる問題です。
たとえば以下のようなケースです。
- 数値を含むが、その数値の根拠が不明確
- 構造化されているが、各項目の内容が薄い
- 具体的に見えるが、実際には汎用的な情報の言い換え
こうした手法は短期的には機能するかもしれませんが、報酬モデル自体が継続的に改善されるため、長期的には機能しなくなります。 本質的な価値のあるコンテンツを制作することが、GEO戦略としても最も持続的です。
実務チェックリスト
報酬モデルの評価基準に基づくコンテンツの品質チェックリストです。
| チェック項目 | 確認方法 | 修正の工数目安 |
|---|---|---|
| 各H2セクションが質問に直接回答しているか | セクション冒頭の1-2文を確認 | 1セクションあたり10分 |
| 抽象的な主張に具体的な数値・事例があるか | 「重要」「効果的」等の形容詞を検索 | 1記事あたり30分 |
| 主張に根拠（出典、データ）が付いているか | 各段落の根拠を確認 | 1記事あたり20分 |
| 情報が表・リストで構造化されているか | 3項目以上の列挙がないか確認 | 1記事あたり15分 |
| 同じ情報の繰り返しがないか | 記事全体を通読 | 1記事あたり15分 |
| 限界・前提条件が明示されているか | 対象読者・条件の記述を確認 | 1記事あたり10分 |
まとめ
AI検索のランキングは、RLHFによって訓練された報酬モデルが決定しています。 報酬モデルは人間の選好を学習しており、「具体的で、根拠があり、構造化されていて、質問に直接回答している」コンテンツを高く評価します。
この知見は、Ouyang et al.（2022）、Bai et al.（2022）、Stiennon et al.（2020）といった学術研究に基づいています。
コンテンツ制作者にとっての示唆は明確です。 抽象的な主張を具体的な数値に置き換える。 根拠のない意見を出典付きの事実に置き換える。 構造化されていない長文を、見出し・表・リストで整理する。
これらは「AI検索のための最適化」であると同時に、「読者にとって有用なコンテンツの制作」でもあります。 報酬モデルの評価基準と読者の期待は、本質的に一致しています。
参考文献
- Ouyang, L. et al. (2022). “Training language models to follow instructions with human feedback.” OpenAI. NeurIPS 2022.
- Bai, Y. et al. (2022). “Constitutional AI: Harmlessness from AI Feedback.” Anthropic. arXiv:2212.08073.
- Liu, T.-Y. (2009). “Learning to Rank for Information Retrieval.” Microsoft Research. Foundations and Trends in Information Retrieval.
- Stiennon, N. et al. (2020). “Learning to summarize from human feedback.” OpenAI. NeurIPS 2020.