お問い合わせ

AI検索で自社のコンテンツが引用されるかどうかは、情報の正確さだけでは決まりません。 文章の書き方やページの構造が、AIの「好み」に合っているかどうかが大きく影響します。

この「好み」は、AIが学習したデータの偏りから生まれています。 LLMの学習データには、Web上のすべてのコンテンツが均等に含まれているわけではなく、特定の文体・形式が多く含まれ、別の文体は除外されています。

この偏りを理解すると、AI検索で引用されやすいコンテンツの設計指針が見えてきます。

LLMの学習データはどこから来るのか

Common Crawl——Webの縮図

現在の主要なLLMの学習データは、大部分がCommon Crawlというプロジェクトから取得されています。 Common Crawlは2008年からWeb全体を継続的にクロールし、そのデータをオープンに公開しています。

毎月30〜50億ページをクロールし、累計でペタバイト規模のデータを蓄積しています。 ただし、この生データがそのまま学習に使われることはほとんどありません。 大量のフィルタリング・重複排除・品質評価を経て、はじめて学習用のデータセットが構築されます。

C4——Googleのフィルタリング基準

GoogleのRaffel et al.（2020年）がT5モデルの学習用に構築したC4（Colossal Clean Crawled Corpus）では、Common Crawlに対して以下のフィルタリングが適用されました（JMLR 2020）。

このフィルタリングの結果、約750GBのテキストデータが残りました。 しかし後にこのプロセスには重大な偏りがあることが指摘されています。

The Pile——意図的に「高品質」の比率を引き上げる

EleutherAIのGao et al.（2020年）が構築したThe Pileは、約800GBの多様なテキストデータセットです。 22の異なるソースを組み合わせて構成されており、主要なソースと容量は以下の通りです。

この構成を見ると、学術論文・書籍・Wikipedia・Stack Exchangeの比率が、Web全体におけるこれらのコンテンツの比率よりも大幅に高いことが分かります。 意図的に「高品質」とみなされるコンテンツの比率を引き上げているのです。

学習データに「残るコンテンツ」と「除外されるコンテンツ」

Dodge et al.の発見——学習データの偏りを可視化する

AI2（Allen Institute for AI）のDodge et al.（2021年）は、C4コーパスの中身を詳細に分析した重要な研究です（EMNLP 2021）。 この研究は、C4に「何が含まれ、何が除外されているか」を体系的に可視化した初めての大規模調査でした。

発見されたドメイン分布の偏りは顕著でした。 上位10ドメインがC4全体の約15%を占めており、特にpatents.google.com（特許文書）やen.wikipedia.org（Wikipedia英語版）の比率が高いことが確認されました。

除外されやすいコンテンツの特徴

一方、以下のタイプのコンテンツは学習データから除外されやすい傾向にありました。

マーケティング目的のコンテンツがフィルタリングで除外されやすいという点は、コンテンツ戦略を考えるうえで見逃せないポイントです。

「bad words」フィルタの副作用

C4では不適切な語句を含むページを丸ごと除外する「bad words」リストが使用されていました。 Dodge et al.は、このフィルタに意図しない副作用があることを指摘しています。

たとえば、性教育やヘルスケアに関する正当なコンテンツが、特定の語句を含んでいるために除外されるケースが確認されました。 特定のトピックで情報が偏る原因のひとつです。

AIに学習されやすい文体の4つの特徴

上記の分析から、LLMの学習データに多く含まれる文体の特徴が見えてきます。

百科事典的な解説文

Wikipedia形式の客観的な記述は、学習データに最も多く含まれるスタイルのひとつです。 主張を述べる際に根拠を添え、事実とそれ以外を区別して書く文体です。

「○○は効果的です」ではなく、「○○は△△の調査で□□%の効果が確認されている（出典）」と書くことで、学習データに含まれるパターンと一致しやすくなります。

学術論文の文体

構造化された論証、引用付きの主張、セクションごとに主題が明確な構造。 LLMが「○○という研究によると」「○○大学の研究チームが示したところでは」といった表現を好む傾向は、学術コンテンツの学習比率の高さに起因しています。

ニュース記事の逆ピラミッド構造

結論を先に述べ、詳細を後に続ける構造です。 ニュース記事の文体は学習データに大量に含まれており、LLMはこのパターンに慣れています。

また、この構造はTransformerの注意機構が冒頭の情報に高い注意を割り当てやすいこととも一致します。

技術文書の明確な構造

手順・仕様・定義を明確に記述する形式です。 見出し・リスト・テーブルを活用し、情報の構造を明示するスタイルが該当します。

AI検索で引用されにくい文体

逆に、以下のタイプのコンテンツは学習データにおいて過少に含まれるか、品質フィルタで除外されやすい傾向があります。

これらのコンテンツは品質フィルタで「低品質」と判定されやすく、学習データから除外される確率が高いです。

FineWebが示す最新のフィルタリング基準

Hugging FaceのPenedo et al.（2024年）は、Common Crawlから高品質なテキストを抽出するための新しいフィルタリングパイプラインを「The FineWeb Datasets」として発表しました。

FineWebでは、以下の品質シグナルが使用されています。

これらのフィルタにより、「情報密度が高く、独自の記述を持つテキスト」が優先的に残り、「定型的で情報量の少ないテキスト」が除外されます。 情報密度とは、テキストの量に対する新規情報の比率のことです。

実務で使えるコンテンツ設計のポイント

フィルタで除外されない表現を使う

品質フィルタで除外されやすい表現パターンを避け、残りやすいパターンで書くことが基本です。

避けるべき表現

推奨される表現

情報密度を高める

FineWeb（Penedo et al., 2024）のフィルタリング基準が示すように、情報密度の高いテキストが学習データに残りやすい傾向があります。 以下の方法で情報密度を高められます。

コンテンツの独自性を確保する

重複排除はすべての主要な学習データ構築パイプラインで行われています。 他サイトのコンテンツを流用したり、テンプレートで大量生成したりしたコンテンツは、重複として検出されやすいです。

独自の調査データ、自社の事例、独自の分析視点を含むコンテンツは、重複排除後も学習データに残りやすくなります。 これは従来のSEOにおける「オリジナルコンテンツ」の重要性と一致する方向です。

日本語コンテンツで意識すべき点

日本語のLLM学習データは、英語に比べて規模が小さいです。 Common Crawlにおける日本語テキストの比率は全体の約5%程度とされています。

日本語の学習データで多く含まれるドメインとしては、以下が挙げられます。

日本語コンテンツでは、以下の点を意識すると効果的です。

まとめ

LLMの学習データは、Web全体の均等なサンプルではなく、特定の偏りを持つフィルタリング済みのデータセットです。 Dodge et al.（2021年）の研究により、この偏りが可視化され、どのタイプのコンテンツが含まれ、どのタイプが除外されるかが明らかになっています。

AI検索で引用されやすいコンテンツを作るためのポイントは以下の通りです。

これらの施策は、「AIに学習されやすいコンテンツを書く」というよりも、「読者にとって情報価値の高いコンテンツを、機械にも読みやすい形で提供する」ことと同義です。 学習データの偏りを理解することは、その方向性を裏付ける知識になります。