サイトのクロール制御をテンプレートで行う - robots.txt の作成
サイトのクロール制御をテンプレートで行うには、robots.txt を記述したテンプレートを作成する方法があります。
robots.txt を記述できるテンプレートは、システムテンプレートで作成できます。
robots.txt を記述できるシステムテンプレートを作成する
- ダッシュボード に表示されるウェブサイトとブログ一覧から、ウェブサイト名をクリックする
- 左サイドバーの [デザイン] - [テンプレート] をクリックする
- 「システムテンプレート」項目の [+robots.txt ] をクリックする
例えば、「PDF ファイルを検索対象から除外したい」という場合、以下のソースコードを利用してください。
PDF ファイルを検索対象から除外する
User-agent: Googlebot Disallow: /*.pdf$