概要
Googleアドセンスに挑戦するため登録しようと思ったら、サイトマップが送信エラー。サーバーにはちゃんと『sitemap.xml』をアップしているのにロボットが認識してくれませんでした。URL検査の画面で確認してみると、クロールエラーで『インデックス登録されていません』となっていました。
一度目の登録時は成功したのに、二度目の登録時に失敗したので同じエラーのかたがいれば設定方法を参考にしてみてください。
ただし、自己責任でお願いします。
問題発生時の環境
問題がなかった一度目の環境と問題が出た二度目の環境は以下の通りです。
問題がなかった一度目
サーバー：スターサーバーFree（無料プラン）
ドメイン：スターサーバーFreeのドメイン（○○.starfree.jp/)
問題があった二度目
サーバー：スターサーバーFree（無料プラン）※一度目と同じ
ドメイン：お名前.comで取得したドメイン
状況
まずはエラー時の画面です。
なぜかネット上のほかのかたと違って赤いマークではなくグレーのマーク。エラーの内容も『クロールエラー』となっているのに、クロールを許可？のところが『はい』となっていて、ページの取得も成功。
さらに、インデックス登録を許可？のところが『いいえ』でグレーの逆感嘆符（ぎゃくかんたんふ）マーク。
サイトはウェブで検索＆表示可能です。モバイルフレンドリーテストで調べてもちゃんと結果が表示されました。
ネット上ではこの状況の人は見つけられませんでした。
気になった点
モバイルフレンドリーテストで調べた結果のところに『一部のページでrobotsがブロックされました。』とありました。
『robots.txt』をアップした覚えがないのでウェブで調べると、「ファイルとしては存在しないけどデフォルトの設定データはサーバー側で持っていてそれを読みに行く」「ただし、ユーザーが設置した場合はそちらを優先して読む」とあったので、自分で作って設置することにしました。
解決方法
robots.txt ファイルの作り方
➊ウィンドウズのアプリ（ソフト）でメモ帳を開いて名前を『robots』として robots.txt を作る
➋以下のように記述する
User-Agent: * Disallow: Sitemap: http://○○○○.○○/sitemap.xml
『User-Agent: *』で、どのクローラーもおいでと指定し『Disallow:』で巡回させたくないファイルをクローラーが巡回しないように指定しています。上記は空白なので、巡回させたくないファイルはありませんと指定しています。『sitemap: サイトマップのアドレス』はここにサイトマップがありますよと指定してます。
※自分のサイトマップのアドレスを記述してください。サイトが https:// ならそのように。
➌サイト（サーバー）のトップディレクトリに設置。
動作確認
私はこれで再度、Googleサーチコンソールでサイトマップを送信したら成功しました。
続いてURL検査で『インデックス登録をリクエスト』してみると、それも無事成功しました。
まとめ
サーバーのデフォルト設定はこちらで分かりませんので、契約するサーバーやプラン、ドメインが自社か他社かによって動作が変わってしまうのかもしれません。
クロールエラーが発生する場合は一度『robots.txt』を確認してみてはどうでしょう。もし、ファイルが見つからない場合は、私と同じ症状かもしれませんがあくまで自己責任で。
コメント