タグ: robots.txt

robots.txtの問題

自前のSynology NASにWordPressを立ち上げている場合で、SEO pluginにrobots.txtを設定しているにもかかわらず、Google Search Consoleでrobots.txtでブロックされている、と警告が出ていた。

この問題は、約半年の間冷やしたり、温めたりして、問題解決を素人なりに模索していました。

当サイトの場合、以下のアドレスを表示させるとrobots.txtの内容が確認できるらしい事がわかったので、以下のアドレスをChromeで表示してみました。

結果は、正にブロックされていることが分かりました。「Disallow: /」がそれです。ルート以下が許可されていませんでした。

https://harikiri.diskstation.me/robots.txt

User-agent: *
Disallow: /

ですが、当サイトでは、もう一つ下の階層”myblog”にblogを設置しているので、Chromeで以下のアドレスを表示してみたが、ファイルが無いと吐かれました。

https://harikiri.diskstation.me/myblog/robots.txt -> “ファイルがない、とのメッセージ”

以上の結果は、All in One SEOで設定した内容が、なぜか何処にも正しい設定内容で、且つ、正しいフォルダ位置に反映されていないという事です。

自前でrobots.txtを用意

仕方がないので、robots.txtを自前で用意して、今は分からない何処かのフォルダーに設置するこにしました。

1. アクセス権が正しい「robots.txt」雛形ファイルを作る

自前で保管する場合、心配になるのがアクセス権の設定です。この問題は、WordPress用のPluginであるYoast SEOを使用しましたた。robots.txtを記述して保管する機能があります。

その後、Yoast SEOは役割を終えましたので停止させました。

2. robots.txtを配置する

作成したrobots.txtは、ルート以下「/」と、サブディレクトリ以下「/myblog/」に作成した同じrobots.txtファイルを配置しました。後から不要な一方は削除する予定。

3. Googleにクロールさせる

色々ググってみると、旧版のGoogle Search Consoleなるものがあって(新版Google Search Consoleの左メニューの一番下に「以前のバージョンに戻す」があり、これが旧版)、そこには、左メニューに「クロール」-> robots.txtテスターなるものがあります。

これを使用して、以下、robots.txtの内容をGoogleに知らせることができます。更に、新版からインデックスできるように設定することができました。

インデックスの試行錯誤は、以下の試行錯誤を行いました。

4. robots.txtの解決

編集

以上のように、当サイトには2つのフォルダにrobots.txtが存在する状態で、以下の旧版Google Search Consoleを使用して問題解決を進めた。

旧版Google Search Consoleのrobotsテスターでテストする場合，実サイトには修正したrobots.txtを配置しているのに，再読み込みをしてくれない。よって，robotsテスターを実行しても、以前の内容のままなのでエラーになる。

そこで，旧版Google Search Console -> クロール -> robots.txt -> “robots.txtの内容が表示される”。この内容を直に編集する。横にあるリンク”公開済みのrobots.txtを表示する”で実サイトのrobots.txtの内容を表示できるので、この内容をコピぺしてもいい。

送信

その後、送信ボタンを押すと、ダイアログが表示される。以下の”3. Googleに更新リクエスト”について送信ボタンを押す。

1. 更新されたコードのダウンロード

2. アップロードされたバージョンを確認

3. Googleに更新をリクエスト

ダイアログの✖️でダイアログを消し、その下のテスト・ボタン(Googlebotを選択した状態)を押す -> テスト・ボタンは”許可済み”の表示となる。

5. URL検査

新版から”URL 検査”を実行すると，これまでは，15秒程度で”robots.txtがブロックしている”とのエラーが出ていたものが，今回の操作のあとは，検査の実行後に、その結果が返ってくるまでの時間が、明らかに伸びてインデックス処理をしている感触があった。その結果、以下のように、半年間進展がなかった懸案が、以下、表示されたように進展をみることができた。

新版Google Search Console -> URL検査 -> サイトのアドレスを入れて、実行

✅URLはGoogleに登録できますが、問題があります・・・”やっと登録できた。うれしい^^”

✅登録の可否 : URLはインデックスに登録できます・・・”やったぞ，やっとだ．やってやった”

その後、「インデックス登録をリクエスト」を実行した。しばらくすると、上記の表示は以下のように変化した。

✅URLはGoogleに登録されています。・・・”あはぁ”

✅カバレッジ: インデックスは登録されましたが、サイトマップに送信していません”・・・”もうすこしだ”

以上で，Robots.txt問題は，とりあえず次のステップへと進む．

to be continue.

編集履歴

2019/08/24 Mr.Harikir
2020/04/24 文言整備
2020/10/04 編集履歴追加 (読み返して、GoogleにIndexできたのが、2019/08/24であったことを思い出した。それまで6ヶ月は泣かず飛ばすで、誰も訪問者が来なかったことを思い出した)