カテゴリー
WordPress

[Synology] WordPress/robots.txtの設定が不良で新版Google Search Consoleで”ブロックされている”と表示される件 – ID1474 [2019/08/24]

[Synology] WordPress/robots.txtの設定が不良で新版Google Search Consoleで”ブロックされている”と表示される件 – ID1474 [2019/08/24]
スポンサーリンク
  • by Google Ads ID23293
  • by Google Ads ID24747
  • by Google Ads ID:11145
スポンサーリンク
by Google Ads ID8603

robots.txtの問題

自前のSynology NASWordPressを立ち上げている場合で、SEO pluginにrobots.txtを設定しているにもかかわらず、Google Search Consoleでrobots.txtでブロックされている、と警告が出ていた。

この問題は、約半年の間冷やしたり、温めたりして、問題解決を素人なりに模索していました。

当サイトの場合、以下のアドレスを表示させるとrobots.txtの内容が確認できるらしい事がわかったので、以下のアドレスをChromeで表示してみました。

結果は、正にブロックされていることが分かりました。「Disallow: /」がそれです。ルート以下が許可されていませんでした。

https://harikiri.diskstation.me/robots.txt

User-agent: *
Disallow: /

ですが、当サイトでは、もう一つ下の階層”myblog”にblogを設置しているので、Chromeで以下のアドレスを表示してみたが、ファイルが無いと吐かれました。

注意

この記事を書いている時期は、サプディレクトの「myblog」以下にサイトを構築していました。2020/04現在では、Redirectionプラグインで、このサブディレクトは、必要なくなりました。
https://harikiri.diskstation.me/ でOKです。

https://harikiri.diskstation.me/myblog/robots.txt -> “ファイルがない、とのメッセージ”

以上の結果は、All in One SEOで設定した内容が、なぜか何処にも正しい設定内容で、且つ、正しいフォルダ位置に反映されていないという事です。

スポンサーリンク
by Google Ads ID8603
スポンサーリンク
  • Synology DS517 by Amazon ID:22173
  • Synology DS920+ by Amazon ID:22172
  • オムロン BY50S用パック by Amazon ID:22171
  • オムロン BY50S by Amazon ID22170
  • Synology 高機能無線ルーター 800Mbps + 1,733Mbps(11a/b/g/n/ac対応) 高セキュリティ VPN Plus対応 RT2600ac by Amazon ID24327
  • エレコム LANケーブル CAT6A 5m 爪折れ防止コネクタ ホワイト LD-GPA/WH5 by Amazon ID24327

自前でrobots.txtを用意

スポンサーリンク
by Rakuten ID:15895

仕方がないので、robots.txtを自前で用意して、今は分からない何処かのフォルダーに設置するこにしました。

アクセス権が正しい「robots.txt」雛形ファイルを作る

自前で保管する場合、心配になるのがアクセス権の設定です。この問題は、WordPress用のPluginであるYoast SEOを使用しましたた。robots.txtを記述して保管する機能があります。

その後、Yoast SEOは役割を終えましたので停止させました。

robots.txtを配置する

作成したrobots.txtは、ルート以下「/」と、サブディレクトリ以下「/myblog/」に作成した同じrobots.txtファイルを配置しました。後から不要な一方は削除する予定。

Googleにクロールさせる

色々ググってみると、旧版のGoogle Search Consoleなるものがあって(新版Google Search Consoleの左メニューの一番下に「以前のバージョンに戻す」があり、これが旧版)、そこには、左メニューに「クロール」-> robots.txtテスターなるものがあります。

これを使用して、以下、robots.txtの内容をGoogleに知らせることができます。更に、新版からインデックスできるように設定することができました。

スポンサーリンク
by Google Ads ID19417

インデックスの試行錯誤は、以下の試行錯誤を行いました。

robots.txtの解決

編集

以上のように、当サイトには2つのフォルダにrobots.txtが存在する状態で、以下の旧版Google Search Consoleを使用して問題解決を進めた。

旧版Google Search Consoleのrobotsテスターでテストする場合,実サイトには修正したrobots.txtを配置しているのに,再読み込みをしてくれない。よって,robotsテスターを実行しても、以前の内容のままなのでエラーになる。

そこで,旧版Google Search Console -> クロール -> robots.txt -> “robots.txtの内容が表示される”。この内容を直に編集する。横にあるリンク”公開済みのrobots.txtを表示する”で実サイトのrobots.txtの内容を表示できるので、この内容をコピぺしてもいい。

送信

その後、送信ボタンを押すと、ダイアログが表示される。以下の”3. Googleに更新リクエスト”について送信ボタンを押す。

1. 更新されたコードのダウンロード

2. アップロードされたバージョンを確認

3. Googleに更新をリクエスト

ダイアログのでダイアログを消し、その下のテスト・ボタン(Googlebotを選択した状態)を押す -> テスト・ボタンは”許可済み”の表示となる。

URL検査

新版から”URL 検査”を実行すると,これまでは,15秒程度で”robots.txtがブロックしている”とのエラーが出ていたものが,今回の操作のあとは,検査の実行後に、その結果が返ってくるまでの時間が、明らかに伸びてインデックス処理をしている感触があった。その結果、以下のように、半年間進展がなかった懸案が、以下、表示されたように進展をみることができた。

新版Google Search Console -> URL検査 -> サイトのアドレスを入れて、実行

URLはGoogleに登録できますが、問題があります・・・”やっと登録できた。うれしい^^”

登録の可否 : URLはインデックスに登録できます・・・”やったぞ,やっとだ.やってやった”

その後、「インデックス登録をリクエスト」を実行した。しばらくすると、上記の表示は以下のように変化した。

URLはGoogleに登録されています。・・・”あはぁ”

カバレッジ: インデックスは登録されましたが、サイトマップに送信していません”・・・”もうすこしだ”

以上で,Robots.txt問題は,とりあえず次のステップへと進む.

to be continue.

スポンサーリンク
  • Synology DiskStation DS918+ [クアッドコアCeleron J3455 1.5GHz CPU搭載] 4ベイNASキット by AMAZON – ID14279
  • Synology DX517 (拡張スロット) by AMAZON – ID14329
  • WD RED 8TB HDD by AMAZON – ID14304
  • WD 内蔵 SSD M.2 2280 / WD BLACK SN750 NVMe 500GB / WDS500G3X0C by AMAZON – ID14311
編集履歴
2019/08/24 Mr.Harikir
2020/04/24 文言整備
2020/10/04 編集履歴追加 (読み返して、GoogleにIndexできたのが、2019/08/24であったことを思い出した。それまで6ヶ月は泣かず飛ばすで、誰も訪問者が来なかったことを思い出した)
スポンサーリンク
  • by Amazon ID13339
  • by Amaozn ID13196
スポンサーリンク
  • 【Amazon.co.jp 限定】HP USBメモリ 128GB USB 3.1 スライド式 金属製 HPFD796L-128 GJP by Amazon - ID 24751
  • 3Dプリンター ダヴィンチ Jr. 1.0(造形サイズ15×15×15cm) - 環境に優しい土に返るPLAフィラメント - ダビンチ Jr. 1.0 XYZプリンティングジャパン by AMAZON ID21513
  • 3Dプリンター|ダヴィンチ1.0 pro|オートキャリブレーション機能付|オープンフィラメント可|ABS対応|造形サイズ20×20×20cm|レーザー刻印機能拡張可|積層ピッチ0.02mm~|3F1AWXJP00F - XYZプリンティングジャパン by AMAZON ID21511
  • ABS使用可 造形サイズ175×175×175mm オープンフィラメント可 オートキャリブレーション機能付き レーザー刻印機能拡張可 金属系PLA拡張可 3FJSPXJP00G - ダビンチ Jr.Pro X+ XYZプリンティングジャパン by AMAZON ID21509
  • zedela 5-in-1 USB-Cハブ【3ポート5Gbps by Amazon - ID 24751
スポンサーリンク

用語の解説、関連タグ付き投稿の抽出

Google Search Concole

NAS

[WordPress] 2020年初心者ガイダンス・WordPressを構築し快適に運用するための必須プラグイン一覧 (2020/03/10現在) – ID10673
[Data Link] NASとは何ですか? by Synology – ID9090
[WordPress] Google AdSense登録の手順 ID8940 [2020/08/24]
[WordPress] アバターを作る方法 – Gravatar – ID8936 [2020/02/09]
Synology NASのセキュリティを強化する方法のリンク – ID8870
[WordPress] 初期設定でblogサイトに作ってしまったサブディレクトリを外す方法 – Google AdSenseには、サブディレクトリは不要 – ID8814

robots.txt

[Synology] WordPress/robots.txtの設定が不良で新版Google Search Consoleで”ブロックされている”と表示される件 – ID1474 [2019/08/24]

Synology

[Data Link] NASとは何ですか? by Synology – ID9090
[WordPress] Google AdSense登録の手順 ID8940 [2020/08/24]
[WordPress] アバターを作る方法 – Gravatar – ID8936 [2020/02/09]
Synology NASのセキュリティを強化する方法のリンク – ID8870
[WordPress] 初期設定でblogサイトに作ってしまったサブディレクトリを外す方法 – Google AdSenseには、サブディレクトリは不要 – ID8814
[WordPress] Flex Posts – Widget and Gutenberg Block プラグイン – Gutenberg エディター対応 – ID8804

自宅

[WordPress] Google AdSense登録の手順 ID8940 [2020/08/24]
[WordPress] アバターを作る方法 – Gravatar – ID8936 [2020/02/09]
Synology NASのセキュリティを強化する方法のリンク – ID8870
[WordPress] Flex Posts – Widget and Gutenberg Block プラグイン – Gutenberg エディター対応 – ID8804
ブログにおけるプライバシーポリシーが必要となったとき – ID8229
[WordPress] 遅延読込プラグイン比較 – (1)Lazy Loader, (2)Lazy Load, (3)a3 Lazy Load (2020) – ID8071 [2020/01/27]

設定

[Synology] WordPress/robots.txtの設定が不良で新版Google Search Consoleで”ブロックされている”と表示される件 – ID1474 [2019/08/24]
スポンサーリンク
  • by Google Ads ID23293
  • by Google Ads ID24747
  • by Google Ads ID:11145
スポンサーリンク
by Google Ads ID8603

Update ID21920

anime
[アニメ] 真月譚 月姫; しんげつたん つきひめ (2003) – 当時の人気ゲーム「月姫」が原作らしい – ID26966 [2021/01/28]

Post Views: 21 真月譚 月姫(しんげつたん つきひめ) 2003年のアニメ作品です。2003年当時のことを思い起こしながら試聴しました。当時人気のゲーム「月姫」が原作らしいです。僕自身は何をしてい […]

HEALTH, kidney
[健康] 血中クレアチニン(Cr)濃度とeGFR /関連表の理解と腎機能の閾値 – eGFRはCr/年齢/性別で計算 – ID27337 [2021/01/28]

Post Views: 20 目次1 はじめに2 血中クレアチニンでeGFRを計算3 計算された簡易表4 編集履歴 はじめに 高尿酸血症は、痛風につながります。痛風を持っていると腎臓の機能にも影響すると言われています。痛 […]

company, gene-therapy
気になる企業: IDファーマ – センダイウイルス・ベクターの技術で希少疾患に対する遺伝子治療薬の開発を進める – ID27360 [2021/01/30]

Post Views: 23 目次1 IDファーマ2 アイロムグループの概要3 編集履歴 IDファーマ 株式会社IDファーマは、CROなどを手がけるアイロムグループの100%小会社で、先端医療関連の開発を担う。センダイウ […]

スポンサーリンク
by Google Ads ID19417

更新された投稿の最新順

スポンサーリンク
  • by Amazon ID13211
  • by Amazon ID19245
スポンサーリンク

スポンサーリンク
  • by Google Ads ID23293
  • by Google Ads ID24747
  • by Google Ads ID:11145
スポンサーリンク
by Google Ads ID8603

最新記事(WordPress, ID:14681)

plugin, site setting, WordPress
Plugin Maintenance – AMPサイトでのプラグインの運用評価を記録 – ID28378 [2021/04/04]

Post Views: 7 All in One SEOプラグイン (2021/03/13) メタディスクリプション記述のみに使用していたが、このプラグインから依存を完全になくすために、まずは、その記述内容を抜き出し、W […]

スポンサーリンク
by Google Ads ID19417
site setting, WordPress
[Synology] DS920+のblog server – 15時間のアクセス普通について、今回の原因とは、そしてその対応 – ID27934 [2021/02/22]

Post Views: 19 目次1 はじめに2 対応した作業3 編集履歴 はじめに なぜか、RT2600acのポート転送にWeb Serverへの設定が消えていたことで、HARIKIRI-INSIGHTのBlogへのア […]

adsense, plugin, WordPress
[WordPress] CLS; Cumulative Layout Shift – 2021/03からGoogle検索評価のスコアに加わる – ID26235 [2020/12/23]

Post Views: 17 目次1 はじめに2 Cumulative Layout Shift3 ページのレスポンスを測定するツールサイト4 編集履歴5 関連記事 はじめに 当サイトを立ち上げた頃には、もっぱらplug […]

plugin, WordPress
[WordPress] Widget Logic プラグイン – ID26082 [2020/12/17]

Post Views: 19 目次1 Widget Logicプラグイン2 条件の例 Widget Logicプラグイン 2020/12現在、updateがされておらず、WordPress の最新Version ではテス […]

security, WordPress
[WordPress] AMP対応化で、使用しているその他のプラグインによるエラーが出ないようにするために – プラグイン別 [2020/11/16] ID24858

Post Views: 18 目次1 はじめに2 基本的な設定方法3 WordPress プラグイン別3.1 Content of Table Plus はじめに AMPプラグインをインストールしている場合、投稿/ページ […]

Page: 1 2 23
スポンサーリンク

スポンサーリンク
  • by Google Ads ID24747
  • by Google Ads ID23293
  • by Google Ads ID:11145
スポンサーリンク
by Google Ads ID8603

その他記事(ALL-RANDOM, ID:16786)

KNOWLEDGE
[Kw] 青いカーネーションは遺伝子組換え技術でアントシアニンの中でも最も青いデルフィニン(デルフィニジン)を導入して作られている、花き研究所 @農研機構より – ID3304 [2019/11/16]

Post Views: 15 花き研究所 @農研機構より もともと、バラやカーネーションは、真っ青のデルフィニジン遺伝子を持っていない。

cafe, hotel, lounge, TRIP
[ホテル] 2020 – ザ リッツ・カールトン京都、The Lobby Loungeに行ってきた – ID13406 [2020/04/13]

Post Views: 16 目次1 ザ・リッツ・カールトン京都2 駐車3 フォト3.1 導入部3.2 ロビー3.3 The Lobby Lounge3.4 ラウンジ3.5 食事4 まとめ ザ・リッツ・カールトン京都 外 […]

スポンサーリンク

スポンサーリンク
by Google Ads ID:11143(2)

- 以下のツールに敬意を示します -
Support to AMP (Accelerated Mobile Pages) by official AMP plugin for WordPress, and compatible powered by
Post viewing : Flex Posts - Widget and Gutenberg Block