カテゴリー
WordPress

[Synology] WordPress/robots.txtの設定が不良で新版Google Search Consoleで”ブロックされている”と表示される件 – ID1474 [2019/08/24]

[Synology] WordPress/robots.txtの設定が不良で新版Google Search Consoleで”ブロックされている”と表示される件 – ID1474 [2019/08/24]
スポンサーリンク
  • by Google Ads ID:11145
  • by Google Ads ID24747
  • by Google Ads ID23293
スポンサーリンク
by Google Ads ID8603

robots.txtの問題

自前のSynology NASWordPressを立ち上げている場合で、SEO pluginにrobots.txtを設定しているにもかかわらず、Google Search Consoleでrobots.txtでブロックされている、と警告が出ていた。

この問題は、約半年の間冷やしたり、温めたりして、問題解決を素人なりに模索していました。

当サイトの場合、以下のアドレスを表示させるとrobots.txtの内容が確認できるらしい事がわかったので、以下のアドレスをChromeで表示してみました。

結果は、正にブロックされていることが分かりました。「Disallow: /」がそれです。ルート以下が許可されていませんでした。

https://harikiri.diskstation.me/robots.txt

User-agent: *
Disallow: /

ですが、当サイトでは、もう一つ下の階層”myblog”にblogを設置しているので、Chromeで以下のアドレスを表示してみたが、ファイルが無いと吐かれました。

注意

この記事を書いている時期は、サプディレクトの「myblog」以下にサイトを構築していました。2020/04現在では、Redirectionプラグインで、このサブディレクトは、必要なくなりました。
https://harikiri.diskstation.me/ でOKです。

https://harikiri.diskstation.me/myblog/robots.txt -> “ファイルがない、とのメッセージ”

以上の結果は、All in One SEOで設定した内容が、なぜか何処にも正しい設定内容で、且つ、正しいフォルダ位置に反映されていないという事です。

スポンサーリンク
  • Synology DS517 by Amazon ID:22173
  • Synology DS920+ by Amazon ID:22172
  • オムロン BY50S用パック by Amazon ID:22171
  • オムロン BY50S by Amazon ID22170
  • Synology 高機能無線ルーター 800Mbps + 1,733Mbps(11a/b/g/n/ac対応) 高セキュリティ VPN Plus対応 RT2600ac by Amazon ID24327
  • エレコム LANケーブル CAT6A 5m 爪折れ防止コネクタ ホワイト LD-GPA/WH5 by Amazon ID24327

自前でrobots.txtを用意

スポンサーリンク
by Rakuten ID:15895

仕方がないので、robots.txtを自前で用意して、今は分からない何処かのフォルダーに設置するこにしました。

アクセス権が正しい「robots.txt」雛形ファイルを作る

自前で保管する場合、心配になるのがアクセス権の設定です。この問題は、WordPress用のPluginであるYoast SEOを使用しましたた。robots.txtを記述して保管する機能があります。

その後、Yoast SEOは役割を終えましたので停止させました。

robots.txtを配置する

作成したrobots.txtは、ルート以下「/」と、サブディレクトリ以下「/myblog/」に作成した同じrobots.txtファイルを配置しました。後から不要な一方は削除する予定。

Googleにクロールさせる

色々ググってみると、旧版のGoogle Search Consoleなるものがあって(新版Google Search Consoleの左メニューの一番下に「以前のバージョンに戻す」があり、これが旧版)、そこには、左メニューに「クロール」-> robots.txtテスターなるものがあります。

これを使用して、以下、robots.txtの内容をGoogleに知らせることができます。更に、新版からインデックスできるように設定することができました。

インデックスの試行錯誤は、以下の試行錯誤を行いました。

robots.txtの解決

編集

以上のように、当サイトには2つのフォルダにrobots.txtが存在する状態で、以下の旧版Google Search Consoleを使用して問題解決を進めた。

旧版Google Search Consoleのrobotsテスターでテストする場合,実サイトには修正したrobots.txtを配置しているのに,再読み込みをしてくれない。よって,robotsテスターを実行しても、以前の内容のままなのでエラーになる。

そこで,旧版Google Search Console -> クロール -> robots.txt -> “robots.txtの内容が表示される”。この内容を直に編集する。横にあるリンク”公開済みのrobots.txtを表示する”で実サイトのrobots.txtの内容を表示できるので、この内容をコピぺしてもいい。

送信

その後、送信ボタンを押すと、ダイアログが表示される。以下の”3. Googleに更新リクエスト”について送信ボタンを押す。

1. 更新されたコードのダウンロード

2. アップロードされたバージョンを確認

3. Googleに更新をリクエスト

ダイアログのでダイアログを消し、その下のテスト・ボタン(Googlebotを選択した状態)を押す -> テスト・ボタンは”許可済み”の表示となる。

URL検査

新版から”URL 検査”を実行すると,これまでは,15秒程度で”robots.txtがブロックしている”とのエラーが出ていたものが,今回の操作のあとは,検査の実行後に、その結果が返ってくるまでの時間が、明らかに伸びてインデックス処理をしている感触があった。その結果、以下のように、半年間進展がなかった懸案が、以下、表示されたように進展をみることができた。

新版Google Search Console -> URL検査 -> サイトのアドレスを入れて、実行

スポンサーリンク
by Google Ads ID19417

URLはGoogleに登録できますが、問題があります・・・”やっと登録できた。うれしい^^”

登録の可否 : URLはインデックスに登録できます・・・”やったぞ,やっとだ.やってやった”

その後、「インデックス登録をリクエスト」を実行した。しばらくすると、上記の表示は以下のように変化した。

URLはGoogleに登録されています。・・・”あはぁ”

カバレッジ: インデックスは登録されましたが、サイトマップに送信していません”・・・”もうすこしだ”

以上で,Robots.txt問題は,とりあえず次のステップへと進む.

to be continue.

スポンサーリンク
  • Synology DiskStation DS918+ [クアッドコアCeleron J3455 1.5GHz CPU搭載] 4ベイNASキット by AMAZON – ID14279
  • Synology DX517 (拡張スロット) by AMAZON – ID14329
  • WD RED 8TB HDD by AMAZON – ID14304
  • WD 内蔵 SSD M.2 2280 / WD BLACK SN750 NVMe 500GB / WDS500G3X0C by AMAZON – ID14311
編集履歴
2019/08/24 Mr.Harikir
2020/04/24 文言整備
2020/10/04 編集履歴追加 (読み返して、GoogleにIndexできたのが、2019/08/24であったことを思い出した。それまで6ヶ月は泣かず飛ばすで、誰も訪問者が来なかったことを思い出した)
スポンサーリンク
  • by Amaozn ID13196
  • by Amazon ID13339
スポンサーリンク
  • 【Amazon.co.jp 限定】HP USBメモリ 128GB USB 3.1 スライド式 金属製 HPFD796L-128 GJP by Amazon - ID 24751
  • 3Dプリンター ダヴィンチ Jr. 1.0(造形サイズ15×15×15cm) - 環境に優しい土に返るPLAフィラメント - ダビンチ Jr. 1.0 XYZプリンティングジャパン by AMAZON ID21513
  • 3Dプリンター|ダヴィンチ1.0 pro|オートキャリブレーション機能付|オープンフィラメント可|ABS対応|造形サイズ20×20×20cm|レーザー刻印機能拡張可|積層ピッチ0.02mm~|3F1AWXJP00F - XYZプリンティングジャパン by AMAZON ID21511
  • ABS使用可 造形サイズ175×175×175mm オープンフィラメント可 オートキャリブレーション機能付き レーザー刻印機能拡張可 金属系PLA拡張可 3FJSPXJP00G - ダビンチ Jr.Pro X+ XYZプリンティングジャパン by AMAZON ID21509
  • zedela 5-in-1 USB-Cハブ【3ポート5Gbps by Amazon - ID 24751
スポンサーリンク

用語の解説、関連タグ付き投稿の抽出

Google Search Concole

NAS

[WordPress] 2020年初心者ガイダンス・WordPressを構築し快適に運用するための必須プラグイン一覧 (2020/03/10現在) – ID10673
[Data Link] NASとは何ですか? by Synology – ID9090
[WordPress] Google AdSense登録の手順 ID8940 [2020/08/24]
[WordPress] アバターを作る方法 – Gravatar – ID8936 [2020/02/09]
Synology NASのセキュリティを強化する方法のリンク – ID8870
[WordPress] 初期設定でblogサイトに作ってしまったサブディレクトリを外す方法 – Google AdSenseには、サブディレクトリは不要 – ID8814

robots.txt

[Synology] WordPress/robots.txtの設定が不良で新版Google Search Consoleで”ブロックされている”と表示される件 – ID1474 [2019/08/24]

Synology

[Data Link] NASとは何ですか? by Synology – ID9090
[WordPress] Google AdSense登録の手順 ID8940 [2020/08/24]
[WordPress] アバターを作る方法 – Gravatar – ID8936 [2020/02/09]
Synology NASのセキュリティを強化する方法のリンク – ID8870
[WordPress] 初期設定でblogサイトに作ってしまったサブディレクトリを外す方法 – Google AdSenseには、サブディレクトリは不要 – ID8814
[WordPress] Flex Posts – Widget and Gutenberg Block プラグイン – Gutenberg エディター対応 – ID8804

自宅

[WordPress] Google AdSense登録の手順 ID8940 [2020/08/24]
[WordPress] アバターを作る方法 – Gravatar – ID8936 [2020/02/09]
Synology NASのセキュリティを強化する方法のリンク – ID8870
[WordPress] Flex Posts – Widget and Gutenberg Block プラグイン – Gutenberg エディター対応 – ID8804
ブログにおけるプライバシーポリシーが必要となったとき – ID8229
[WordPress] 遅延読込プラグイン比較 – (1)Lazy Loader, (2)Lazy Load, (3)a3 Lazy Load (2020) – ID8071 [2020/01/27]

設定

[Synology] WordPress/robots.txtの設定が不良で新版Google Search Consoleで”ブロックされている”と表示される件 – ID1474 [2019/08/24]
スポンサーリンク
  • by Google Ads ID24747
  • by Google Ads ID:11145
  • by Google Ads ID23293

Update ID21920

BIOLOGICS, culture, equipment-harvest, repligen
[Bio-Equip] TFDF – TFFの構造にdepth filterを採用して、高細胞濃度でも濾過能力を高める技術 – REPLIGEN – – ID30880 [2021/07/26]

Post Views: 2 目次1 TFDF2 編集履歴 TFDF 旧来からのTangential Flow Filtration (TFF)技術による濾過機材製品は、低濃度の細胞密度である培養液の濾過には十分に能力を発 […]

スポンサーリンク
by Google Ads ID19417
BIOLOGICS, culture, equipment-culture, repligen
[Bio-Equip] XCell ATF – cell culture perfusion system – by REPLIGEN – 従来のバイオリアクターにATFを追加することで、ハーベスト期間を延長できバッチ生産性向上が可能 – ID18965 [2021/02/03]

Post Views: 27 目次1 Bio-Equipment2 XCell ATF Bio-Equipment XCell ATF Fed-batchで培養しながら、一定量の培養液を連続的に抜き取りろ過してハーベスト […]

english
今日の英語 – 温泉関連 – 効能 … -ID 26852 [2021/01/07]

Post Views: 46 温泉関連の英単語 General Indications (一般効能) neuralgia (神経痛), muscle pain (筋肉痛), joint pain (関節痛), froze […]

更新された投稿の最新順

スポンサーリンク
  • by Amazon ID19245
  • by Amazon ID13211
スポンサーリンク

スポンサーリンク
  • by Google Ads ID24747
  • by Google Ads ID23293
  • by Google Ads ID:11145

最新記事(WordPress, ID:14681)

plugin, site setting, WordPress
はりきり(Mr)のプログ・書き方のスタイル – 適当にやっているが、スタイルはある- ID30216 [2021/05/30]

Post Views: 34 目次1 はりきり(Mr)のブログ・メンテナンス・スタイル2 編集履歴 はりきり(Mr)のブログ・メンテナンス・スタイル 適当です。毎日、決まった時間に発信することはありません。ボリュームもま […]

スポンサーリンク
by Google Ads ID19417
plugin, WordPress
[WordPress] [link] 記事表示のカスタマイズ – パンクズリストを表示させる – ID30029 – [2021/05/19]

Post Views: 15 パンクズリスト パンクズリストは、サイトで移動した履歴です。フォルダーのパスのようなものです。 パングスリストをサイトに表示させる方法が、「kinsta」に解説されています。方法は多数ありま […]

WordPress
[WP] Ultimate MemberをSimple WP Membershipに変更 – ID29745 [2021/05/13]

Post Views: 19 目次1 はじめに2 編集履歴 はじめに WordPressサイトでメンバーシップ機能を実現するプラグインの話です。Ultimate Member (UM) プラグインについては、当サイトをい […]

security, Synology, WordPress
[Synology] Threat Preventionとファイヤーウォールの連携 – ID28980 [2021/03/22]

Post Views: 21 目次1 はじめに2 ルーチンワークの概要3 ルーチンワークの詳細3.1 Threat Preventionの操作3.2 ネットワークセンターの操作4 まとめ5 Alert5.1 ET POL […]

plugin, site setting, WordPress
Plugin Maintenance – AMPサイトでのプラグインの運用評価を記録 – ID28378 [2021/04/04]

Post Views: 25 All in One SEOプラグイン (2021/03/13) メタディスクリプション記述のみに使用していたが、このプラグインから依存を完全になくすために、まずは、その記述内容を抜き出し、 […]

Page: 1 2 24
スポンサーリンク

スポンサーリンク
  • by Google Ads ID23293
  • by Google Ads ID24747
  • by Google Ads ID:11145

その他記事(ALL-RANDOM, ID:16786)

BIOLOGICS, culture
[Bio-Edu] 動物細胞の培養工程(USP) – 代謝産物である乳酸、アンモニアを低減化するCHO細胞の作成技術 (2018) – ID2732 [2019/10/14]

Post Views: 40 培養工程 バイオ医薬の生産細胞株であるCHO細胞の培養において、目的物質の生産性を上げるためには、細胞を死なせないように培養を継続しなければならない。 細胞にダメージを与えるのは、代謝物であ […]

BIOLOGICS, education, purification
[Bio-Edu] 排除体積効果 – タンパク質を精製する時に、知っておきたい知識 – ID2701 [2020/06/25]

Post Views: 26 目次1 はじめに2 排除体積効果2.1 液晶が並ぶ理由2)2.2 活動係数4)2.3 高分子鎖の広がりと排除体積効果 (1983)3)2.4 文献 はじめに バイオ医薬など高分子を取り扱う場 […]

eye, HEALTH
[健康] 今日は眼底検査 – 網膜裂孔、白内障、顆粒状角膜変性 – ID6647 [2020/05/03]

Post Views: 33 目次1 はしめに1.1 抱える問題2 眼底検査2.1 散瞳後に見えやすくなる理由について3 まとめ4 参考5 関連記事 はしめに 目のことは、若い頃から苦労しています。点状角膜変性も両目にあ […]

スポンサーリンク
by Google Ads ID19417
スポンサーリンク

スポンサーリンク
by Google Ads ID:11143(2)

- 以下のツールに敬意を示します -
Support to AMP (Accelerated Mobile Pages) by official AMP plugin for WordPress, and compatible powered by
Post viewing : Flex Posts - Widget and Gutenberg Block