カテゴリー
WordPress

[Synology] WordPress/robots.txtの設定が不良で新版Google Search Consoleで”ブロックされている”と表示される件 – ID1474 [2019/08/24]

[Synology] WordPress/robots.txtの設定が不良で新版Google Search Consoleで”ブロックされている”と表示される件 – ID1474 [2019/08/24]
スポンサーリンク
  • by Google Ads ID23293
  • by Google Ads ID:11143(2)
  • by Google Ads ID24747
  • by Google Ads ID:11145
スポンサーリンク
by Google Ads ID8603

robots.txtの問題

自前のSynology NASWordPressを立ち上げている場合で、SEO pluginにrobots.txtを設定しているにもかかわらず、Google Search Consoleでrobots.txtでブロックされている、と警告が出ていた。

この問題は、約半年の間冷やしたり、温めたりして、問題解決を素人なりに模索していました。

当サイトの場合、以下のアドレスを表示させるとrobots.txtの内容が確認できるらしい事がわかったので、以下のアドレスをChromeで表示してみました。

結果は、正にブロックされていることが分かりました。「Disallow: /」がそれです。ルート以下が許可されていませんでした。

https://harikiri.diskstation.me/robots.txt

User-agent: *
Disallow: /

ですが、当サイトでは、もう一つ下の階層”myblog”にblogを設置しているので、Chromeで以下のアドレスを表示してみたが、ファイルが無いと吐かれました。

注意

この記事を書いている時期は、サプディレクトの「myblog」以下にサイトを構築していました。2020/04現在では、Redirectionプラグインで、このサブディレクトは、必要なくなりました。
https://harikiri.diskstation.me/ でOKです。

https://harikiri.diskstation.me/myblog/robots.txt -> “ファイルがない、とのメッセージ”

以上の結果は、All in One SEOで設定した内容が、なぜか何処にも正しい設定内容で、且つ、正しいフォルダ位置に反映されていないという事です。

スポンサーリンク
by Google Ads ID19417
スポンサーリンク
  • Synology DS517 by Amazon ID:22173
  • Synology DS920+ by Amazon ID:22172
  • オムロン BY50S用パック by Amazon ID:22171
  • オムロン BY50S by Amazon ID22170
  • Synology 高機能無線ルーター 800Mbps + 1,733Mbps(11a/b/g/n/ac対応) 高セキュリティ VPN Plus対応 RT2600ac by Amazon ID24327
  • エレコム LANケーブル CAT6A 5m 爪折れ防止コネクタ ホワイト LD-GPA/WH5 by Amazon ID24327

自前でrobots.txtを用意

スポンサーリンク
by Rakuten ID:15895

仕方がないので、robots.txtを自前で用意して、今は分からない何処かのフォルダーに設置するこにしました。

アクセス権が正しい「robots.txt」雛形ファイルを作る

自前で保管する場合、心配になるのがアクセス権の設定です。この問題は、WordPress用のPluginであるYoast SEOを使用しましたた。robots.txtを記述して保管する機能があります。

その後、Yoast SEOは役割を終えましたので停止させました。

robots.txtを配置する

作成したrobots.txtは、ルート以下「/」と、サブディレクトリ以下「/myblog/」に作成した同じrobots.txtファイルを配置しました。後から不要な一方は削除する予定。

Googleにクロールさせる

色々ググってみると、旧版のGoogle Search Consoleなるものがあって(新版Google Search Consoleの左メニューの一番下に「以前のバージョンに戻す」があり、これが旧版)、そこには、左メニューに「クロール」-> robots.txtテスターなるものがあります。

これを使用して、以下、robots.txtの内容をGoogleに知らせることができます。更に、新版からインデックスできるように設定することができました。

インデックスの試行錯誤は、以下の試行錯誤を行いました。

robots.txtの解決

編集

以上のように、当サイトには2つのフォルダにrobots.txtが存在する状態で、以下の旧版Google Search Consoleを使用して問題解決を進めた。

旧版Google Search Consoleのrobotsテスターでテストする場合,実サイトには修正したrobots.txtを配置しているのに,再読み込みをしてくれない。よって,robotsテスターを実行しても、以前の内容のままなのでエラーになる。

そこで,旧版Google Search Console -> クロール -> robots.txt -> “robots.txtの内容が表示される”。この内容を直に編集する。横にあるリンク”公開済みのrobots.txtを表示する”で実サイトのrobots.txtの内容を表示できるので、この内容をコピぺしてもいい。

送信

その後、送信ボタンを押すと、ダイアログが表示される。以下の”3. Googleに更新リクエスト”について送信ボタンを押す。

1. 更新されたコードのダウンロード

2. アップロードされたバージョンを確認

3. Googleに更新をリクエスト

ダイアログのでダイアログを消し、その下のテスト・ボタン(Googlebotを選択した状態)を押す -> テスト・ボタンは”許可済み”の表示となる。

URL検査

新版から”URL 検査”を実行すると,これまでは,15秒程度で”robots.txtがブロックしている”とのエラーが出ていたものが,今回の操作のあとは,検査の実行後に、その結果が返ってくるまでの時間が、明らかに伸びてインデックス処理をしている感触があった。その結果、以下のように、半年間進展がなかった懸案が、以下、表示されたように進展をみることができた。

新版Google Search Console -> URL検査 -> サイトのアドレスを入れて、実行

URLはGoogleに登録できますが、問題があります・・・”やっと登録できた。うれしい^^”

登録の可否 : URLはインデックスに登録できます・・・”やったぞ,やっとだ.やってやった”

その後、「インデックス登録をリクエスト」を実行した。しばらくすると、上記の表示は以下のように変化した。

URLはGoogleに登録されています。・・・”あはぁ”

カバレッジ: インデックスは登録されましたが、サイトマップに送信していません”・・・”もうすこしだ”

以上で,Robots.txt問題は,とりあえず次のステップへと進む.

to be continue.

スポンサーリンク
  • Synology DiskStation DS918+ [クアッドコアCeleron J3455 1.5GHz CPU搭載] 4ベイNASキット by AMAZON – ID14279
  • Synology DX517 (拡張スロット) by AMAZON – ID14329
  • WD RED 8TB HDD by AMAZON – ID14304
  • WD 内蔵 SSD M.2 2280 / WD BLACK SN750 NVMe 500GB / WDS500G3X0C by AMAZON – ID14311
編集履歴
2019/08/24 Mr.Harikir
2020/04/24 文言整備
2020/10/04 編集履歴追加 (読み返して、GoogleにIndexできたのが、2019/08/24であったことを思い出した。それまで6ヶ月は泣かず飛ばすで、誰も訪問者が来なかったことを思い出した)
スポンサーリンク
  • by Amazon ID19245
  • by Amaozn ID13196
スポンサーリンク
  • 【Amazon.co.jp 限定】HP USBメモリ 128GB USB 3.1 スライド式 金属製 HPFD796L-128 GJP by Amazon - ID 24751
  • 3Dプリンター ダヴィンチ Jr. 1.0(造形サイズ15×15×15cm) - 環境に優しい土に返るPLAフィラメント - ダビンチ Jr. 1.0 XYZプリンティングジャパン by AMAZON ID21513
  • 3Dプリンター|ダヴィンチ1.0 pro|オートキャリブレーション機能付|オープンフィラメント可|ABS対応|造形サイズ20×20×20cm|レーザー刻印機能拡張可|積層ピッチ0.02mm~|3F1AWXJP00F - XYZプリンティングジャパン by AMAZON ID21511
  • ABS使用可 造形サイズ175×175×175mm オープンフィラメント可 オートキャリブレーション機能付き レーザー刻印機能拡張可 金属系PLA拡張可 3FJSPXJP00G - ダビンチ Jr.Pro X+ XYZプリンティングジャパン by AMAZON ID21509
  • zedela 5-in-1 USB-Cハブ【3ポート5Gbps by Amazon - ID 24751
スポンサーリンク

用語の解説、関連タグ付き投稿の抽出

Google Search Concole

NAS

[WordPress] 2020年初心者ガイダンス・WordPressを構築し快適に運用するための必須プラグイン一覧 (2020/03/10現在) – ID10673
[Data Link] NASとは何ですか? by Synology – ID9090
[WordPress] Google AdSense登録の手順 ID8940 [2020/08/24]
[WordPress] アバターを作る方法 – Gravatar – ID8936 [2020/02/09]
[Synology] NASのセキュリティを強化する方法のリンク
[WordPress] 初期設定でblogサイトに作ってしまったサブディレクトリを外す方法 – Google AdSenseには、サブディレクトリは不要 – ID8814

robots.txt

[WP] WordPress – ログイン/アクセス制限に関する設定 – ID24132 [2020/10/09]工事中
[Synology] WordPress/robots.txtの設定が不良で新版Google Search Consoleで”ブロックされている”と表示される件 – ID1474 [2019/08/24]

Synology

[Data Link] NASとは何ですか? by Synology – ID9090
[WordPress] Google AdSense登録の手順 ID8940 [2020/08/24]
[WordPress] アバターを作る方法 – Gravatar – ID8936 [2020/02/09]
[Synology] NASのセキュリティを強化する方法のリンク
[WordPress] 初期設定でblogサイトに作ってしまったサブディレクトリを外す方法 – Google AdSenseには、サブディレクトリは不要 – ID8814
[WordPress] Flex Posts – Widget and Gutenberg Block プラグイン – Gutenberg エディター対応 – ID8804

自宅

[WordPress] Google AdSense登録の手順 ID8940 [2020/08/24]
[WordPress] アバターを作る方法 – Gravatar – ID8936 [2020/02/09]
[Synology] NASのセキュリティを強化する方法のリンク
[WordPress] Flex Posts – Widget and Gutenberg Block プラグイン – Gutenberg エディター対応 – ID8804
ブログにおけるプライバシーポリシーが必要となったとき – ID8229
[WordPress] 遅延読込プラグイン比較 – (1)Lazy Loader, (2)Lazy Load, (3)a3 Lazy Load (2020) – ID8071 [2020/01/27]

設定

[Synology] WordPress/robots.txtの設定が不良で新版Google Search Consoleで”ブロックされている”と表示される件 – ID1474 [2019/08/24]
スポンサーリンク
  • by Google Ads ID24747
  • by Google Ads ID:11143(2)
  • by Google Ads ID:11145
  • by Google Ads ID23293

Update ID21920

BIOLOGICS, Lab
[Bio-Lab] QPix400 Imager 全自動微生物コロニーピッキングシステム – ID18403 [2020/06/03]

Post Views: 49 QPix400 複数枚の培養プレートに対応し多検体処理が可能。 サイトの説明から。モレキュラーデバイスの全自動微生物コロニーピッキングシステムでは、マーカーを事前にスクリーニングし、希望する […]

BIOLOGICS, Lab
[Bio-Lab] グラスファイバーフィルター 接着剤使用, AP20, 55 mm – ID16692 [2020/06/03]

Post Views: 45 ラボ製品-グラスフィルター グラスフィルターは、タンパク質の非特異吸着が多いため、用途には気を付ける。具体的な用途としては、大腸菌で産生させたInclusion body状のタンパク質のRe […]

BIOLOGICS, Lab
[Bio-Lab] Alexa Fluor® 488 色素 – ID16697 [2020/06/03]

Post Views: 50 ラボ製品-標識試薬 Alexa Fluorはタンパク質に傾向標識する試薬キットである。 精製したタンパク質を使って、細胞を用いた評価系で評価をしたい場合、タンパク質の標識に使用する サイトの […]

更新された投稿の最新順

スポンサーリンク
by Google Ads ID19417
スポンサーリンク
  • by Amazon ID13211
  • by Amazon ID13339
スポンサーリンク

スポンサーリンク
  • by Google Ads ID:11145
  • by Google Ads ID24747
  • by Google Ads ID:11143(2)
  • by Google Ads ID23293

最新記事(WordPress, ID:14681)

site setting, Synology, WordPress
[Synology] RT2600ac – FAQ – アクセスログが残っていない – ID30977 [2021/08/12]

Post Views: 15 RT2600ac管理FAQ アクセス・ログが残っていない 考えられる理由は以下の通り ログの保管場所が設定されていない 外部メモリ(SDカード、USBメモリ)を変更した 編集履歴 2021/ […]

plugin, site setting, WordPress
はりきり(Mr)のプログ・書き方のスタイル – 適当にやっているように見えても最終目的はブレないスタイルはある – ID30216 [2021/05/30]

Post Views: 49 目次1 はりきり(Mr)のブログ・メンテナンス・スタイル2 編集履歴 はりきり(Mr)のブログ・メンテナンス・スタイル 適当です。毎日、決まった時間に発信することはありません。ボリュームもま […]

plugin, WordPress
[WordPress] [link] 記事表示のカスタマイズ – パンクズリストを表示させる – ID30029 – [2021/05/19]

Post Views: 29 パンクズリスト パンクズリストは、サイトで移動した履歴です。表現形態は、フォルダーのパスのようなものです。 パングスリストをサイトに表示させる方法が、「kinsta」に解説されています。方法 […]

WordPress
[WP] Ultimate MemberをSimple WP Membershipに変更 – ID29745 [2021/05/13]

Post Views: 33 目次1 はじめに2 編集履歴 はじめに WordPressサイトでメンバーシップ機能を実現するプラグインの話です。Ultimate Member (UM) プラグインについては、当サイトをい […]

security, Synology, WordPress
[Synology] セキュリティ改善法 – Threat Preventionとファイヤーウォールの運用を連携する – ID28980 △[2021/08/01]

Post Views: 38 目次1 はじめに2 ルーチンワークの概要3 ルーチンワークの詳細3.1 Threat Preventionの操作3.2 ネットワークセンターの操作4 Alert4.1 ET POLICY O […]

plugin, site setting, WordPress
Plugin Maintenance – AMPサイトでのプラグインの運用評価を記録 – ID28378 [2021/04/04]

Post Views: 38 All in One SEOプラグイン (2021/03/13) メタディスクリプション記述のみに使用していたが、このプラグインから依存を完全になくすために、まずは、その記述内容を抜き出し、 […]

スポンサーリンク
by Google Ads ID19417
Page: 1 2 24
スポンサーリンク

スポンサーリンク
  • by Google Ads ID23293
  • by Google Ads ID:11143(2)
  • by Google Ads ID:11145
  • by Google Ads ID24747

その他記事(ALL-RANDOM, ID:16786)

AAV, BIOLOGICS, equipment-cell, transfection
[rAAV-Design] – 治療用AAV Vectorの設計 – 考慮事項 – ID12947 [2020/06/24]

Post Views: 48 目次1 もとの設計図2 治療用の設計 もとの設計図 天然のアデノ随伴ウイルス(AAV)のゲノムは、1本鎖DNA (single stranded DNA; ssDNA)です。両端に遺伝子複製 […]

BIOLOGICS, culture, equipment-filtration, process, production
気になる企業 MerckMillipore – ろ過膜の総合メーカー – ID18255 [2020/06/26]

Post Views: 52 目次1 MerckMillipore1.1 Sterile filtration1.2 Depth filter1.3 Virus Reduction Filtration1.4 Tange […]

TRIP
[Trip] ロンドン・ビッグベン – 地下鉄を上がるとウエストミンスター橋と共にそこにある ID11855

Post Views: 54 オイスターで地下鉄を乗る ウエストミンスター橋の横にビッグベンがあることは、今回行って、初めて知りました。ウェストミンスターでは、議会wikepediaが、開かれれます。女王が開催を宣言する […]

スポンサーリンク
by Google Ads ID19417
スポンサーリンク

スポンサーリンク
by Google Ads ID:11143(2)

- 以下のツールに敬意を示します -
Support to AMP (Accelerated Mobile Pages) by official AMP plugin for WordPress, and compatible powered by
Post viewing : Flex Posts - Widget and Gutenberg Block