نحوه رفع “نمایه شده ، اگرچه توسط robots.txt” در GSC مسدود شده است

“نمایه سازی شده ، اگرچه توسط robots.txt مسدود شده است” در کنسول جستجوی Google نشان داده می شود (GSC) وقتی Google URL هایی را فهرست کرده است که اجازه پیمایش ندارند.

در بیشتر موارد ، این یک مسئله سرراست است که شما خزیدن را در پرونده robots.txt خود مسدود کرده اید. اما چند شرط اضافی وجود دارد که می تواند مشکل را تحریک کند ، بنابراین بیایید مراحل عیب یابی زیر را برای تشخیص و رفع هر چه بیشتر کارها انجام دهیم:

می بینید که اولین قدم این است که از خود بپرسید آیا می خواهید Google ایندکس را فهرست کند آدرس اینترنتی.

اگر شما نمی خواهید آدرس اینترنتی نمایه سازی شده

فقط یک برچسب روبات متا noindex اضافه کنید و مطمئن شوید که اجازه خزیدن را دارد – با این فرض که متعارف است.

اگر خزیدن یک صفحه را مسدود کنید ، ممکن است Google همچنان آن را فهرست بندی کند زیرا خزیدن و نمایه سازی دو چیز متفاوت هستند. تا زمانی که Google نتواند صفحه ای را خزنده کند ، آنها متا برچسب noindex را نمی بینند و ممکن است همچنان آن را فهرست کنند زیرا دارای پیوند است.

اگر آدرس اینترنتی به یک صفحه دیگر canonicalize می شود ، برچسب meta robots noindex را اضافه نکنید. فقط مطمئن شوید که سیگنالهای کانونیزه شدن مناسب وجود دارد ، از جمله یک برچسب canonical در صفحه canonical ، و اجازه خزیدن را بدهید تا سیگنالها به درستی عبور کرده و تلفیق شوند.

اگر شما می خواهید آدرس اینترنتی نمایه سازی شده

شما باید بفهمید که چرا Google قادر به خزیدن نیست آدرس اینترنتی و بلوک را بردارید.

محتمل ترین علت ایجاد خزنده در robots.txt است. اما چند سناریوی دیگر وجود دارد که ممکن است پیام هایی را مشاهده کنید که می گوید مسدود شده اید. اجازه دهید این موارد را به ترتیبی که احتمالاً باید بدنبال آنها باشید ، مرور کنیم.

1. بلوک خزیدن را در robots.txt بررسی کنید
2. بلوک های متناوب را بررسی کنید
3. بلوک عامل کاربر را بررسی کنید
4. بررسی کنید برای IP مسدود کردن

بلوک خزیدن را در robots.txt بررسی کنید

ساده ترین راه برای دیدن مسئله این است که robots.txt تستر در GSC، که قانون مسدود کردن را پرچم گذاری می کند.

اگر می دانید به دنبال چه چیزی هستید یا به آن دسترسی ندارید GSC، می توانید به domain.com/robots.txt بروید و فایل را پیدا کنید. ما اطلاعات بیشتری در مقاله robots.txt خود داریم ، اما شما احتمالاً به دنبال یک جمله غیر مجاز مانند:

Disallow: /

ممکن است عامل کاربری خاصی ذکر شده باشد ، یا ممکن است همه را مسدود کند. اگر سایت شما جدید است یا اخیراً راه اندازی شده است ، ممکن است بخواهید به دنبال موارد زیر باشید:

User-agent: *
Disallow: /

نحوه رفع

شما می خواهید جمله عدم اجازه ایجاد مسدود را حذف کنید. نحوه انجام این کار بسته به فناوری مورد استفاده شما متفاوت است.

وردپرس

اگر این مسئله بر روی کل وب سایت شما تأثیر بگذارد ، به احتمال زیاد علت این است که شما یک تنظیم را در وردپرس بررسی کرده اید تا نمایه سازی مجاز نباشد. این اشتباه در وب سایتهای جدید و مهاجرتهای وب سایتهای بعدی معمول است. برای بررسی این مراحل این مراحل را دنبال کنید:

1. روی “تنظیمات” کلیک کنید
2. روی «خواندن» کلیک کنید
3. اطمینان حاصل کنید که «قابلیت مشاهده موتور جستجو» برداشته نشده است.

وردپرس با Yoast

اگر از جوانمرد سئو پلاگین، می توانید مستقیماً پرونده robots.txt را ویرایش کنید تا دستور مسدود کردن را حذف کنید.

1. روی “Yoast” کلیک کنید سئو“
2. روی «ابزارها» کلیک کنید
3. روی «ویرایشگر پرونده» کلیک کنید

وردپرس با رتبه ریاضی

شبیه Yoast ، ریاضی رتبه بندی کنید به شما امکان می دهد فایل robots.txt را مستقیماً ویرایش کنید.

1. روی “رتبه بندی ریاضیات” کلیک کنید
2. روی “تنظیمات عمومی” کلیک کنید
3. روی “ویرایش robots.txt” کلیک کنید

FTP یا میزبانی

اگر تو داری FTP دسترسی به سایت ، شما می توانید به طور مستقیم فایل robots.txt را ویرایش کنید تا جمله عدم اجازه ایجاد مسئله را حذف کنید. همچنین ارائه دهنده میزبانی شما ممکن است به شما امکان دسترسی به File Manager را بدهد که به شما امکان دسترسی مستقیم به پرونده robots.txt را می دهد.

بلوک های متناوب را بررسی کنید

عیب یابی مسائل متناوب ممکن است دشوارتر باشد زیرا ممکن است همیشه شرایط ایجاد کننده بلوک وجود نداشته باشد.

آنچه من توصیه می کنم بررسی تاریخچه پرونده robots.txt شما است. به عنوان مثال ، در GSC تست کننده robots.txt، اگر روی منوی کشویی کلیک کنید ، نسخه های قبلی پرونده را می بینید که می توانید کلیک کنید و محتوای آنها را ببینید.

ماشین Wayback در archive.org همچنین دارای سابقه ای از پرونده های robots.txt برای وب سایت هایی است که خزنده می شوند. می توانید بر روی هر یک از تاریخی که آنها داده اند کلیک کنید و ببینید فایل در آن روز خاص شامل چه مواردی است.

یا از نسخه بتا گزارش تغییرات استفاده کنید ، که به شما امکان می دهد تغییرات محتوا را بین دو نسخه مختلف به راحتی مشاهده کنید.

نحوه رفع

روند رفع بلوک های متناوب به علت ایجاد مسئله بستگی دارد. به عنوان مثال ، یک دلیل احتمالی می تواند حافظه پنهان مشترک بین یک محیط آزمایش و یک محیط زنده باشد. وقتی حافظه پنهان از محیط آزمایش فعال است ، ممکن است فایل robots.txt شامل یک دستورالعمل مسدود کردن باشد. و هنگامی که حافظه پنهان از محیط زندگی فعال است ، سایت قابل خزیدن است. در این حالت ، شما می خواهید حافظه پنهان را تقسیم کنید یا ممکن است پرونده های .txt را از حافظه پنهان در محیط آزمایش حذف کنید.

بلوک های عامل کاربر را بررسی کنید

بلوک های عامل کاربر زمانی است که سایتی عامل کاربر خاصی مانند Googlebot یا AhrefsBot را مسدود می کند. به عبارت دیگر ، سایت در حال شناسایی یک ربات خاص است و عامل مربوطه را مسدود می کند.

اگر می توانید یک صفحه خوب را در مرورگر معمولی خود مشاهده کنید اما پس از تغییر عامل کاربری خود مسدود شوید ، به این معنی است که عامل کاربری خاصی که وارد کرده اید مسدود شده است.

تو می توانی با استفاده از devtools Chrome یک عامل کاربر خاص را مشخص کنید. گزینه دیگر استفاده از افزونه مرورگر برای تغییر عوامل کاربری مانند است این یکی.

همچنین می توانید با دستور cURL بلوک های عامل کاربر را بررسی کنید. در اینجا نحوه انجام این کار در ویندوز آمده است:

1. Windows + R را فشار دهید تا کادر “Run” باز شود.
2. “cmd” را تایپ کنید و سپس “” را کلیک کنیدخوب“
3. دستور cURL را مانند این وارد کنید:

curl -A “user-agent-name-here” -Lv [URL]curl -A “Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)” -Lv https://ahrefs.com

نحوه رفع

متأسفانه ، این یکی دیگر از مواردی است که دانستن نحوه تعمیر آن به مکانی که بلوک را پیدا می کنید بستگی دارد. بسیاری از سیستم های مختلف ممکن است یک ربات را مسدود کنند ، از جمله .htaccess ، پیکربندی سرور ، فایروال ها ، CDN، یا حتی چیزی که ممکن است نتوانید ببینید که ارائه دهنده میزبانی شما کنترل می کند. بهترین شرط شما این است که با ارائه دهنده میزبانی خود تماس بگیرید یا CDN و از آنها بپرسید که بلوک از کجا می آید و چگونه می توانید آن را حل کنید.

به عنوان مثال ، در اینجا دو روش مختلف برای مسدود کردن عامل کاربر در .htaccess وجود دارد که شاید لازم باشد به جستجوی آنها بپردازید.

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Googlebot [NC]RewriteRule .* - [F,L]

یا…

BrowserMatchNoCase "Googlebot" bots
Order Allow,Deny
Allow from ALL
Deny from env=bots

برای چک IP بلوک

اگر تأیید کنید که توسط robots.txt مسدود نشده اید و بلوک های عامل کاربر را رد کرده اید ، پس احتمالاً یک خواهد بود IP مسدود کردن.

نحوه رفع

IP ردیابی بلوک ها مسائل دشواری هستند. همانند بلوک های عامل کاربر ، بهترین شرط شما این است که با ارائه دهنده میزبانی خود تماس بگیرید یا CDN و از آنها بپرسید که این بلوک از کجا می آید و چگونه می توانید آن را حل کنید.

در اینجا یک نمونه از مواردی که ممکن است در .htaccess به دنبال آن باشید وجود دارد:

deny from 123.123.123.123

افکار نهایی

در بیشتر مواقع ، هشدار “نمایه سازی شده ، هرچند توسط robots.txt مسدود شده” از یک بلوک robots.txt نتیجه می شود. امیدوارم که این راهنما به شما کمک کرده باشد اگر این مورد برای شما نبود مسئله را پیدا و برطرف کنید.

سوالی دارید؟ به من اطلاع دهید توییتر.