28 مه
بودجه خزیدن ، سرعت و تعداد صفحاتی است که یک موتور جستجو می خواهد در سایت شما جستجو کند. میزان منابعی که خزنده می خواهد در سایت شما استفاده کند و میزان خزشی که سرور شما پشتیبانی می کند ، تحت تأثیر قرار می گیرد.
خزیدن بیشتر به این معنی نیست که شما رتبه بهتری خواهید داشت ، اما اگر صفحات شما خزنده و نمایه نشده باشند ، به هیچ وجه رتبه بندی نخواهند شد.
اکثر سایت ها نگران بودجه خزیدن نیستند ، اما موارد کمی وجود دارد که شما بخواهید نگاهی بیندازید. بیایید برخی از این موارد را بررسی کنیم.
معمولاً لازم نیست نگران خزیدن بودجه در صفحات محبوب باشید. معمولاً این صفحات جدیدتر هستند ، پیوند خوبی ندارند ، یا تغییر زیادی نمی کنند که اغلب خزیده نمی شوند.
بودجه خزیدن می تواند نگران کننده سایت های جدیدتر باشد ، به خصوص سایت هایی که صفحات زیادی دارند. سرور شما ممکن است بتواند از خزیدن بیشتر پشتیبانی کند ، اما از آنجا که سایت شما جدید است و احتمالاً هنوز خیلی محبوب نیست ، ممکن است یک موتور جستجو خیلی مایل به جستجوی سایت شما نباشد. این بیشتر قطع ارتباط با انتظارات است. شما می خواهید صفحات شما خزنده و نمایه شوند اما Google نمی داند که آیا ارزش ایندکس شدن صفحات شما را دارد یا خیر ممکن است بخواهد به همان تعداد صفحه ای که می خواهید خز شود.
بودجه خزیدن همچنین می تواند نگران کننده سایت های بزرگتر با میلیون ها صفحه یا سایت هایی باشد که مرتباً به روز می شوند. به طور کلی ، اگر تعداد زیادی از صفحات که به دفعات مورد نظر شما خزیده یا به روز نمی شوند ، ممکن است بخواهید سرعت خزیدن را افزایش دهید. در ادامه در مورد چگونگی انجام این کار صحبت خواهیم کرد.
اگر می خواهید مروری بر فعالیت خزیدن Google و هر مشکلی که آنها شناسایی کرده اند ، بهترین مکان برای جستجو است گزارش Crawl Stats در کنسول جستجوی Google.
گزارش های مختلفی در اینجا وجود دارد که به شما کمک می کند تغییرات در رفتار خزیدن ، مشکلات مربوط به خزیدن را شناسایی کرده و اطلاعات بیشتری درباره چگونگی خزیدن سایت شما توسط Google به شما ارائه دهد.
شما قطعاً می خواهید هر موردی را بررسی کنید وضعیت های خزنده پرچم دار مانند موارد نشان داده شده در اینجا:
همچنین زمان آخرین خزیدن صفحات برچسب مهمی دارد.
اگر می خواهید بازدیدها را از همه ربات ها و کاربران مشاهده کنید ، باید به پرونده های گزارش خود دسترسی داشته باشید. بسته به میزبانی و راه اندازی ، ممکن است به ابزارهایی مانند Awstats و Webalizer دسترسی داشته باشید که در اینجا در یک میزبان مشترک با cPanel مشاهده می شود. این ابزارها برخی از داده های جمع شده از پرونده های گزارش شما را نشان می دهد.
برای تنظیمات پیچیده تر ، باید از پرونده های خام گزارش ، و احتمالاً از چندین منبع ، به داده ها دسترسی داشته باشید و آنها را ذخیره کنید. همچنین ممکن است برای پروژه های بزرگتر مانند ابزارهای تخصصی نیاز داشته باشید ELK (elasticsearch ، logstash ، kibana) پشته ای که امکان ذخیره ، پردازش و تجسم پرونده های گزارش را فراهم می کند. همچنین ابزارهای تجزیه و تحلیل ورود به سیستم مانند Splunk.
همه URL ها و درخواست ها در بودجه خزیدن شما حساب می شوند. این شامل URL های جایگزین مانند AMP یا m pages صفحات نقطه ، hreflang ، CSS، و جاوا اسکریپت از جمله XHR درخواست ها.
این URL ها ممکن است با خزیدن و تجزیه صفحات ، یا از منابع مختلف دیگر از جمله نقشه سایت ، RSS فیدها ، ارسال URL ها برای نمایه سازی در Google Search Console یا استفاده از نمایه سازی API.
همچنین وجود دارد چندین Googlebots بودجه خزیدن مشترک است. می توانید لیستی از مختلف Googlebots که در وب سایت شما خزنده هستند را در گزارش Crawl Stats در پیدا کنید GSC.
هر وب سایت بودجه خزیدن متفاوتی خواهد داشت که از چند ورودی مختلف تشکیل شده است.
خزیدن تقاضا
تقاضای خزیدن به سادگی مقدار Google برای جستجوی وب سایت شما است. صفحات و صفحات پرطرفدارتر که تغییرات قابل توجهی را تجربه می کنند ، بیشتر خزیده می شوند.
صفحات پرطرفدار یا آنهایی که پیوند بیشتری به آنها دارند ، عموماً نسبت به سایر صفحات اولویت خواهند داشت. به یاد داشته باشید که Google باید صفحات شما را به طریقی برای خزیدن در اولویت قرار دهد و پیوندها راهی آسان برای تعیین محبوبیت بیشتر صفحات سایت شما هستند. هرچند فقط سایت شما نیست ، بلکه همه صفحات موجود در همه سایتهای اینترنت است که Google باید نحوه اولویت بندی آنها را بفهمد.
می توانید از بهترین توسط پیوندها گزارش در سایت اکسپلورر به عنوان نشانه ای که احتمالاً صفحات بیشتری اغلب خزیده می شوند. همچنین به شما نشان می دهد آخرین بار Ahrefs چگونه صفحات شما را خزیده است.
همچنین مفهومی کهنگی وجود دارد. اگر Google ببیند که صفحه ای تغییر نمی کند ، کمتر صفحه را می خزد. به عنوان مثال ، اگر آنها صفحه ای را خزیده و پس از یک روز تغییری مشاهده نکنند ، ممکن است سه روز قبل از خزیدن دوباره صبر کنند ، ده روز دفعه بعد ، 30 روز ، 100 روز و غیره. هیچ دوره مشخصی وجود ندارد که بین خزیدن صبر کنند ، اما با گذشت زمان نادرتر خواهد شد. با این حال ، اگر گوگل تغییرات زیادی را در سایت به طور کلی یا یک حرکت سایت مشاهده کند ، به طور معمول حداقل به طور موقت میزان خزیدن را افزایش می دهد.
حد خزش
حداکثر میزان خزیدن میزان خزشی است که وب سایت شما می تواند پشتیبانی کند. قبل از بروز مشکلاتی در پایداری سرور مانند کاهش سرعت یا خطا ، وب سایت ها مقدار مشخصی از خزشی را می توانند انجام دهند. اگر بیشتر خزنده ها شروع به دیدن این مسائل کنند ، به سایت آسیب نمی رسانند ، از خزیدن عقب می مانند.
Google براساس سلامت خزیدن سایت تنظیم خواهد شد. اگر سایت با خزیدن بیشتر خوب باشد ، محدودیت افزایش می یابد. اگر سایت دارای مشکلی باشد ، Google سرعت خزیدن آنها را کاهش می دهد.
چند کار وجود دارد که می توانید انجام دهید تا مطمئن شوید سایت شما می تواند از خزیدن اضافی پشتیبانی کند و تقاضای خزیدن سایت شما را افزایش دهد. بیایید برخی از آن گزینه ها را بررسی کنیم.
سرور خود را افزایش دهید / منابع را افزایش دهید
نحوه خزیدن صفحات Google اساساً برای بارگیری منابع و سپس پردازش آنها در انتهای آنها است. سرعت صفحه شما همانطور که کاربر درک می کند کاملاً یکسان نیست. آنچه در بودجه خزیدن تأثیر خواهد گذاشت این است که Google با چه سرعتی می تواند منابعی را متصل و بارگیری کند که ارتباط بیشتری با سرور و منابع دارد.
پیوندهای بیشتر ، خارجی & درونی؛ داخلی
به یاد داشته باشید که تقاضای خزیدن به طور کلی بر اساس محبوبیت یا پیوندها است. شما می توانید با افزایش میزان پیوندهای خارجی و / یا پیوندهای داخلی بودجه خود را افزایش دهید. از آنجا که سایت را کنترل می کنید پیوندهای داخلی آسان تر است. پیوندهای پیشنهادی داخلی را می توانید در اینجا پیدا کنید فرصت ها را پیوند دهید گزارش در سایت حسابرسی ، که همچنین شامل یک آموزش توضیح عملکرد آن است.
پیوندهای خراب و هدایت شده را برطرف کنید
فعال نگه داشتن پیوندها به صفحات خراب یا هدایت شده در سایت شما تأثیر کمی در بودجه خزیدن خواهد داشت. به طور معمول ، صفحاتی که در اینجا پیوند داده می شوند از اولویت نسبتاً کمی برخوردار خواهند بود زیرا احتمالاً مدتی تغییر نکرده اند ، اما به طور کلی تمیز کردن هر مشکلی برای نگهداری وب سایت مفید است و کمی به خزیدن بودجه شما کمک می کند.
می توانید پیوندهای شکسته (4xx) و هدایت شده (3xx) را به راحتی در سایت خود پیدا کنید صفحات داخلی گزارش در حسابرسی سایت.
برای لینکهای خراب یا هدایت شده در نقشه سایت ، علامت بزنید همه مسائل گزارش برای “3XX تغییر مسیر در نقشه سایت “و”4XX صفحه در نقشه سایت “شماره.
استفاده کنید گرفتن بجای پست جایی که می توانید
این یکی از لحاظ فنی کمی بیشتر فنی است HTTP روشهای درخواست استفاده نکنید پست درخواست کجا گرفتن درخواست کار می کند. در اصل گرفتن (کشیدن) در مقابل پست (فشار دادن). پست درخواست ها ذخیره نمی شوند ، بنابراین بر بودجه خزیدن تأثیر می گذارند ، اما گرفتن درخواست ها می توانند پنهان شوند.
از نمایه سازی استفاده کنید API
اگر به صفحات سریعتر خزیدن نیاز دارید ، بررسی کنید واجد شرایط Google هستید یا خیر نمایه سازی API. در حال حاضر این مورد فقط برای موارد معدودی مانند ارسال شغل یا فیلم های زنده در دسترس است.
بینگ همچنین دارای یک نمایه سازی API که در دسترس همه است.
چه چیزی کار نخواهد کرد
چند مورد وجود دارد که مردم گاهی اوقات امتحان می کنند و در واقع به بودجه خزیدن شما کمک نمی کند.
- تغییرات جزئی در سایت. ایجاد تغییرات کوچک در صفحاتی مانند به روزرسانی تاریخ ها ، فاصله ها ، یا علائم نگارشی به امید اینکه صفحات بیشتر بخواهند خزیده شوند. گوگل در تعیین قابل توجه بودن یا نبودن تغییرات کاملاً خوب عمل می کند ، بنابراین این تغییرات کوچک هیچ تأثیری در خزیدن ندارد.
- دستورالعمل تاخیر خزش در robots.txt. این دستورالعمل سرعت بسیاری از ربات ها را کاهش می دهد. با این حال Googlebot از آن استفاده نمی کند بنابراین تاثیری نخواهد داشت. ما این احترام را در Ahrefs احترام می گذاریم ، بنابراین اگر شما هرگز نیاز به کاهش سرعت خزیدن دارید ، می توانید تأخیر خزیدن را در پرونده robots.txt خود اضافه کنید.
- حذف اسکریپت های شخص ثالث. اسکریپت های شخص ثالث در بودجه خزیدن شما حساب نمی شوند ، بنابراین حذف آنها کمکی نخواهد کرد.
- Nofollow. خوب ، این یکی iffy است. در گذشته پیوندهای nofollow از بودجه خزیدن استفاده نمی کردند. با این حال ، nofollow اکنون به عنوان یک نکته تلقی می شود بنابراین Google ممکن است ترجیح دهد این پیوندها را خزنده کند.
فقط چند روش خوب وجود دارد که باعث می شود سرعت خزیدن Google کندتر شود. چند تنظیم دیگر وجود دارد که می توانید از لحاظ فنی مانند کاهش سرعت وب سایت خود انجام دهید ، اما آنها روشی نیستند که من توصیه می کنم.
تنظیم آهسته ، اما تضمین شده
کنترل اصلی که Google به ما می دهد تا سرعت کمتری خزیدن کنیم ، a حد نرخ در کنسول جستجوی Google. با استفاده از این ابزار می توانید سرعت خزش را کم کنید ، اما تأثیر آن ممکن است دو روز طول بکشد.
تنظیم سریع ، اما با خطرات
اگر به راه حل فوری تری نیاز دارید ، می توانید از تنظیمات میزان خزیدن Google مربوط به سلامت سایت خود بهره مند شوید. اگر کدهای وضعیت «503 Service Unavailable» یا «429 Too Many Requests» را در Googlebot به صفحات Google ارائه دهید ، آنها شروع به خزیدن کندتر می کنند یا ممکن است به طور موقت خزیدن را متوقف کنند. شما نمی خواهید این کار را بیش از چند روز انجام دهید در غیر این صورت ممکن است شروع به انداختن صفحات از فهرست کنند.
افکار نهایی
باز هم ، می خواهم دوباره تکرار کنم که بودجه خزیدن مورد نگرانی اکثر مردم نیست. اگر نگرانی دارید ، امیدوارم این راهنما مفید باشد.
من معمولاً فقط در مواردی که با صفحات خزیده و نمایه سازی نمی شوند ، به بررسی آنها می پردازم ، لازم است توضیح دهم که چرا کسی نباید نگران این موضوع باشد ، یا اینکه اتفاقاً در گزارش آمار خزنده در کنسول جستجوی Google چیزی را که مربوط به من است می بینم .
سوالی دارید؟ به من اطلاع دهید توییتر.