چگونه Ahrefs پیوندها و دامنه ها را حساب می کند
هر ابزار backlink پیوندهای مختلفی را ذخیره می کند.
هنگام ایجاد نمایه ای از وب ، شرکت ها مجبورند در مورد داده های خزنده ، تجزیه و نمایه سازی ، انتخاب های زیادی انجام دهند. گرچه تداخل زیادی بین شاخص ها وجود دارد ، بسته به تصمیمات هر شرکت ، تفاوت هایی نیز وجود خواهد داشت.
به نام شفافیت ، ما می خواهیم مردم را در مورد شاخص پیوند Ahrefs بیشتر بدانیم.
پیوندها هنگام کلیک کاربران را از یک صفحه وب به صفحه دیگر می برند. روش های زیادی برای ایجاد آنها وجود دارد که متداول ترین روش کلاسیک است HTML <a>
عنصری با ویژگی href.
<a href="https://ahrefs.com/blog/how-ahrefs-counts-links/url">link text</a>
با این وجود ایجاد پیوند با سایر عناصر ، از جمله:
- کلیک کنید
- دکمه
- کلیک کردن
- گزینه / ارزش
- و بیشتر…
در یک دنیای ایده آل ، هر چیزی که به عنوان یک لینک عمل می کند ذخیره می شود. متأسفانه ، ما در یک دنیای ایده آل زندگی نمی کنیم. نه Ahrefs و نه Google انواع پیوندها را ذخیره نمی کنند زیرا بارگیری هر صفحه و کلیک بر روی هر پیوند فرآیند کارآمدی نیست. این دقیقاً همان کاری است که اگر می خواهید تمام پیوندهایی را که برای کاربران مفید است پیدا کنید ، باید این کار را انجام دهید.
در عوض ، خزنده ها معمولاً صفحات را واکشی می کنند ، احتمالاً آنها را ارائه می دهند ، سپس انواع مختلف پیوندها را استخراج و ذخیره می کنند. همه خزنده ها متفاوت کار می کنند ، بنابراین بیایید در مورد چگونگی انجام کارها در Ahrefs صحبت کنیم.
پیوندهایی که ذخیره می کنیم
در اینجا انواع پیوندهایی که ذخیره می کنیم در فهرست ما وجود دارد.
لینک های خارجی
پیوندها از یک وب سایت به وب سایت دیگر با استفاده از کلاسیک ایجاد شده است HTML <a>
عنصری با ویژگی href.
پیوندهای داخلی
از یک صفحه در یک وب سایت به یک صفحه دیگر در همان وب سایت پیوند دهید. 22.21 تریلیون بک لینک داخلی در شاخص ما وجود دارد. این بسیار گسترده تر از تعداد پیوندهای خارجی زنده ما است. ما تنها هستیم سئو ابزاری که می توانید بدون خزیدن وب سایت سفارشی به این داده ها دسترسی پیدا کنید. ما از داده های پیوند داخلی در استفاده می کنیم آدرس اینترنتی رتبه بندی (UR) محاسبه ، مشابه نحوه استفاده Google از آن در محاسبه PageRank خود.
اگر می خواهید ببینید که ما اولین و آخرین بار چه زمانی خزیده ایم آدرس اینترنتی، می توانید گزارش “بهترین توسط پیوندها” را در Site Explorer بررسی کنید. برگه هایی برای پیوندهای خارجی و داخلی وجود دارد.
پیوندهایی که ممکن است ذخیره کنیم
در اینجا همه پیوندهایی است که تحت برخی شرایط ذخیره می کنیم.
پیوندهای درج شده با JavaScript
از آنجا که Google همه صفحات را ارائه می دهد ، آنها می توانند پیوندهایی را که با JavaScript درج شده اند ، حساب نکنند HTML کد رندر در مقیاس منابع بسیار بیشتری از فقط بارگیری فایل مورد نیاز است HTML از صفحات در Ahrefs ، ما حدود 80 میلیون صفحه در روز ارائه می دهیم. به همین دلیل برخی از این پیوندها را JavaScript وارد کرده ایم ، اما نه همه آنها. ما در حال حاضر تنها هستیم سئو ابزاری که در خلال منظم وب ما ارائه می دهد ، بنابراین ما برخی از داده های پیوند را داریم که ابزارهای دیگر ندارند.
با این حال ، ما فقط لینک های درج شده با JavaScript را در صورتی حساب می کنیم که از قالب an باشند HTML <a>
عنصری با ویژگی href. این پیوندها را در گزارش پیوندهای لینک دار با عنوان “JS،” مثل این:
پیوندها از صفحات با آدرس اینترنتی مولفه های
پارامترها اضافات a هستند آدرس اینترنتی مانند؟ tag = چیزی. ممکن است برخی از این URL ها را در فهرست ما مشاهده کنید ، اما آنها معمولاً پارامترهایی هستند که محتوای مختلفی را نشان می دهند. در بسیاری از موارد ، صفحات دارای پارامتر می توانند محتوای یکسانی را نشان دهند. ما سیستم های زیادی برای ادغام URL ها در نسخه های متعارف و حفاظت اضافی برای مسیرهای خزیدن بی نهایت در دسترس داریم. ابزارهای دیگر ممکن است تصمیمات یکسانی نگیرند و یا محافظت های یکسان داشته باشند. در نتیجه ، آنها ممکن است اساساً پیوند یکسانی را بارها حساب کنند.
پیوندهایی که سعی می کنیم ذخیره نکنیم
در اینجا پیوندهایی وجود دارد که ما تمام تلاش خود را برای ذخیره نکردن آنها انجام می دهیم.
پیوندها از صفحات با آدرس اینترنتی مولفه های
همانطور که در بالا ذکر شد ، انواع خوب و بد پارامترها وجود دارد. ما سعی می کنیم موارد تکراری را ذخیره نکنیم.
پیوندها از صفحات در مسیرهای بی نهایت خزیدن
این مسیرها تعداد نامحدودی از URL های ممکن را ایجاد می کنند. پارامترها یکی از روشهای شکل گیری آنهاست ، اما فیلترها ، محتوای پویا و مسیرهای نسبی شکسته برای پیوندها نیز وجود دارند. همانطور که قبلاً اشاره شد ، ما از پیوندهای موجود در این نوع صفحات حمایت های زیادی انجام داده ایم تا احتمال کمتری در گزارش های ما نشان داده شود. احترام به متعارف کردن و نحوه اولویت قرار دادن صفحات خزنده ، فقط دو مورد از این موارد حفاظتی است. هر نمایه ای باید با این فضاهای بی نهایت سر و کار داشته باشد ، اما این صفحات برای افزایش تعداد پیوندها امکان دارد.
پیوندهایی که ذخیره نمی کنیم
در اینجا تمام پیوندهایی وجود دارد که ما هرگز ذخیره نمی کنیم.
پیوندها در PDF یا سایر اسناد
گوگل بسیاری از قالب های سند را به تبدیل می کند HTML و آنها را مانند سایر صفحات ایندکس می کند. این بدان معنی است که آنها پیوندهای موجود در این اسناد را حساب می کنند. من اعتقاد ندارم که هیچ سئو ابزار در حال حاضر این پیوندها را نمایه می کند ، اما احتمالاً باید این کار را انجام دهیم. من فکر می کنم که روزی این کار را خواهیم کرد ، اما همچنین نگرانم که تلاش و منابع مورد نیاز برای این کار ارزش آن را نداشته باشد. به گفته تحلیلگر Google Webmaster Trends جان مولر ، پیوندها در PDF هیچ تاثیری عملی در جستجوی وب ندارند.
پیوندها در iframes
Iframes اجازه می دهد صفحه دیگری در داخل صفحه نشان داده شود. به همین دلیل ، Ahrefs پیوندها را در فریم ها حساب نمی کند. با این حال ، آنها به کاربران نشان داده می شوند ، بنابراین ابزارهای دیگر ممکن است آنها را بشمارند حتی اگر محتوا از نظر فنی به صفحه دیگری تعلق داشته باشد. Google ممکن است این پیوندها را بشمارد یا نه.
پیوندهای صفحات ایندکس نشده است
ما این پیوندها را رها می کنیم. پیام های مختلفی از طرف نمایندگان Google در مورد اینکه آیا آنها از این موارد در محاسبات پیوند استفاده می کنند یا خیر وجود دارد. ابزارهای مختلف ممکن است تصمیمات متفاوتی بگیرند.
چیزی با noindex هرگز به شاخص سرویس نخواهد رسید ، اما نسخه قابل دسترسی برای مواردی مانند محاسبه نمودار پیوند را خواهیم داشت. – Gary 鯨 理 / 경리 Illyes (methode) 17 دسامبر 2020
پیوندهای مشابه از چندین IP
یک واقعیت جالب در مورد وب این است که سایت ها ممکن است یک صفحه را از چند طریق ارائه دهند IP آدرس ها. در این صورت ، یک نمایه پیوند ممکن است چندین بار همان پیوند را بشمارد. ما این کار را نمی کنیم ما پیوندها را با صفحاتی که در آن هستند مرتبط می کنیم.
چندین لینک به یک صفحه از یک صفحه واحد
در حال حاضر ، ما فقط یک نسخه از پیوند را در یک صفحه ضبط می کنیم. اگر به صفحه ای در فهرست و سپس دوباره در محتوای بدن پیوند دهید ، ما فقط یکی از این پیوندها را حساب خواهیم کرد. ممکن است در آینده این مورد را تغییر دهیم تا داده های بیشتری به کاربران بدهیم ، اما این وضعیت فعلی است. Google برای عبور از PageRank تمام نسخه های پیوند را حساب می کند اما ممکن است فقط از متن لنگر یک نسخه استفاده کند.
سایر موارد مرتبط با پیوند که بر شاخص تأثیر دارند
درک چگونگی شمارش پیوندها یک چیز است ، اما بسیاری از موارد دیگر می توانند بر روی آنچه شمارش می شود یا غیر قابل شمارش است ، تأثیر بگذارند.
تعداد پیوندها در هر صفحه
من معتقدم برای تعداد پیوندهایی که در هر صفحه می شماریم محدودیتی نداریم ، اما محدودیت اندازه صفحه داریم که ممکن است در نهایت بر تعداد پیوندهایی که می بینیم تأثیر بگذارد. گوگل توصیه می کند بیش از چند هزار پیوند در هر صفحه.
هدایت مجدد یا متعارف
در Ahrefs ، ما به همه هدایت ها و برچسب های متعارف اعتماد داریم و پیوندهایی را که وب سایت ها به ما می گویند تلفیق می کنیم. برای گوگل ، این پیچیده تر است ، زیرا آنها سیگنالهای متعارف بسیاری دارند که تعیین می کند کدام صفحه منجر به یک خوشه متعارف شود. ما همه کارها را ساده انجام می دهیم زیرا دانستن اینکه Google چگونه به هر موقعیتی نگاه می کند غیرممکن است و اگر هر بار با متعارف متعارف رفتار کنیم و تغییر مسیر دهیم ، کاربران ما را گیج می کند.
این پیوندها در گزارش های ما با “301” ، “302” یا “Canonical” برچسب گذاری شده اند ، مانند:
در Ahrefs ، ما مراجعه به دامنه ها گزارشی که تمام دامنه ها را به وب سایت یا صفحه وب پیوند می دهد.
اما دقیقاً چگونه دامنه ها را حساب می کنیم؟
فکر می کنید پاسخ این س thisال آسان باشد. این فقط domain.com است ، درست است؟ متأسفانه ، همه چیز کمی پیچیده تر است ، زیرا روش های زیادی برای شمارش دامنه وجود دارد. یک گزینه این است که هر دامنه ثبت شده را به عنوان یک دامنه در نظر بگیرید – به نظر می رسد نحوه جمع آوری Google از آنها در Google Search Console باشد. مورد دیگر این است که هر زیر دامنه را به عنوان یک دامنه متفاوت در نظر بگیریم. شما همچنین می توانید برخی از بخشهای یک سایت را جمع کنید و نه بخشهای دیگر (کاری که Google انجام می دهد) ، از هر بخش در یک پشته فناوری متفاوت استفاده کنید ، و غیره گزینه های زیادی وجود دارد.
در Ahrefs ، 175 میلیون پوند دامنه پس از بررسی داریم. روند تأیید شامل حذف دامنه های هرزنامه و از بین بردن برخی از زیر دامنه ها است که در آنجا تشخیص داده ایم کاربران مختلف مناطق مختلف را کنترل می کنند. ما از یک لیست سفارشی برای این کار استفاده می کنیم ، اما یک لیست عمومی تا حدودی مشابه در آن وجود دارد https://publicsuffix.org/list/.
توجه به این نکته مهم است که تعریف های مختلف دامنه می تواند منجر به تغییرات زیادی در دامنه های ارجاع شود. در اینجا چند نمونه از مواردی آورده شده است که دیگران ، نه Ahrefs ، ممکن است به عنوان دامنه های جداگانه حساب شوند:
- دامنه های فرعی نسخه های موبایل (m.domain.com ، mobile.domain.com و غیره)
- زیر دامنه های کشور / زبان (en.domain.com ، fr.domain.com ، de.domain.com ، jp.domain.com و غیره) ممکن است در فهرست ما استثناهایی مانند wikipedia.org وجود داشته باشد ، اما این یک عمل استاندارد نیست.
- دامنه های فرعی تصادفی (support.domain.com ، images.domain.com و غیره)
تصمیم دیگری که ارائه دهندگان ابزار بک لینک باید بگیرند این است که آیا آنها باید برخی از پوشه های فرعی را به عنوان دامنه های مختلف حساب کنند. به عنوان مثال ، من فکر می کنم بیشتر شاخص های پیوند وبلاگ های مختلف را در سیستم عامل های معروف (به عنوان مثال user1.blogspot.com ، user2.blogspot.com) به عنوان دامنه های مختلف حساب می کنند زیرا کاربران مختلف آنها را کنترل می کنند. اما چرا همین کار را برای سایت هایی مانند medium.com/user1 یا github.com/user1 انجام ندهید؟ در Ahrefs ، ما در حال حاضر این کار را انجام نمی دهیم ، اما این احتمال وجود دارد که در آینده بدانیم افراد مختلف هر زیر پوشه را در یک سایت کنترل می کنند.
نکته اینجاست که روشهای زیادی برای شمارش دامنه وجود دارد. این امر هنگامی واضح است که به ارقام مختلف شرکتهایی که سایتها را در اینترنت می شمارند ، نگاه کنید. با توجه به Verisign، 370.7 میلیون دامنه ثبت شده در وجود دارد Q3 2020 در کل TLD ها. به گزارش نت کرافت، 1،229،948،224 سایت در 263،787،870 دامنه منحصر به فرد با 193.8 میلیون سایت فعال در نوامبر 2020 وجود دارد. مطابق آمار زنده اینترنت، تقریباً 1.8 میلیارد وب سایت وجود دارد که در حال حاضر کمتر از 200 میلیون وب سایت فعال هستند. هر شرکت به روشنی روش متفاوتی برای شمارش دامنه ها دارد.
به طور خلاصه ، آنچه که ما در Ahrefs انجام می دهیم این است که همه سایتهایی را که می شناسیم ، از بین ببریم و بسیاری از دامنه های ناخواسته و هرزنامه را حذف کنیم ، سپس برخی از آنها را برای زیر دامنه ها در سایتهایی مانند blogspot.com اضافه کنیم. اینگونه است که به کل دامنه 175 میلیون پوندی خود رسیده ایم. شاخص های دیگر ممکن است این کار را متفاوت انجام دهند و شمارش های مختلفی داشته باشند.
همانطور که با خزیدن در وب لینک های پی در پی پیدا می کنیم ، فقط در سایت هایی که اجازه خزیدن داریم ، می توانیم این کار را انجام دهیم. اگر صاحبان سایت ، AhrefsBot را در پرونده robots.txt خود مسدود کنند ، نمی توانیم سایت آنها را جستجو کنیم. اگر robots.txt در دسترس نباشد ، همین امر انجام می شود ، زیرا ما می خواهیم با احتیاط اشتباه کنیم. به عنوان مثال ، اگر از وب سایت.com بک لینک بگیرید و AhrefsBot را مسدود کنید ، ما نمی توانیم سایت آنها را جستجو کنیم و بک لینک شما در Ahrefs نشان داده نمی شود. IP بلوک ها ، بلوک های عامل کاربر از سرورها (متفاوت با robots.txt) ، وقفه های زمانی سرور ، محافظت از ربات و بسیاری موارد دیگر نیز می توانند بر توانایی ما در پیمایش برخی از وب سایت ها تأثیر بگذارند. خزیدن در مقیاس وب آسان نیست.
ما چندین نمایه پیوند داریم
هر ابزار باید در مورد ذخیره سازی و بازیابی داده ها تصمیم بگیرد. در Ahrefs ، ما داده های خود را به چندین شاخص تقسیم می کنیم.
- زنده – پیوندهایی که مشاهده می کنیم و هنوز در وب فعال هستند. این وضعیت به بهترین شکل وضعیت فعلی وب را نشان می دهد و همان چیزی است که بسیاری از کاربران ما آن را بسیار مفید می دانند.
- اخیر – پیوندهایی که طی 3-4 ماه گذشته در وب فعال دیده ایم.
- تاریخی – تمام پیوندهایی که تاکنون دیده ایم. این قرار است جامع ترین لیست باشد ، اما با پیوندهای زیادی که دیگر وجود ندارد.
شما می توانید بین فهرست های موجود در بک لینک و گزارش های دامنه ارجاع دهنده ما جابجا شوید.
شاخص های دیگر ممکن است ترجیح دهند تمام داده هایی را که دیده اند نشان دهند و اگرچه این بدان معنی است که ممکن است پیوندهای زیادی را نشان دهند ، اما بسیاری از این پیوندها ممکن است دیگر وجود نداشته باشند.
افکار نهایی
ما می خواهیم شما کاربران خود اطلاعات بیشتری در مورد فهرست ما داشته باشید تا بتوانید آگاهانه تصمیم بگیرید. ما همچنین می خواهیم اگر فکر می کنید باید چیزها را تغییر دهیم و چرا به ما اطلاع دهید.
اگر در حال حاضر فهرست های پیوند را مقایسه می کنید یا در مورد داده های ما س questionsالی دارید ، در صورت تمایل با س questionsال یا توضیحات با ما تماس بگیرید.