نحوه جاسوسی از رقبا با Python & Data Studio

بررسی افت تصادفی در رتبه بندی کلمات کلیدی تنها بخشی از تجارت SEO است.

روش های زیادی برای بررسی اینکه کدام کلید واژه های هدف کاهش یافته اند وجود دارد ، اما استفاده از پایتون و دیتا استودیو با هم یک تغییر بازی است!

سلب مسئولیت سریع: من خودم این اسکریپت را ایجاد نکرده ام. ایوان از Architek ، یک SEO و توسعه دهنده دیگر ، برای حل نیاز خاصی که من داشتم ، با من همکاری کرد. ایوان مغز پشت ساخت فیلمنامه بود.

مشاهده مجموعه وسیعی از نتایج گوگل در مقیاس همیشه هدف من بوده است. با این حال ، من از این که مجبور بودم این جستجوها را به صورت دستی انجام دهم خسته شده بودم.

ایوان اشاره کرد که پایتون ممکن است راه حل ایده آل برای حل نیازهای جستجوی SEO من باشد.

ارتباط پایتون با سئو چگونه است؟

همانطور که بسیاری از متخصصان SEO در سالهای اخیر آموخته اند ، پایتون یک زبان برنامه نویسی فوق العاده قدرتمند است که تقریباً می تواند هر کاری را انجام دهد. یکی از رایج ترین کاربردهای پایتون ، خودکارسازی کارهای یکنواخت روزانه است.

یکی از جالبترین چیزها در مورد پایتون این است که چندین روش مختلف برای انجام یک کار وجود دارد. با این حال ، این نیز سطح جدیدی از دشواری را اضافه می کند.

اکثر اسکریپت های نمونه پایتون در آنجا ممکن است کمی قدیمی باشند ، بنابراین خود را در حال آزمایش و خطای زیادی می بینید.

پایتون برنامه های زیادی برای تجزیه و تحلیل داده های SEO دارد. کلید موفقیت داشتن ایده درست است.

اگر ایده ای برای خودکارسازی یک کار دارید ، به احتمال زیاد یک اسکریپت وجود دارد که می تواند برای آن ایجاد شود.

برای اطلاع از آخرین موارد استفاده از Python در SEO ، هملت باتیستا ، مرحوم بزرگ ، مقالات بسیار خوبی را در مجله Search Engine Journal منتشر کرده است.

آنچه این اسکریپت پایتون انجام می دهد و انجام نمی دهد

اکثر ابزارهای رتبه بندی کلمات کلیدی در رتبه بندی متوسط ​​یک کلمه کلیدی در یک بازه زمانی مشخص گزارش می دهند. این اسکریپت پایتون در زمان اجرای آن از آدرس IP خود یک خزندگی را اجرا می کند.

این اسکریپت به منظور ردیابی رتبه بندی کلمات کلیدی نیست.

هدف از این اسکریپت حل مسئله ای بود که با بررسی افت ناگهانی رتبه در مشتریان و رقابت آنها داشتم.

اکثر ابزارهای رتبه بندی کلمات کلیدی به شما می گویند دامنه شما برای کدام صفحات رتبه بندی شده است ، اما بالاترین صفحات رقیب شما در هر کلمه کلیدی نیست.

بنابراین چرا این مهم است؟

در این سناریو ، ما عملکرد صفحه را در دراز مدت دنبال نمی کنیم. ما به سادگی در حال دستیابی به داده های سریع هستیم.

این اسکریپت به ما این امکان را می دهد تا به سرعت روندهای موجود در چشم انداز ارگانیک را شناسایی کرده و ببینیم کدام صفحات بهترین عملکرد را دارند.

چه طور باید شروع کرد

اگر با پایتون تازه کار هستید ، توصیه می کنم آن را بررسی کنید آموزش رسمی پایتون یا وب سایت Automate the Boring Stuff.

برای این آموزش ، من از PyCharm CE استفاده می کنم ، اما شما می توانید از Sublime Text ، Jupyter Notebook یا هر محیط توسعه دلخواه خود استفاده کنید.

این اسکریپت در پایتون 3 نوشته شده است و ممکن است برای افرادی که به این زبان برنامه نویسی تازه کار می کنند کمی پیشرفته باشد.

اگر هنوز مترجمی پیدا نکرده اید یا اولین محیط مجازی خود را راه اندازی نکرده اید ، این راهنما می تواند به شما در شروع کمک کند

پس از راه اندازی یک محیط مجازی جدید ، به کتابخانه های زیر نیاز دارید:

حالا که همه چیز آماده است ، بیایید با هم به تحقیق بپردازیم.

1. کلمات کلیدی خود را برای تحقیق جمع آوری کنید

ما قصد داریم از برخی از داده های نمونه برای بررسی برخی از کلمات کلیدی که تظاهر می کنیم آنها را دنبال می کنیم ، استفاده کنیم.

بیایید وانمود کنیم که شما به نرم افزار ردیابی کلمات کلیدی خود نگاه کرده اید و متوجه شده اید که کلمات کلیدی زیر بیش از پنج موقعیت کاهش یافته است:

• نکات سئو.
• مشاوره سئو محلی.
• سئو را بیاموزید.
• مقالات بهینه سازی موتورهای جستجو
• وبلاگ سئو
• اصول SEO

سلب مسئولیت: جستجوی بیش از حد کلمات کلیدی ممکن است منجر به ممنوعیت موقت IP شما شود. پینگ کردن Google برای این نتایج همزمان می تواند هرزنامه به نظر برسد و منابع آنها را از بین ببرد. با احتیاط و اعتدال استفاده کنید.

اولین کاری که ما انجام خواهیم داد این است که این کلمات کلیدی را در یک فایل متنی ساده قرار دهیم. همانطور که در تصویر زیر نشان داده شده است ، کلمات کلیدی باید با وقفه خط جدا شوند.

تصویر از TextEdit ، اکتبر 2021

2. اسکریپت تحقیق رتبه بندی پایتون را اجرا کنید

TL؛ DR این اسکریپت این است که سه عملکرد اساسی را انجام می دهد:

• فایل searches.txt شما را پیدا و باز می کند.
• از آن کلمات کلیدی استفاده می کند و صفحه اول Google را برای هر نتیجه جستجو می کند.
• یک فایل CSV جدید ایجاد می کند و نتایج را چاپ می کند (کلمه کلیدی ، URL ها و عناوین صفحه).

برای اینکه این اسکریپت به درستی کار کند ، باید آن را در بخش هایی اجرا کنید. اول ، ما باید کتابخانه های خود را درخواست کنیم.

دستور زیر را کپی و جایگذاری کنید.

from urllib.parse import urlencode, urlparse, parse_qs

from lxml.html import fromstring
from requests import get
import csv

در مرحله بعد ، می توانید عملکرد اصلی این اسکریپت را در یک عمل کپی/چسباندن وارد کنید.

این قسمت از اسکریپت مراحل واقعی انجام شده را تنظیم می کند ، اما تا مرحله سوم فرمان را اجرا نمی کند.

def scrape_run():
    with open('searches.txt') as searches:
        for search in searches:
           userQuery = search
           raw = get("https://www.google.com/search?q=" + userQuery).text
           page = fromstring(raw)
           links = page.cssselect('.r a')
           csvfile="data.csv"
           for row in links:
               raw_url = row.get('href')
               title = row.text_content()
               if raw_url.startswith("/url?"):
                   url = parse_qs(urlparse(raw_url).query)['q']
                   csvRow = [userQuery, url[0], title]
                   with open(csvfile, 'a') as data:
                       writer = csv.writer(data)
                       writer.writerow(csvRow)

حالا شما آماده اجرای فرمان هستید. آخرین مرحله این است که دستور زیر را کپی/جایگذاری کرده و روی کلید بازگشت کلیک کنید.

scrape_run()

خودشه!

3. از Magic of Data Studio برای تجزیه و تحلیل نتایج استفاده کنید

با اجرای این دستور ممکن است متوجه شوید که یک فایل CSV جدید به نام data.csv ایجاد شده است.

اینها نتایج خام شما هستند که برای مرحله نهایی به آنها نیاز داریم.

آژانس من یک ابزار مفید ایجاد کرده است قالب Data Studio برای تجزیه و تحلیل نتایج خود برای استفاده از این گزارش رایگان ، باید نتایج خود را در Google Sheets جایگذاری کنید.

صفحه موجود در پیوند بالا دارای دستورالعمل های عمیق در مورد نحوه تنظیم گزارش Data Studio شما است.

چگونه نتایج خود را در Data Studio تجزیه و تحلیل کنیم

اکنون که گزارش جدید Data Studio خود را اجرا کرده اید ، وقت آن است که همه این داده ها را معنا کنید.

آنچه ما به دنبال آن هستیم الگوها هستند. بله ، می توانید الگوهایی را در داده های خام پیدا کنید ، اما این الگوی Data Studio دارای ویژگی مفیدی است که به ما امکان می دهد سریعاً مشخص کنیم کدام صفحات بیشترین کلمات کلیدی مورد نظر را رتبه بندی می کنند.

این مفید است زیرا به ما امکان می دهد ببینیم کدام رقبا عملکرد خوبی دارند و کدام صفحات خاص عملکرد خوبی دارند.

تصویر از قالب تجسم پایتون ، استودیو داده ، اکتبر 2021

همانطور که در تصویر صفحه Data Data مشاهده می کنید ، Moz و Ahrefs دو رقیب برتر برای کلمات کلیدی جستجو شده ما هستند.

با این حال ، این واقعاً به ما کمک نمی کند تا بفهمیم دقیقاً برای رتبه بندی آن کلمات کلیدی چه کار می کنند.

آنجاست که نمودار دوم به کار می آید. با این کار هر صفحه رتبه بندی و تعداد دفعاتی که برای همه جستجوهای جستجوی ما رخ می دهد نمایش داده می شود. ما به سرعت قادر به شناسایی سه صفحه برتر برای کلمات کلیدی خود هستیم.

آیا نیاز به فیلتر کردن در یک صفحه یا سطح خاص کلمات کلیدی دارید؟

ما فیلترهایی را در بالای الگوی Data Studio قرار داده ایم تا این امر ساده شود.

تصویر از قالب تجسم پایتون ، استودیو داده ، اکتبر 2021

هنگامی که لیستی از صفحات با بهترین عملکرد را تهیه کردید ، می توانید تجزیه و تحلیل های بیشتری را در داخل و خارج از صفحه انجام دهید تا دریابید که چرا این صفحات به خوبی عمل می کنند.

گير كردن؟

اگر در حال گیر افتادن هستید ، می توانید برای راهنمایی یا راه حل های برنامه نویسی سفارشی ، با مخترع این اسکریپت در آدرس contact@architek.co تماس بگیرید.

نظر شما چیست؟

امیدوارم این امر ایده های خلاقانه ای را در مورد چگونگی استفاده از پایتون برای کمک به خودکارسازی فرآیندهای SEO شما جرقه زده باشد.

منابع بیشتر:

تصویر ویژه: nikkimeel/Shutterstock