کرال باجت یا بودجه خزش چیست؟

موضوعی که در این مطلب می‌خواهیم به آن بپردازیم، بودجه خزش است. موضوعی جالب و چالش ‌برانگیز که گوگل رسماً اعلام کرده نگران آن نباشیم، ولی در حاشیه موضوع، اظهار نظرهای غیر رسمی متعددی درباره آن وجود دارد.

همین مساله باعث شده باورهای غلطی درباره کراول باجت و ربات‌های خزنده گوگل شکل بگیرد و تعریف و عملکرد اصلی بودجه خزش فراموش شود!

اگر دوست دارید یک بار برای همیشه بدانید crawl budget چیست و خزنده‌های گوگل چه نقشی در این ماجرا دارند، پیشنهاد می‌کنیم تا انتهای این مقاله با ما همراه شوید.

در پایان این بخش از مقالات آموزش سئو علاوه بر اینکه با فاکتورهای تعیین بودجه خزش سایت آشنا می‌شوید، یاد می‌گیرید چطور باورهای اشتباهی که باعث هدر رفتن بودجه سایت می‌شوند، کنار بگذارید و در مقابل اقداماتی را انجام دهید که باعث افزایش کراول باجت و رفاقت صمیمی خزنده‌های گوگل با سایت می‌شوند.

آشنایی با خزنده‌های پرتلاش دنیای وب؛ google crawler bots

اغلب مردم در دنیای واقعی از خزنده‌ها وحشت دارند و این موضوع حتی به دنیای وب و سئو سایت هم سرایت کرده است. نمونه‌اش ربات‌های گوگل یا همین خزنده‌های پر تلاشی که بسیاری از وبمستران باورهای عجیبی درباره آنها دارند؛ در حالی که ما ایندکس شدن صفحات و دیده شدن سایت مان را مدیون همین کوچولوهای زحمتکش و پرتلاش هستیم!

وظایف خزنده‌های گوگل در 3 سطح Crawling، Indexing و Ranking دسته بندی می‌شود. Crawling یا خزش صفحات وب، همان وظیفه‌ای که با موضوع بودجه خزش سایت گره خورده است. ربات‌های گوگل دوست دارند از هر مطلب جدیدی که وارد این فضا می‌شود، سر در بیاورند؛ از مقاله و محصول گرفته تا فیلم، عکس و غیره.

بعد از اینکه تکلیف محتوا برای آنها روشن شد، آن را ایندکس می‌کنند تا کاربران گوگل هم به محتوا دسترسی داشته باشند. در مرحله پایانی هم سایت‌ها را براساس فاکتورهای مختلف رتبه بندی می‌کنند.

اما یک سوال! این ربات‌های باهوش چطور می‌فهمند که برای بررسی محتوای هر سایت باید چقدر زمان بگذارند؟ اصلاً از کجا می‌فهمند که ما محتوای جدیدی در سایت قرار داده‌ایم و باید به آن سر بزنند؟ جواب این سوال در بخش بعدی و تعریف مفهوم بودجه خزش مشخص می‌شود.

crawl budget چیست؟ وقتی خزنده‌های گوگل دست به کار می‌شوند

یکی از جذاب‌ترین قسمت‌های کار خزنده‌های گوگل، مرحله فراخوانی این ربات‌ها به سایت است. ما بدون اینکه بدانیم، از طریق لینک‌های موجود در صفحه جدید و همچنین درخواست ایندکس با ابزار URL inspection tool سرچ کنسول گوگل به خزنده‌های تیز و فرز گوگل می‌گوییم که: «سلام رفیق! ما محتوای جدید به وب اضافه کردیم. دوست داری ببینیش؟».

فکر می‌کنید وقتی ربات‌های گوگل این سیگنال را دریافت کردند، چه کار می‌کنند؟

آفرین! به پرونده سایت ما نگاه می‌کنند تا ببینند هر چند وقت یکبار باید به سایت ما سر بزنند. این خزنده‌های پرتلاش خیلی سرشان شلوغ است و باید به سایت‌های مختلفی سر بزنند.

در نتیجه با گوگل به این توافق رسیده‌اند که برای هر سایت یک «بودجه خزش» تعریف کنند. به همین دلیل است که در بخش قبلی گفتیم، بودجه خزش به شرح وظایف ربات‌های گوگل گره خورده است.

اما crawl budget یا بودجه خزش چیست؟ بودجه خزش تعداد صفحاتی از سایت ماست که خزنده‌های گوگل طی دوره‌های زمانی مشخص (مثلاً یک روزه یا…) آنها را کراول و ایندکس می‌کنند.

گوگل با اختصاص بودجه خزش، سهم سایت‌ها از میزان خزش ربات‌های Crawler را منصفانه تعیین کرده تا فضای رقابتی عادلانه‌ای شکل بگیرد.

تعریف crawl budget از زبان گوگل

اجازه دهید تعریفی از crawl budget که گوگل در صفحه Google Search Central منتشر کرده با هم بخوانیم:

«در همین ابتدا، تأکید می‌کنیم بودجه خزش چیزی نیست که نگران آن باشید. اگر قرار باشد صفحات جدید در همان روزی که منتشر می‌شوند، ایندکس شوند، پس بودجه خزش چیزی نیست که لازم باشد مدیران وب سایت‌ها روی آن تمرکز کنند.

به همین ترتیب، اگر سایتی کمتر از چند هزار صفحه داشته باشد، در اغلب مواقع به ‌طور مؤثر خزیده می‌شود.

 crawl budget برای سایت‌های بزرگ‌تر یا سایت‌هایی که به‌ طور خودکار صفحات را تولید می‌کنند، موضوع مهم‌تری است.»

بودجه خزش چه مفهومی برای ربات‌های گوگل دارد؟

بودجه خزش برای ربات‌های گوگل این مفهوم را دارد:

«به سایت example.com چقدر باید توجه کنیم. آیا لازمه هر روز محتوای این سایت بررسی و ایندکس کنیم یا نه.»

خزنده‌های گوگل برای بررسی محتوای ما، به بازه‌های زمانی انتشار محتوا، عنوان و ماهیت محتوا توجه می‌کنند. میزان این توجه هر چه قدر بیشتر باشد، تعداد بیشتری از صفحات سایت شانس کراول و ایندکس شدن پیدا می‌کنند.

Crawl Limit و Crawl Demand؛ دو عامل مهم در تعیین بودجه خزش سایت‌ها

بودجه خزشی که گوگل برای سایت‌ها تعیین می‌کند و خزنده‌های زحمتکش هم تابع آن هستند، براساس دو عامل Crawl Limit و Crawl Demand، تعیین می‌شود. قبل از اینکه بگوییم گوگل چطور از این دو فاکتور برای مشخص کردن بودجه خزش استفاده می‌کند، اول با تعریف آنها آشنا شوید:

• Crawl Limit؛ این فاکتور به گوگل می‌گوید که منابع سرور سایت ما ظرفیت پذیرش چه تعداد خزش را دارد.
• Crawl Demand؛ این فاکتور هم می‌گوید کدام یک از صفحات ما ارزش چندین بار کراول کردن را دارد.

خُب! حالا ببینیم گوگل چطور با کنار هم قرار دادن نتایج این دو فاکتور، برای سایت ما بودجه خزش مشخص می‌کند.

Crawl Limit و اهمیت سرور و هاست در بودجه خزش

در مورد Crawl Limit هر بار که خزنده‌های گوگل بخواهند یک صفحه را کراول کنند، یک درخواست دسترسی به منابع سایت به سمت سرور ارسال می‌شود. اگر تعداد این درخواست‌ها خیلی زیاد باشد و سرور نتواند به همه آنها پاسخ بدهد، سایت down می‌شود.

گوگل برای اینکه بفهمد Crawl Limit سایت ما چقدر است، به چند موضوع توجه می‌کند:

1. آیا سرور سایت ما در زمان درخواست‌های گوگل دچار مشکل می‌شود؟
2. سایت ما از هاست اشتراکی استفاده می‌کند یا هاست اختصاصی؟
3. سایت ما از نظر محتوا و تعداد صفحات بزرگ است یا کوچک؟

اگر از هاست اشتراکی استفاده می کنید، سرور سایت بیش از حد دچار اختلال می شود و تعداد صفحات سایت بیش از 1000 صفحه است، احتمالا نمره Crawl Limit خوبی دریافت نخواهید کرد.

Crawl Demand و فاکتورهای ارزش گذاری محتوای صفحات

درباره Crawl Demand هم گوگل براساس 3 فاکتور نوع صفحه، محبوبیت و تازگی محتوا، ارزش کراول شدن یک صفحه را مشخص می‌کند. بر این اساس:

1. صفحاتی که احتمال تغییر محتوای آنها بیشتر باشد، Crawl Demand بالاتری دارند. مثال کاملاً ساده این موضوع، مقایسه احتمال تغییر محتوای صفحه «قوانین و مقررات» در سایت‌های فروشگاهی با صفحه «محصول» است.
2. صفحه‌ای که محتوای آن در بازه‌های زمانی کوتاه بروزرسانی می‌شود، برای خزنده‌های گوگل جذاب‌تر است، پس باید بیشتر به آن سر بزنند.
3. صفحه‌ای که صفحات داخلی و سایت‌های متنوعی به آن لینک داده‌اند، در مقایسه با سایر صفحات، بیشتر ارزش کراول کردن دارد.

توضیح این دو فاکتور کمی طولانی شد، ولی دوست داشتیم بدانید که گوگل دقیقاً چه فرآیندی را طی می‌کند که این دو فاکتور را در صفحات مختلف سایت ما ارزیابی کند و در نهایت یک بودجه خزش مشخص را به سایت ما اختصاص دهد.

بودجه خزش چقدر در سئوی سایت ما تأثیر دارد؟

سوال خوبی است. احتمالاً تجربه این اتفاق را داشته‌اید که یک محتوای جدید (صفحه محصول، مقاله، بلاگ یا…) به سایت اضافه کردید، چند روز گذشته و خبری از ایندکس آن نیست. گاهی اوقات چند هفته هم می‌گذرد، ولی هیچ اثری از ردپای خزنده‌های گوگل در صفحه جدید نمی‌بینیم!

ما که می‌دانیم هیچ تغییری از چشم ربات‌های گوگل دور نمی‌ماند، پس حالا چه اتفاقی افتاده که خبری از ایندکس محتوای جدیدمان نیست؟

سر نخ این قضیه به crawl budget و خزنده‌های ناقُلا بر می‌گردد

قبلاً دانستیم که خزنده‌های گوگل سرشان شلوغ است و گوگل بودجه خزش را تعریف کرده تا ربات‌ها بدانند که به هر سایت چند بار باید سر بزنند. پس تا اینجا خیالمان راحت است که ربات‌های گوگل از بودجه خزش ما خبر دارند. بنابراین فقط دو حالت امکان پذیر است:

1. بنا به دلایل نامشخص، سرعت ایندکس برای تمام سایت‌ها دچار اُفت شده است

در این حالت معمولاً همه وبمستران از سرعت بسیار کُند ایندکس صفحات شکایت می‌کنند و این قضیه آنقدر دهان به دهان می‌چرخد که تقریباً همه مطمئن می‌شویم که مشکل از سمت سایت ما نیست و به برنامه‌های خود گوگل بر می‌گردد.

2. کاملاً ناآگاهانه کراول باجت سایت را به هدر داده‌ایم

از عبارت ناآگاهانه استفاده می‌کنیم، چون مطمئناً اگر می‌دانستیم داریم با دستان خودمان بودجه خزش (موضوع به این مهمی!) را به هدر می‌دهیم، هیچ وقت این کار را نمی‌کردیم.

معمولاً در این شرایط به قدری خزنده‌های گوگل را درگیر صفحات بی ارزش می‌کنیم، که تقریباً فرصتی برای کراول و ایندکس کردن صفحات جدید یا با ارزش پیدا نمی‌کنند و بی حاصل سایت را ترک می‌کنند.

در این بین اولین نقطه‌ای که آسیب می‌بیند، سئو سایت است. چون صفحات بی اهمیت سایت دیده شده، ولی صفحات با ارزشی که پتانسیل بسیار خوبی برای ایندکس شدن در صفحه نتایج گوگل و جذب ترافیک ارگانیک دارند، از قافله جا مانده‌اند.

مقصر هم خود ما هستیم، به خاطر باورهای غلطی که درباره خزنده‌های گوگل داریم و مانع از برنامه ریزی درست ما برای انجام دادن کارهایی شده که می‌توانند باعث بهینه سازی کراول باجت سایت شوند.

پیش از اینکه به سراغ بخش بعدی این مطلب برویم، توصیه می‌کنیم با مراجعه به ابزار رایگان Google Search Console وضعیت بودجه خزش سایت خود را بررسی کنید. این کار خیلی راحت است. فقط کافیست به پنل setting رفته و روی گزینه «Crawl stats» کلیک کنید تا گزارشی شبیه به تصویر پایین برایتان نمایش داده شود.

5 باور غلط درباره بودجه خزش سایت و عملکرد خزنده‌های گوگل که باید فراموش کنیم!

قبول داریم که گوگل گفته نگران بودجه خزش سایت نباشید، ولی این دلیل نمی‌شود که اگر در کراول و ایندکس صفحات سایت دچار مشکل شدیم، همه مشکلات را به ربات‌های گوگل نسبت دهیم.

خزنده‌های گوگل دوست سایت ما هستند و تمام تلاش خود را می‌کنند که بودجه خزش ما در راستای بهبود سئوی سایت مصرف شود. ولی گاهی خودمان ناخواسته عملکرد آنها را مختل می‌کنیم.

در ادامه باورهای غلطی که باعث می‌شوند بودجه خزش سایت را هدر بدهیم، بشناسید:

1. ربات‌های گوگل متوجه محتوای تکراری و صفحات Duplicate سایت می‌شوند

در بعضی سایت‌ها صفحاتی وجود دارند که از نظر محتوا، عناوین اصلی و زیر عنوان‌ها، برچسب‌ها و… شبیه یا به ‌اصطلاح تکراری هستند. چرا تصور می‌کنیم که ربات‌های گوگل باید خودشان متوجه شوند که نیازی به کراول و ایندکس کردن صفحات تکراری سایت ما نیست؟ ما با همین اشتباه، خیلی راحت بودجه خزش سایت را نابود می‌کنیم و بعد هم می‌گوییم ربات‌های گوگل باید تشخیص می دادند که ما نمی‌خواستیم همه این صفحات کراول و ایندکس شوند!

حالا باید چه کار کنیم؟

راهکار این است که برای این صفحات، یک صفحه را به ‌عنوان کنونیکال انتخاب کنیم که ربات‌ها بدانند ما می‌خواهیم کدام صفحه ایندکس شود. برای توسعه اطلاعات‌تان درباره کنونیکال کردن یک صفحه، پیشنهاد می‌کنیم مقاله «تگ کنونیکال» را در اولین فرصت مطالعه کنید.

2. خزنده‌های گوگل محتواهای بی کیفیت ما را کراول نمی‌کنند

نه! اصلاً این طور نیست. در مرحله کراول کردن یک صفحه، با کیفیت یا بی کیفیت بودن محتوا فرقی برای ربات‌ها ندارد. مساله بودجه خزش یا زمانی است که ربات‌ها صرف بررسی آن صفحه بی کیفیت کرده‌اند، در حالی که می‌شد به ‌جای آن، یک صفحه خوب را ببینید. این محتوای بی کیفیت اگر ایندکس شود، نه تنها سودی برای سئوی سایت ما نخواهد داشت، بلکه گوگل را هم ناامید خواهد کرد.

راهکار چیست؟

بیایید این باور غلط را فراموش کنیم و با تأکید بر این موضوع که ربات‌های خزنده دوست سایت ما هستند، صفحات با محتوای بی کیفیت را حذف کنیم، یا حداقل آنها را به یک محتوای باکیفیت و مرتبط دیگر در سایت ریدایرکت 301 کنیم. پیشنهاد می‌کنیم قبل از این ‌کار مقاله «ریدایرکت 301» را بخوانید.

3. سرعت سایت ارتباطی با بودجه خزش و عملکرد ربات‌های گوگل ندارد

اگر شما هم به چنین موضوعی باور دارید، باید بگوییم که کاملاً در اشتباه هستید. سایتی که سرعت لود پایینی دارد، به ربات‌های گوگل این سیگنال را می‌دهد که سرورهای سایت نمی‌توانند درخواست‌های شما را به خوبی پاسخ بدهند، پس برای این سایت خیلی وقت نگذارید. در نتیجه، ربات‌های گوگل دست از پا درازتر بر می‌گردند و بودجه خزش سایت به همین راحتی هدر می‌شود.

برای حل کردن این مساله باید چه کرد؟

باید قبل از هر کاری سرعت سایت و فاکتورهای Core Web Vitals را بررسی کنیم. اگر متوجه وجود مشکل شدیم، به سراغ بهینه سازی سرعت سایت برویم. بهبود سرعت سایت نه تنها سرعت کراول و ایندکس صفحات را بیشتر می‌کند، بلکه باعث افزایش کراول باجت سایت هم می‌شود. برای همین پیشنهاد می کنیم مقاله بهینه سازی سرعت سایت را مطالعه کنید.

4. گوگل بات‌ها به پارامترهای فیلتر محصولات توجه نمی‌کنند

یکی از اقداماتی که برای بهبود تجربه کاربران در سایت‌های فروشگاهی انجام می‌شود، استفاده از پارامترهای فیلتر محصولات است؛ مانند:

https://www.example.com/hat/boyhat?color=red

این حرکت اقدام هوشمندانه‌ای برای راحت کردن جستجوی کاربرها در سایت است، ولی فکر نکنید خزنده‌های گوگل این URLها را نادیده می‌گیرد. ربات‌ها این URLها را هم مانند سایر صفحات بررسی می‌کنند و در نتیجه بدون اینکه بدانیم بخشی از بودجه خزش سایت صرف این صفحات می‌شود.

راه حل چیست؟

برای حل این مساله باید در فایل robots.txt سایت، این صفحات را در حالت نوایندکس قرار دهیم. همچنین می‌توانیم به لینک این صفحات ویژگی «noindex» را اضافه کنیم. با انجام این کارها دیگر هیچ وقت ربات‌ها به سراغ این صفحات نمی‌روند.

5. ساختار لینک سازی سایت تأثیری در بودجه خزش یا نحوه عملکرد ربات‌های گوگل ندارد

اگر چنین تصوری دارید، باید بگوییم اتفاقاً همین لینک‌های داخلی هستند که ربات‌ها را به صفحات جدید و محتواهای با ارزش سایت ما هدایت می‌کنند. لینک‌ها مانند چراغ‌های راهنمایی هستند که به خزنده‌ها علامت می‌دهند که کجا بروند و کدام صفحات را ببینند.

این خزنده‌های دوست داشتنی بیش از هر صفحه‌ای، جذب صفحات با لینک سازی داخلی خوب می‌شوند.

چطور این مشکل را برطرف کنیم؟

ساختار لینک سازی داخلی سایت تا حد زیادی به استراتژی سئوی ما بر می‌گردد و نمی‌شود برای همه یک نسخه واحد تجویز کرد. ولی پیشنهاد می‌کنیم به صفحات مهم خود در صفحات داخلی بیشتری لینک بدهید.

علاوه بر مواردی که گفتیم، اشتباهات دیگری هم مرتکب می‌شویم که عملکرد crawler bots را مختل می‌کند. مثلاً وجود تعداد زیادی لینک شکسته، وجود صفحات یتیم و صفحات ریدایرکت شده در سایت یا صفحات غیر قابل ایندکس. وجود این لینک‌ها و صفحات هم باعث سردرگم شدن ربات‌های گوگل می‌شود.

آیا راهکاری برای بهبود crawl budget سایت وجود دارد؟

در مورد بهینه سازی بودجه خزش، نمی‌توان به طور قطعی نظر داد. چون بهترین اقدامی که ما می‌توانیم برای بهبود crawl budget انجام دهیم، جلوگیری از هدر رفتن آن است.

بنابراین، طبق توصیه گوگل اگر سایت فعالی دارید و از نظر تکنیکال عملکرد خوبی دارد یا سایتی کوچک با تعداد صفحات کم دارید، نیازی به بهینه سازی بودجه خزش نیست.

ولی اگر صاحب یک فروشگاه بزرگ با تعداد صفحات زیاد (بیش از 1000 صفحه) هستید، بهتر است روی بهینه سازی فاکتورهایی که گوگل برای تعیین crawl budget از آنها استفاده می‌کند و مواردی که باعث هدر رفتن بودجه خزش سایت می‌شوند، بیشتر تمرکز کنید.

سخن پایانی

در این مطلب یاد گرفتیم که Crawl Budget چیست، ربات‌های خزنده گوگل چه نقش مهمی در آن دارند و گوگل چطور بودجه خزش یک سایت را تعیین می‌کند.

همین ‌طور متوجه شدیم که چطور تصورات اشتباه ما و انجام ندادن چند اقدام ساده، می‌تواند این بودجه با ارزش را به راحتی هدر بدهد، همچنین می‌توانید جهت آموزش بیش‌تر به صفحه “دوره جامع سئو” مراجعه فرمائید.

حالا نوبت شماست که نظرات و تجربیات با ارزش خود را با ما در میان بگذارید. شما چه تجربه‌ای از crawl budget سایت خود دارید؟ آیا تا به حال در مورد بودجه خزش به مشکلی برخورده‌اید؟ تجربیات خودتان را در بخش کامنت‌ها با ما در میان بگذارید، شاید با این کار بتوانید مسیر یک سئوکار دیگر را روشن کنید!

سؤالات متداول

۱. چرا موتورهای جستجو برای سایت‌ها نرخ کراول در نظر می‌گیرند؟

گوگل برای اینکه بتواند بهترین محتوا را به‌ دست کاربر برساند، لازم است سایت‌ها را رتبه بندی کند و بهترین و ارزشمندترین آنها را برای کاربران نمایش دهد. ابزار این رتبه بندی کراول و ایندکس کردن صفحات است. بودجه خزش به گوگل کمک می‌کند، میزان خزش های هر سایت را براساس شایستگی‌های آن سایت الویت بندی کند.

۲. چرا باید به Crawl Budget اهمیت ویژه بدهیم؟

چون اگر بودجه خزش صرف صفحات یا اهداف بیهوده شود، صفحات با ارزش ما از چشم ربات‌های گوگل دور می‌مانند و کراول و ایندکس نمی‌شوند. در نتیجه، هیچ ترافیکی دریافت نمی‌کنند و سئوی سایت آسیب می‌بیند.

۳. منظور از بهینه سازی بودجه خزش چیست؟

بهینه سازی بودجه خزش یعنی هر اقدامی که لازم است انجام دهیم تا بودجه خزش سایت هدر نرود و هر خزشی که ربات‌های گوگل در سایت ما انجام می‌دهند، منجر به ایندکس و رتبه گرفتن صفحات مهم و ارزشمند سایت شود. برای این موضوع پیشنهاد می کنیم حتما مقاله سئو تکنیکال چیست را مطالعه کنید.