گوگل می‌گوید: بیشتر سایت‌ها نیاز به نگرانی درباره بودجه خزش یا Crawl Budget ندارند

گوگل می‌گوید یک بخشی از مالکان سایت‌ها باید حواسشان به بودجه خزش یا Crawl Budget سایت باشد. اما اکثریت قریب به اتفاق آنها نیاز به نگرانی در این باره ندارند.

با سئوف همراه باشید تا نظر تیم گوگل را در مورد کراول باجت و نگرانی درباره آن بدانید.

تیم ارتباطات جستجوی گوگل در یک قسمت از پادکست Search off the Record می‌گوید بیشتر سایت‌ها لازم نیست نگران بودجه خزش یا کراول باجت باشند.

گری ایلس از گوگل درباره این موضوع کلی بحث کرد و گفت که تیمشان پیام قبلیشان را پس می‌گیرد و اضافه کرد که یک بخش مهمی باید مراقب این قضیه باشند. هرچند، بودجه خزش باید برای اکثریت سایت‌ها مایه نگرانی باشد، ایلس توضیح می‌دهد که:

ما در رابطه با نرخ خزش به مردم می‌گوییم که لازم نیست زیاد نگران آن باشید.

و من هنوز هم روی حرف خود هستم و هنوز هم می‌گویم که لازم نیست نگرانی درباره این موضوع داشته باشید. ما فکر می‌کنیم که بخش خاصی از اکوسیستم باید مراقب این موضوع باشد.

اما هنوز هم من معتقدم که اکثریت قریب به اتفاق افراد نیاز به نگرانی درباره این موضوع ندارند.

گوگل تلاش کرده اطلاع‌رسانی قبلی خود را شفاف‌سازی کند. و به همین دلیل اطلاعات بیشتری را درباره بودجه خزش منتشر کرده است.

مثلا، گوگل همین یکی دو ماه اخیر یک اپزود کامل از ویدئوهای یوتیوب مربوط به سئو را به موضوع Crawl Budget اختصاص داد.

پس چه کسی باید نگران بودجه خزش باشد و چه کسی نباید؟

چه موقع باید نگران بودجه خزش یا کراول باجت باشیم؟

سئوکارها معمولا دوست دارند وقتی صحبت از Crawl Budget می‌شود یک عدد بزرگ را بشنوند. مثل این: “سایت شما X صفحه تا اتمام نرخ خزش جا دارد”.

اما معمولا اینطور پیش نمی‌رود. ایلس می‌گوید:

خوب، دقیقا اینطور نیست. می‌توانید کارهای احمقانه‌ای روی سایت خود انجام دهید و سپس ربات گوگل بطور عجیبی شروع به کراول کند.

یا اینکه می‌توانید کارهای احمقانه دیگری انجام دهید، و سپس ربات گوگل، کراول کردن را به کلی متوقف کند.

ایلس می‌گوید: اگر بخواهیم عدد بکار ببریم، یک میلیون آدرس URL جایی است که یک مالک سایت واقعا باید قبل از رسیدن به آن نگران بودجه خزش باشد.

سایت‌هایی با کمتر از یک میلیون URL نیاز به نگرانی درباره بودجه خزش ندارند.

فاکتورهای تاثیرگذار در کراول باجت

برای سایت‌هایی با بیش از یک میلیون URL، تعدادی از عواملی که ممکن است منجر به مشکلاتی در نرخ خزش شوند را می‌آوریم:

فاکتور شماره 1: صفحاتی که به مدت طولانی کراول نشده‌اند

باید به چه چیزی توجه کنیم؟ احتمالا URLهایی که هرگز کراول نشده‌اند. این یک شاخص خوب است برای میزان خوب بودن کراول و کشف شدن یک سایت.

پس بهتر است به صفحاتی نگاه کنیم که هیچوقت کراول نشده‌اند. برای این کار ممکن است لازم باشد شما ورودهای روی سرور را بررسی کنید چون ممکن است به شما حقیقت محض را بگوید.

فاکتور شماره 2: تغییرات گسترده بعد از بازه‌های زمانی طولانی

بعد از آن، همچنین به نرخ‌های رفرش شدن هم نگاه می‌کنم. مثلا وقتی ببینید که بخش‌های خاصی از سایت مدتی طولانی است که رفرش نشده‌اند مثلا چند ماه. و شما تغییراتی در صفحات آن بخش به وجود آورده‌اید، بعد احتمالا لازم باشد درباره کراول باجت فکر کنید.

برطرف کردن مشکلات کراول باجت

ایلس دو پیشنهاد برای برطرف کردن مشکلات بودجه خزش دارد.

اول اینکه، سعی کنید صفحات غیر ضروری را حذف کنید. هر صفحه که ربات گوگل باید کراول کند، بودجه خزش را برای سایر صفحات کاهش می‌دهد.

پس وجود یک عالمه محتوای به دردنخور ممکن است منجر به این شود که محتواهای مهم کراول نشوند.

مثل اینکه چیزهایی که ممکن است برای کاربران کاربرد کمی داشته باشند را از سایت خود حذف کنید. در اینصورت ربات گوگل برای فکر کردن روی صفحاتی با کیفیت بالاتر که برای کاربران هم مفیدند، زمان خواهد داشت.

دومین پیشنهاد ایلس این است که از ارسال سیگنال “Back Off” یا بازگشت به عقب به ربات گوگل خودداری کنید.

این سیگنال‌ها کدهای مشخصی هستند که به ربات گوگل می‌گویند سریعا، کراول یک سایت را متوقف کند.

اگر برای ما سیگنال “Back Off” بفرستید، روی کراول ربات گوگل تاثیر خواهد گذاشت. پس اگر سرورهای شما می‌توانند آنرا هندل کنند، در اینصورت نیاز دارید مطمئن شوید که برای ما کدهای وضعیتی مثل 429 یا 50X نمی‌فرستید و سرور شما بسیار سریع پاسخ می‌دهد.

برای یادگیری تمام مطالب سئو، مثل نرخ خزش پیشنهاد می‌کنیم به بخش آموزش سئو روی سایت مراجعه نمایید. برای شما یک دوره رایگان در نظر گرفته‌ایم که تمام مطالب مربوط به سئو را پوشش می‌دهد.