نرخ خزش سایت (Crawl Budget) چیست؟ – راهکارهای افزایش بودجه خزش
بودجه خزش چیست؟ Crawl Budget تعداد صفحات کراول شده در یک بازه زمانی مشخص را نشان میدهد. بودجه خزش مفهومی است که شاید زیاد به آن توجه نشده باشد. اما در سئو سایت تاثیرگذار است. در این مقاله قصد داریم مفهوم کراول باجت را تشریح کنیم و درباره تاثیر آن بر سئو صحبت کنیم.
اگر میخواهید به تمامی مفاهیم سئو مسلط باشید و دانش بالایی در این زمینه کسب کنید مجموعه مقالات دوره رایگان آموزش سئو که روی سایت قرار گرفته است را مطالعه نمایید. این مقاله نیز بخشی از همین آموزشهاست.
1 Crawl Budget یا بودجه خزش چیست؟
کراول باجت یعنی تعداد صفحاتی که رباتهای گوگل، در یک بازه زمانی مشخص کروال و ایندکس میکنند. این نرخ برای هر سایت متفاوت است.
2 نقش نرخ خزش در سئو سایت چیست و چرا مهم است؟
اگر بخواهیم بطور خلاصه به این سوال پاسخ دهیم باید بگوییم که: اگر گوگل یک صفحه را ایندکس نکند، آن صفحه هرگز بابت هیچ عبارتی در صفحه نتایج جستجو رتبه نخواهد گرفت.
یک صفحه یا وبسایت برای اینکه وارد صفحه نتایج جستجو گوگل شود باید از دو مرحله بگذرد. اول خزیدن است، زیرا سایت باید توسط کراولرها مشاهده شود. قدم بعدی ایندکس شدن سایت است. بعد از مشاهده و بررسی یک صفحه کراولرها اشکالات فنی را در پنل سرچ کنسول نمایش میدهند تا مدیر سایت نسبت به درست کردن آنها اقدام کند. بعد از آن وقتی سایت واجد شرایط بود در صفحه SERP ظاهر میشود.
گوگل برای مشکلات موجود در سایت که توسط Crawlerها شناسایی شدهاند، نسبتا ارزش قائل است. رفع و بهبود این نقصها به بهبود سئو سایت کمک میکند.
پس اگر تعداد صفحات سایتتان از بودجه خزش آن بیشتر شود، تعدادی از صفحات سایتتان ایندکس نخواهد شد.
همانطور که در مقالات دیگر اشاره شده، بخش اعظمی از سایتها نیاز به نگرانی دررابطه با نرخ خزش ندارند. گوگل در پیدا کردن و ایندکس کردن صفحات واقعا خوب عمل میکند.
چند حالت وجود دارد که در آن موارد حتما باید به بودجه خزش دقت کنید. در زیر به این موارد اشاره شده است.
2.1 زمانیکه یک سایت بزرگ را راهاندازی و اداره میکنید
اگر یک سایت (مثلا سایت تجاری) با بالای 10k صفحه دارید، گوگل ممکن است در پیدا کردن همه آن صفحات با مشکل مواجه شود.
2.2 زمانیکه بتازگی تعداد زیادی صفحه جدید به سایتتان اضافه کردهاید
اگر اخیرا یک بخش جدید به سایتتان اضافه کردهاید که دارای صدها صفحه است، باید بدانید آیا به اندازه کافی بودجه خزش دارید که همه آن صفحات به سرعت ایندکس شوند یا خیر.
2.3 زمانیکه تعداد زیادی ریدایرکت دارید
تعداد بالای ریدایرکتها و زنجیرههای ریدایرکت، بودجه خزش شما را بشدت مصرف میکنند.
3 راهکارهای افزایش نرخ خزش سایت
تا اینجا متوجه شدیم که کراول باجت بسیار موضوع مهمی در سئو است که باید به آن توجه شود. در ادامه راهکارهایی را برای افزایش آن به شما خواهیم گفت.
3.1 افزایش سرعت سایت جهت افزایش نرخ خزش
افزایش سرعت سایت و سرعت لود صفحات سایت میتواند باعث شود رباتهای گوگل URL های بیشتر از سایت شما را کراول کنند.
در واقع گوگل میگوید: “افزایش سرعت سایت باعث بهبود تجربه کاربری و همچنین افزایش نرخ خزش یا Crawl Rate میشود.”
به بیان دیگر : صفحاتی با سرعت پایین، زمان ارزشمند رباتهای گوگل را بیرویه مصرف میکنند.
اما اگر سرعت سایت یا سرعت لود صفحات شما بالا باشد، رباتهای گوگل زمان کافی برای بازدید و ایندکس کردن تعدادی بیشتری از صفحات را خواهند داشت. و این یعنی بودجه خزش بیشتر.
3.2 استفاده از لینکهای داخلی جهت افزایش کراول باجت
رباتهای گوگل به صفحاتی که تعداد بسیار زیادی لینک خارجی و داخلی به آنها اشاره دارند اولویت بالایی میدهند.
بله، در نگاه ایدهآلگرایانه شما بکلینکهایی دریافت خواهید کرد که به هر کدام از صفحات سایت شما اشاره دارد. اما معمولا این مساله در واقعیت اتفاق نمیافتد.
به همین دلیل است که لینکهای داخلی نقش کلیدی و مهمی را در اینجا ایفا میکنند. چرا که لینکهای داخلی، رباتهای گوگل را به سراسر صفحات مختلف روی سایت که میخواهید ایندکس شوند میفرستند.
3.3 مسطح کردن ساختار سایت برای استفاده حداکثر از Crawl Budget
به گفته گوگل: “URLهایی که در اینترنت محبوبتر هستند معمولا بیشتر کراول میشوند تا در ایندکس گوگل، همیشه تازه باشند.”
و در دنیای گوگل محبوبیت به معنای اعتبار لینک میباشد. به همین خاطر است که باید از یک ساختار سایت مسطح برای سایتتان استفاده کنید.
یک معماری مسطح در سایت همه چیز را تنظیم میکند، بنابراین اعتبار لینک در همه صفحات سایتتان جریان خواهد داشت.
برای اینکه بدانید چه URL هایی بهینه هستند میتوانید مقاله آموزش ساخت URl برای سئو را مطالعه نمایید.
3.4 خودداری از صفحات یتیم (Orphan Pages) برای افزایش نرخ خزش
صفحات یتیم صفحاتی هستند که هیچ لینک داخلی یا خارجی به آنها اشاره ندارد.
گوگل برای پیدا کردن صفحات یتیم واقعا دچار مشکل میشود. پس اگر میخواهید بیشترین استفاده را از نرخ خزش سایتتان داشته باشید بهتر است در درجه اول مطمئن شوید که به هر صفحه سایتتان حداقل یک لینک داخلی یا خارجی اشاره دارد.
3.5 محدود کردن محتواهای تکراری (Duplicate Content) برای افزایش نرخ بودجه خزش
محدود کردن محتواهای تکراری به چند علت هوشمندانه است. روشن است که محتوای تکراری میتواند برای کراول باجت سایت مضر باشد.
دلیل آن این است که گوگل نمیخواهد با ایندکس کردن صفحات چندگانه که محتوای یکسان و تکراری دارند، منابع را هدر دهد.
پس مطمئن شوید که تمام صفحات سایت شما از محتوای باکیفیت و یکتا ساخته شده باشد. در عمل، انجام این کار برای سایتهایی که بیش از 10000 صفحه دارند آسان نیست. اما درصورتیکه بخواهید بیشترین استفاده را از نرخ خزش سایتتان داشته باشید باید این کار را انجام دهید.