بودجه خزش یا crawl budget چیست؟

image
image
image
image
image
image
image
image
image
image
image
image
بودجه خزش یا crawl budget چیست؟

بودجه خزش تعداد صفحاتی است که گوگل در هر روز در سایت شما می خزد. این عدد از روز به روز کمی متفاوت است، اما در کل، نسبتاً پایدار است. گوگل ممکن است هر روز 6 صفحه را در سایت شما بخزد، ممکن است 5000 صفحه را بخزد، حتی ممکن است هر روز 4،000،000 صفحه را بخزد. تعداد صفحاتی که گوگل می خزند، «بودجه» شما، به طور کلی با توجه به اندازه سایت، «سلامت» سایت شما (تعداد خطاهایی که گوگل با آن مواجه می شود) و تعداد لینک های سایت شما تعیین می شود. برخی از این عوامل چیزهایی هستند که می توانید بر آنها تأثیر بگذارید، ما در مدت کوتاهی به آن خواهیم رسید.

خزنده گوگل چگونه کار می کند؟

خزنده ای مانند Googlebot لیستی از URL ها را برای خزیدن در یک سایت دریافت می کند. هر چند وقت یکبار فایل robots.txt شما را مشاهده کرده تا مطمئن شود که همچنان مجاز است هر URL را بخزد و سپس URL ها را یک به یک می خزد. هنگامی که یک عنکبوت یک URL را خزیده و محتویات آن را تجزیه می کند، URL های جدیدی را که در آن صفحه پیدا کرده است اضافه می کند که باید دوباره در لیست کارها بخزد.

چندین رویداد می تواند باعث شود Google احساس کند یک URL باید خزیده شود. ممکن است پیوندهای جدیدی پیدا کرده باشد که به محتوا اشاره می کنند، یا شخصی آن را توییت کرده است، یا ممکن است در نقشه سایت XML به روز شده باشد و غیره … هیچ راهی برای تهیه فهرستی از همه دلایلی وجود ندارد که چرا گوگل یک URL را می خزند، اما وقتی تشخیص می دهد که باید انجام شود، آن را به لیست کارها اضافه می کند.

چه زمانی بودجه خزش یک مشکل است؟

اگر گوگل مجبور باشد URL های زیادی را در سایت شما بخزد و خزیدن های زیادی را اختصاص داده باشد، بودجه خزیدن مشکلی نیست. اما، فرض کنید سایت شما 250000 صفحه دارد و گوگل هر روز 2500 صفحه را در این سایت خاص می خزند. برخی از آن ها (صفحه اصلی را می پسندد) بیشتر از بقیه می خزند. اگر اقدامی نکنید، ممکن است تا 200 روز طول بکشد تا Google متوجه تغییرات خاصی در صفحات شما شود. بودجه خزیدن اکنون یک مسئله است. از طرف دیگر، اگر روزی 50000 خزیده باشد، اصلاً مشکلی وجود ندارد.

برای تشخیص سریع اینکه آیا سایت شما مشکل بودجه خزیدن دارد یا خیر، مراحل زیر را دنبال کنید. این فرض را بر این می‌گذارد که سایت شما دارای تعداد نسبتاً کمی URL است که گوگل آن‌ها را می‌خزد اما ایندکس نمی‌کند (مثلاً چون متا noindex اضافه کرده‌اید).

  • مشخص کنید که چند صفحه در سایت خود دارید.
  • به کنسول جستجوی گوگل بروید.
  • به “تنظیمات” -> “آمار خزیدن” بروید و میانگین صفحات خزیده شده در روز را یادداشت کنید.
  • تعداد صفحات را بر عدد «میانگین خزیدن در روز» تقسیم کنید.

اگر در نهایت به عددی بالاتر از ~ 10 رسیدید (بنابراین شما 10 برابر بیشتر از صفحاتی که گوگل در روز می خزند) دارید، احتمالاً باید بودجه خزیدن خود را بهینه کنید. اگر در نهایت به عددی کمتر از 3 رسیدید، مطمئناً می توانید چیز دیگری بخوانید.

 

بودجه خزش

0 دیدگاه

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *