این روزها خیلی از افراد روی سایت خود سرمایه گذاری میکنند و توقع دارند زمانی که سایت خود را طراحی کرده و از خدمات سئو در مشهد استفاده کردند، تمامی صفحات سایت را در موقعیت خوبی دیده و در کنار آن درآمدشان افزایش پیدا کند.
در چنین شرایطی ناگهان با این مشکل رو به رو میشوند که صفحات سایت اصلا ایندکس نمیشوند چه برسه به اینکه رتبه مناسبی بگیرند. زمانی که یک صفحه جدید منتشر شده و یا حتی صفحهای قدیمی آپدیت میشود در اولین قدم باید توسط رباتهای خزنده گوگل کرال شود و بعد از آن در صورت تشخیص اینکه مناسب هستند، ایندکس شده و در نتایج گوگل قرار میگیرند.
حالا فرض کنید شرایطی به وجود بیاید که خزندهها نتوانند صفحات مهم سایت شما را کرال کنند. در این شرایط است که ایندکس صفحات به مشکل خواهند خورد. این موضوع به بودجه خزش ارتباط دارد. در این مطلب شما را به صورت کامل با این نکته مهم در سئو سایت آشنا میکنیم تا بتوانید با سرعت بیشتری صفحات خود را در بهترین رتبه قرار دهید.
بودجه خزش یا crawl budget چیست؟
همانطور که میدانید تعداد زیادی سایت در اینترنت وجود دارند که هر کدام از آنها تلاش میکنند تا سئو بهتری داشته باشند. در این شرایط گوگل تصمیم گرفته است تا برای هر سایتی میزان مشخصی وقت گذاشته و آن را بررسی نماید. به همین دلیل در یک بازه زمان مشخصی، تعداد صفحات خاصی را کرال خواهد کرد. این بودجه خزش سایت شماست.
برای مثال ممکن است crawl budget سایتی 6 صفحه در یک روز باشد. یعنی در طول یک روز فقط 6 صفحه از این سایت کرال خواهد شد. این عدد برای سایتهای مختلف کاملا متفاوت است. یعنی ممکن است سایتی وجود داشته باشد که روزانه 3 میلیون از صفحاتش مورد بررسی و کرال قرار بگیرد. این عددی است که به موضوعات مختلفی مانند خطاهای سایت، سرور شما و … بستگی دارد.
براساس گفته های سایت contentkingapp.com
“
Crawl budget is the number of pages search engines will crawl on a website within a certain timeframe.
Search engines calculate crawl budget based on crawl limit (how often they can crawl without causing issues) and crawl demand (how often they’d like to crawl a site).
If you’re wasting crawl budget, search engines won’t be able to crawl your website efficiently, which would end up hurting your SEO performance.
“
به همین دلیل شما میتوانید crawl budget سایت خود را برسی کرده و بهبود دهید. در ادامه این موضوع را به صورت کامل آموزش خواهیم داد.
چرا crawl budget به وجود آمد؟
با افزایش میزان علاقهمندان و استفاده کنندگان از وب، روز به روز به تعداد وب سایتهای فعال در فضای وب افزوده میشود. به طور مثال در شهر مشهد مخصوصا پس از بروز بیماری همه گیر کرونا و افت شدید سود در کسب وکارهای حضوری، افراد زیادی به منظور حضور در فضای وب درخواست طراحی سایت در مشهد و استفاده از این خدمات برای بهبود و رونق کسب وکار خود داشتند.
گوگل نیز شرکتی با منابع محدود است و به صورت نامحدود نمیتواند اطلاعات را ذخیره کرده و تمرکز خود را به صورت همزمان روی میلیونها سایت قرار بدهد.
این شد که بودجه خزش یا crawl budget به وجود آمد تا گوگل به خوبی بتواند این شرایط را مدیریت کرده و به ترتیب تمامی اطلاعات را ذخیره نماید. حالا گوگل این برنامه ریزی را دارد که دقیقا باید برای چه سایتی چه میزان زمان بگذارد.
چرا بودجه خزش مهم است؟
بودجه خزش یا crawl budget یکی از فاکتورهای مهم سئو است که شاید هنوز خیلی از افراد نتوانستند اهمیت آن را درک کنند. به این توجه کنید که هر صفحهای از سایت شما که ایندکس نشده باشند، عملا انگار وجود خارجی ندارد و هیچ تاثیری در تحقق هدف شما نخواهند گذاشت.
حالا فرض کنید شما بدون توجه به نرخ خزش سایت، تعدادی صفحه بی ارزش را منتشر میکنید و این باعث میشود که نرخ خزش شما برای این تعداد از صفحات استفاده شود و نهایتا به صفحات مهم نرسند. این میشود که شما دچار مشکل خواهد شد.
البته باید به نکته دیگری نیز اشاره کنیم. در همه شرایط و برای همه سایتها crawl budget این میزان از اهیمت را ندارد و شرایط خاصی وجود دارد که باید در آن حتما به این موضوع دقت کنید تا نهایتا به مشکل نخورید. شرایطی که از آن صحبت میکنیم، گزینههای زیر میباشند:
- اگر دارای یک سایت بزرگ هستید، باید حتما به crawl budget دقت کنید: زمانی که شما سایت فروشگاهی دارید که بیشتر از 30 هزار صفحه دارد، باید crawl budget برایتان مهم باشد چرا که ممکن است تعدادی از محصولات شما ایندکس نشده و در اختیار کاربران قرار نگیرند.
- در شرایطی که تعداد زیادی از صفحات جدید را به سایت خود اضافه کردید: در شرایطی ممکن است بخواهید تعدای صفحه را به صورت همزمان منتشر کنید. مثلا زمانی که سایت را مجدد طراحی کرده و حالا به صفحات دیگری نیز نیاز دارید. حالا باید crawl budget خوبی داشته باشید تا تمامی آنها ایندکس شوند.
- داشتن تعداد زیادی صفحه ریدایرکت شده: ممکن است به هر دلیلی مشکی در سایت به وجود بیاید که مجبور باشید تعداد زیادی از صفحات را ریدایرکت کنید. در این شرایط حتما باید به crawl budget دقت کنید چرا که ریدایرکتها خوره بودجه خرش هستند.
راههای افزایش crawl budget
در این بخش به شما بهترین راهکارهای افزایش بودجه خزش را بیان میکنیم:
- بهینه سازی خطاهای سایت: همه سایتها دارای خطاهایی هستند که باعث میشوند گوگل به این نتیجه برسد که سایت مفید نمیباشد و نیازی به crawl budget بیشتر نمیباشد. میتوانید با برطرف کردن این خطاها نرخ خزش را افزایش دهید.برخی از این خطاها مربوط به سئو داخلی و فاکتورهای آن میشوند اما در بیشتر مواقع موضوعات مربوط به بهینه سازی خطاهای سایت ارتباط مستقیمی با سئو تکنیکال دارند. در مقاله بررسی چک لیست سئو تکنیکال سال 2022 با مواردی که در این حوزه باید بررسی و بهینه کنید نوشته شده است.
- مسدود کردن قسمتهای غیر ضروری سایت: شما نیز صفحاتی را در سایت دارید که اصلا نیاز به ایندکس شدن ندارند و با کرال شدن آنها، تنها نرخ خزش را کاهش خواهید داد. با استفاده از فایل txt و یا استفاده از تگ noindex میتوانید از کرال شدن این صفحات جلوگیری کنید.
- کاهش ریدایرکتها: تا جایی که میتوانید ریدایرکت 301 را از کار خود حذف کنید. با ریدایرکت کردن یک آدرس روی یک سایت دیگر، گوگل آن را رو صفحه دیده و نرخ خرش شما قطعا کاهش پیدا میکند.
- لینک سازی داخلی را بهینه نمایید: برای رباتهای گوگل همیشه صفحاتی که به آنها لینک داده شده است، (چه داخلی و چه خارجی) از اهمیت بیشتری برخوردار است. به همین دلیل است که شما میتوانید از طریق لینک سازی داخلی، ایندکس صفحات مهم را تسریع کنید. اما سوال اینجاست که آیا تعداد این لینکها در مقالات و صفحات سایت، باعث افزایش سرعت ایندکس میشود و یا محدودیتی در قرار دادن لینک در صفحات داریم؟ جواب این سوال را در مقاله چند لینک داخلی در هر مقاله لازم داریم، خواهید دید.
نتیجه گیری
در این مطلب تلاش کردیم تا به سادهترین شکل ممکن، crawl budget را برای شما توضیح دهیم و اهمیت آن برای گوگل را نیز تشریح کنیم. در ادامه نیز راهکارهایی را برای افزایش بودجه خزش معرفی کردیم. امیدواریم با استفاده از این راهکارها بتوانید سایت خود را بهینه نمایید و crawl budget را افزایش دهید.
سوالات متداول (FAQ) درباره Crawl Budget
1. کرال باجت (Crawl Budget) چیست؟
کرال باجت میزان صفحاتی است که رباتهای گوگل در یک بازه زمانی مشخص از سایت شما بررسی یا ایندکس میکنند. این مقدار بر اساس اعتبار، سرعت سایت و ساختار آن تعیین میشود.
2. چرا کرال باجت برای سئو اهمیت دارد؟
اگر کرال باجت شما بهدرستی مدیریت نشود، گوگل ممکن است صفحات مهم سایت را دیرتر ایندکس کند یا اصلاً بررسی نکند؛ در نتیجه رتبه سئو پایین میآید.
3. چه عواملی بر کرال باجت سایت تأثیر میگذارند؟
سرعت بارگذاری صفحات، ساختار لینک داخلی، خطاهای 404، ریدایرکتهای زیاد، محتوای تکراری و تعداد URLهای غیرضروری از مهمترین عوامل مؤثر بر کرال باجت هستند.
4. از کجا بفهمیم کرال باجت سایت ما چقدر است؟
با بررسی بخش Crawl Stats در Google Search Console میتوانید میزان فعالیت رباتهای گوگل در سایت خود را مشاهده کنید.
5. چگونه میتوان کرال باجت را بهینه کرد؟
با حذف صفحات غیرضروری، بهبود سرعت سایت، فشردهسازی تصاویر، استفاده درست از robots.txt و لینکسازی داخلی مؤثر میتوانید کرال باجت را افزایش دهید.
6. نقش فایل robots.txt در کرال باجت چیست؟
فایل robots.txt به گوگل میگوید کدام صفحات را بررسی کند یا نکند. پیکربندی درست آن باعث صرفهجویی در بودجه خزش و تمرکز گوگل روی صفحات مهم میشود.
7. آیا کرال باجت برای همه سایتها اهمیت دارد؟
بله، اما برای سایتهای بزرگ یا دارای صفحات زیاد (مثل فروشگاههای اینترنتی و رسانهها) اهمیت بیشتری دارد، چون مدیریت اشتباه باعث هدررفت بودجه خزش میشود.
8. تاثیر سرعت سایت بر کرال باجت چیست؟
هرچه سرعت بارگذاری صفحات بیشتر باشد، گوگل در مدتزمان کمتر صفحات بیشتری را بررسی میکند؛ بنابراین افزایش سرعت مساوی با بهبود کرال باجت است.
9. تفاوت Crawl Rate Limit و Crawl Demand چیست؟
Crawl Rate Limit حداکثر تعداد درخواستهایی است که گوگل در یک بازه زمانی میفرستد، در حالیکه Crawl Demand میزان علاقه گوگل به محتوای شما را بر اساس اهمیت و بهروزرسانی مشخص میکند.
10. آیا لینکهای شکسته باعث کاهش کرال باجت میشوند؟
بله، لینکهای شکسته باعث اتلاف بودجه خزش میشوند چون گوگل انرژی خود را صرف بررسی صفحات بیارزش میکند. بهتر است با ابزارهایی مثل Screaming Frog آنها را شناسایی و اصلاح کنید.
