اجازه بدهید در همین ابتدای کار فایل روبوتس را به یک مثال ساده به شما توضیح دهیم.
فرض کنید در یک روز کاری در سازمانی نسبتا بزرگ با خدمات فراوان کار اداری دارید. به دلیل بالا بودن حجم مراجعین و همچنین خدمات ارائه شده از سوی سازمان، جلوی درب ورودی افرادی با عنوان راهنما و نگهبان قرار گرفته‌اند تا مراجعین را تا مقصد اصلی خود در سازمان راهنمایی کنند. عدم حضور این راهنمایان در سازمان باعث هرج و مرج و … خواهد شد.
فایل robots در سایت‌ها دقیقا وظیفه‌ای مشابه با وظیفه راهنمای یک سازمان دارد. دقت داشته باشید این راهنمایی از سمت فایل Robots مختص کاربران سایت نبوده و برای رباتهای گوگل انجام می‌شود. در این مقاله از پارس وب قصد داریم تا مفهوم کلی این بخش کاربردی در وب‌سایت‌ها را توضیح داده و نکات کلیدی درباره آن را به شما عزیزان معرفی کنیم.
فایل Robots.txt چیست؟
حضور این فایل در وب سایت‌ها را مانند یک مجوز تردد برای رباتهای گوگل بدانید. به این ترتیب که ربات‌ها در زمان ورود به سایت به منظور بررسی صفحات ابتدا محتوای فایل روبوتس را بررسی کرده و سطح دسترسی به منظور بررسی صفحات برای خود اعمال می‌کنند. در تعریف ساده‌تر ما در این فایل مشخص می‌کنیم که خزنده گوگل کدام صفحات را بررسی کرده و کدام صفحات را از لیست بررسی خود کنار بگذارد. به مثال زیر توجه کنید:
User-agent: *
Disallow: /Photos/
در مثال بالا بخشی از یک فایل Robots نوشته شده را می‌بینیم. قسمت اول به معنای این است که دسترسی به تمامی ربات‌ها برای ورود و بررسی محتوا و صفحات سایت داده شده است و دستور دوم به این معناست که ربات حق بررسی پوشه‌ای به نام Photos در روت سایت را ندارد.
نکته: مهم‌ترین ربات‌ها از نظر وب‌مستران و متخصصین سئو در مشهد، رباتهای گوگل هستند. پس در ادامه هر بخشی که از کلمه ربات استفاده شود، منظور رباتهای مربوط به گوگل هستند.
چرا سایت به فایل Robots نیاز دارد؟
به طور کلی کنترل کردن ورود ربات‌ها به صفحات سایت از راه‌های مختلفی توسط وب مستران و مدیران سایت امکان‌پذیر است که ما روبوتس را بهترین این راه‌ها می‌دانیم. این کنترل دلایل مختلفی دارد که در ادامه به بررسی چند مورد از آن‌ها میپردازیم.
-
دلایل امنیتی سایت
بخش مهمی به نام پنل مدیریت سایت از اصلی‌ترین بخش‌ها به منظور مشخص کردن سطح دسترسی برای ربات‌ها می‌باشد. بیشتر افراد، مدیران سایت‌ها و وب مستران علاقه‌ای به این که پنل مدیریتی سایتشتان ایندکس شده و در دست عموم قرار گیرد، ندارند. پس این بخش را با تگ Disallow در Robots برای ربات می‌بندند. یکی دیگر از دلایل این کار جلوگیری از هک سایت و لو رفتن اطلاعات امنیتی آن است.
-
صفحات از درجه اهمیت یکسانی برخوردار نیستند.
در برخی از وب‌سایت‌ها شاهد هستیم که صفحات به منظور تکمیل و خالی نبودن سایت ساخته و به عنوان صفحات اصلی به کاربر نمایش داده می‌شوند. صفحات مانند مجوزها، سابقه کاری و….. عمدتا این صفحات به عنوان اهداف یک سایت برای بالا آمدن در گوگل انتخاب نمی‌شوند. پس به دلایلی مانند کنترل نرخ خزش و … از دسترسی ربات به این صفحه توسط Robots جلوگیری می‌کنیم.
-
مدیریت ترافیک ورود و خروج ربات‌ها به سایت
عدم اشغال سرور میزبانی که سایت شما روی آن سوار است از اهمیت بالایی برخوردار می‌باشد. به همین منظور از فایل روبوتس با هدف اعمال محدودیت‌ها به منظور جلوگیری از ترافیک ورود ربات‌ها به سایت استفاده می‌کنند. مورد و نکته دوم این است که با توجه به محدودیت در پهنای باند و ترافیک در سرورهای خریداری شده برای وب سایت‌ها، با استفاده از این فایل از هدر رفتن این بخش برای ربات‌ها جلوگیری کنید.
-
جلوگیری از نمایش صفحه و فایل خاص در گوگل
فرض کنید در سایت تعداد زیادی محصول و دوره دانلودی دارید. زمانی که هدف شما از وب سایت تنها فروش دوره نبوده و افزایش بازدید هم به عنوان تارگت انتخاب می‌کند تا حد امکان جلوی ایندکس شدن صفحات محصول دانلودی و ورود مسقیم کاربر به آن را می‌گیرید. به این منظور در فایل Robots این بخش را برای ربات بسته و از ایندکس شدن و نمایش آن در صفحه نتایج جلوگیری خواهید کرد. با این کار کاربر هدف شما از صفحات دیگر وارد سایت شده و به منظور رسیدن به محصولات و خدمات شما بین 2 تا 3 صفحه از سایت جابه‌جا خواهد شد. این خود از فاکتورهای مهم و موثر در تکنیک‌های سئو در مشهد است.
-
مدیریت نرخ خزش یا Crawl Budget
به تعداد صفحات که رباتهای گوگل در طی یک روز در سایت شما به آن‌ها سر زده و بررسی می‌کنند نرخ خزش گفته می‌شود. هرچه صفحات سایت شما مرتب‌تر بوده افزایش نرخ برای سایت شما امکان پذیر است. یکی از روش های مرسوم در افزایش نرخ خزش بستن صفحات غیر ضروری در فایل روبوتس است.
آشنایی با دستورات اصلی در فایل Robots.txt
به طور کلی 4 دستور اصلی در این فایل وجود دارد که در ادامه به بررسی آن‌ها میپردازیم:
- دستور User-agent با این دستور رباتی را که دستورات روبوتس براش نوشته شده است مشخص می‌کنیم.
- Disallow : مشخص کردن بخش‌هایی که ربات اجازه دسترسی به آن‌ها را ندارد.
- Allow : مشخص کردن بخش‌هایی که ربات حق دسترسی به آن‌ها را دارد.
- Sitemap : تعریف نقشه سایت در فایل روبوتس برای ربات‌ها
نمونه‌هایی از فایل Robots برای سایت‌های شرکتی، فروشگاهی و .. را در ادامه این مطلب ببینید.
نمونه فایل Robots سایت فروشگاهی
Sitemap: https://Domain.com/sitemap.xml
User-agent: *
Disallow: /cgi-bin/
Disallow: /downloads/
Disallow: /wp-admin/
Disallow: /author/
Disallow: /feed/
Disallow: /author/
Disallow: /readme.html/
Disallow: /license.txt/
Disallow: *?*
Disallow: /profile/
Disallow: /factor/
Disallow: /cart/
Disallow: /waiting/
Disallow: /checkout/
Disallow: /addcomment/
Disallow: /payment/
Disallow: /shipping/
Disallow: /card/
Disallow: /faq/
Disallow: /comments/
Disallow: /search/
نمونه فایل Robots برای سایت شرکتی
sitemap: https://parswebdp.com/sitemap_index.xml User-agent: * Disallow: /cgi-bin/* Disallow: /downloads/* Disallow: /wp-admin/* Disallow: /feed/* Disallow: /author/* Disallow: /search/* Disallow: /readme.html Disallow: /license.txt Disallow: *?* Disallow: /?s=* Disallow: *utm_* Disallow: /user/* disallow: /compare-products/* disallow: /cart/* disallow: /checkout/* Allow: /wp-admin/admin-ajax.php Allow: /wp-content/uploads/* Allow: /wp-content/cache/* Allow: /wp-content/plugins/* Allow: /wp-content/themes/* Allow: /wp-includes/*
در این مقاله از پارس وب خواندیم که …
فایل Robots.txt چیست و به چه منظور در سایت‌ها استفاده از آن ضروری است. از اهمیت استفاده از آن در سایت و تاثیر آن برا سئو سایت صحبت کرده و با بخش‌های مختلف این فایل آشنا شدیم. در ادامه لیستی از دستورهای مورد استفاده در فایل روبوتس را ارائه کرده و 2 نمونه از فایل‌های مناسب برای سایت فروشگاهی و شرکتی را در اختیار کاربران قرار دادیم. در صورت نیاز به کسب اطلاعات بیشتر در حوزه طراحی سایت در مشهد و سئو به بلاگ پارس وب سر بزنید.
