ابزارهای بسیار زیادی برای تست فایل robots.txt وجود دارند اما استفاده از ابزار Google Search Console را برای این کار توصیه می‌کنیم. ابتدا می‌بایست به صفحه Google Search Console وارد شوید. علاوه بر دستورات “User-agent” و “Disallow”، ربات گوگل دستور دیگری به نام “Allow” را نیز درک می‌کند. اگر یک نفر بخواهد به صفحاتی از وبسایت شما دسترسی پیدا کند که شما این صفحات را در فایل ربات بلاک کرده‌اید یقینا برای شناسایی این صفحات می‌تواند به راحتی از فایل ربات استفاده کند. خیلی‌ها فکر می‌کنند که از طریق فایل‌های ربات از اطلاعات محرمانه‌ی خود مراقبت می‌کنند در حالی که کاملا برعکس است و برخی ربات‌ها می‌توانند از این اطلاعات شما سوءاستفاده کنند. بعد از اینکه public_html را باز کردید، فایل را به داخل آن بکشید؛ توجه داشته باشید که به عنوان مالک سایت، باید بتوانید به تمام قسمت های فایل دسترسی داشته باشید و آن را بخوانید، ویرایش کنید و بنویسید.
- فایل robots.txt سایت شما نقش مهمی در عملکرد کلی سئو شما دارد.
- مثلا ربات گوگل کارش این است که صفحات جدید در اینترنت را پیدا کند.
- اما به هر جهت سایت هایی که باید روزانه ترافیک زیادی را هندل کنند، با اضافه شدن حجم زیادی از ربات ها نیز، دچار مشکل خواهند شد.
- تاکنون بیش از ۱۶۰۰۰۰ درخواست پشتیبانی را به خوبی و خوشی پاسخ داده‌ایم.
- این فایل کاملا قایل دسترسی است و می‌توانید اطلاعات داخل آن را بخوانید و یا ویرایش کنید و افراد مختلف نیز صرفا با اضافه کردن این پسوند به لینک وبسایت شما می‌توانند آن را ببینند.
شما می‌توانید با استفاده از چندین دستورالعمل به URLهای خاصی اجازه فعالیت دهید یا آن‌ها را ممنوع و مسدود کنید، همچنین امکان افزودن چند نقشه به سایت را برای شما فراهم می‌کند. این دستور به ربات گوگل می‌گوید علی رغم اینکه فولدر Photos از دسترس ربات‌ها خارج شده است، اجازه مشاهده و ایندکس فایل novin.jpg را دارد. دستور Disallow به ربات‌ها می‌گوید که چه فولدرهایی از وبسایت شما را نباید بررسی کنند.
بررسی صحت فایل robots.txt
در مطلب ” ثبت سایت در سرچ کنسول ” به شما آموزش های لازم را داده ایم. همانطور که در تصویر بالا مشاهده می کنید، ما به ربات های موتور جستجو، اعلام کرده ایم که می تواند فایل های موجود در پوشه آپلود را می تواند ایندکس کند. همچنین جلو موتور جستجو، را برای ایندکس کردن افزونه ها و فولدر ادمین وردپرس گرفته ایم(با عبارت Disallow). ممکن است در همه حالات نتیجه مناسب به همراه نداشته باشد. به عنوان مثال اگر شما نرخ تأخیر ربات‌ها را روی ده ثانیه قرار دهید، موتورهای جستجو به صورت روزانه می‌توانند فقط نزدیک به 8600 صفحه از سایت شما را بررسی و ایندکس کنند. اگرچه این مقدار برای سایت‌های نه چندان بزرگ مقدار کمی نیست، اما برای سایت‌هایی که صفحات زیاد و محتوای متعددی دارند اقدام مناسبی نمی‌باشد.
ربات های مهم
هرچند موتورهای جستجوگر بزرگ مانند گوگل، یاهو و بینگ به این دستورالعمل‌ها توجه می‌کنند، ولی برخی ربات‌های مفید یا مخرب دیگر ممکن است توجهی به این فایل نداشته باشند. تنها طراحی یک سایت و امکان خرید برای یک سایت فروشگاهی کافی نیست. طراحی سایت شما باید به گونه‌ای باشد که کاربر هنگام ورود به آن احساس راحتی داشته باشد و بتواند به سادگی به تمام بخش‌های سایت دسترسی داشته باشد. در این مقاله درباره ویژگی‌های یک طراحی سایت فروشگاهی خوب صحبت کرده‌ایم. در ادامه توجه شما را به نکاتی جلب می کنیم که رعایت آن ها در ساخت فایل robots.txt موجب سئو هر چه بهتر وب سایت شما خواهد شد.
مسدود کردن دسترسی یک ربات خاص به یک شاخه‌ی خاص
چرا ناراحتی؟ مشکل خاصی نیست که، مشکل داشت بسته میشه و در نتایج هم کم کم اعمال میشه و اگر مشکل نداشت میذاری همینطوری باشه. هر منبعی (عکس، جاوااسکریپت یا سی اس اس و یا …) که برای لود یک صفحه کاربر نیاز هست (کاربر لاگین شده رو نمیگم) رو نباید روی گوگل ببندیم. با این حال فکر میکنم شما در یک جایی درست تشخیص ندادید و باعث شده صورت مسئله گنگ باشه. پیشنهاد میشه اگر تلاش کردید و به نتیجه نرسیدید به یک متخصص سئو دسترسی بدید تا اون هم یک بررسی کنه.