ابزارهای بسیار زیادی برای تست فایل robots.txt وجود دارند اما استفاده از ابزار Google Search Console را برای این کار توصیه می‌کنیم. ابتدا می‌بایست به صفحه Google Search Console وارد شوید. علاوه بر دستورات “User-agent” و “Disallow”، ربات گوگل دستور دیگری به نام “Allow” را نیز درک می‌کند. اگر یک نفر بخواهد به صفحاتی از وبسایت شما دسترسی پیدا کند که شما این صفحات را در فایل ربات بلاک کرده‌اید یقینا برای شناسایی این صفحات می‌تواند به راحتی از فایل ربات استفاده کند. خیلی‌ها فکر می‌کنند که از طریق فایل‌های ربات از اطلاعات محرمانه‌ی خود مراقبت می‌کنند در حالی که کاملا برعکس است و برخی ربات‌ها می‌توانند از این اطلاعات شما سوءاستفاده کنند. بعد از اینکه public_html را باز کردید، فایل را به داخل آن بکشید؛ توجه داشته باشید که به عنوان مالک سایت، باید بتوانید به تمام قسمت های فایل دسترسی داشته باشید و آن را بخوانید، ویرایش کنید و بنویسید.
- وقتی صحبت از URLهای واقعی برای مسدودکردن یا مجاز شدن می‌شود، فایل‌های robots.txt می‌توانند نسبتاً پیچیده شوند زیرا امکان استفاده از تطبیق الگو را برای پوشش طیف وسیعی از گزینه‌های URL ممکن می‌دهند.
- چنانچه فایلی با این عنوان مشاهده نکردید مطابق تصویر زیر می-توانید با کلیک راست بر روی گزینه Create new file کلیک کرده و نام robots.txt را برای آن انتخاب کنید.
- اما در سال 2012 با بروزرسانی وردپرس، دیگر این کار ضرورتی نداشت؛ چرا که وردپرس به صورت پیشفرض قابلیتی را به تگ هدر فایل اضافه کرده که تگ noindex و مسدود سازی یا disallow در آن گنجانده شده است.
- موتورهای جستجو برنامه‌های کوچکی به نام «عنکبوت» یا «ربات» را برای جستجوی سایت شما و بازگرداندن اطلاعات به موتورهای جستجو ارسال می‌کنند.
استانداردهای خاصی برای آن وجود ندارد و نمی‌توان با قطعیت گفت کدام المان‌ها و به چه شکل در فایل‌های Robots.txt می‌توانند سرنوشت ساز باشند. در این مقاله به طریقه و روش استفاده‌ی صحیح از این فایل‌ها پرداخته‌ایم تا بدون هر گونه ریسک و تاثیرگذاری منفی در سئو از آن‌ها استفاده کنید. این واقعاً مهم است که فایل robots.txt شما به درستی تنظیم شود.
در مطلب ” ثبت سایت در سرچ کنسول ” به شما آموزش های لازم را داده ایم. همانطور که در تصویر بالا مشاهده می کنید، ما به ربات های موتور جستجو، اعلام کرده ایم که می تواند فایل های موجود در پوشه آپلود را می تواند ایندکس کند. همچنین جلو موتور جستجو، را برای ایندکس کردن افزونه ها و فولدر ادمین وردپرس گرفته ایم(با عبارت Disallow). ممکن است در همه حالات نتیجه مناسب به همراه نداشته باشد. به عنوان مثال اگر شما نرخ تأخیر ربات‌ها را روی ده ثانیه قرار دهید، موتورهای جستجو به صورت روزانه می‌توانند فقط نزدیک به 8600 صفحه از سایت شما را بررسی و ایندکس کنند. اگرچه این مقدار برای سایت‌های نه چندان بزرگ مقدار کمی نیست، اما برای سایت‌هایی که صفحات زیاد و محتوای متعددی دارند اقدام مناسبی نمی‌باشد.
مستندات گوگل درباره ارتقاء رتبه سایت از طریق سرچ و کلیک
چرا ناراحتی؟ مشکل خاصی نیست که، مشکل داشت بسته میشه و در نتایج هم کم کم اعمال میشه و اگر مشکل نداشت میذاری همینطوری باشه. هر منبعی (عکس، جاوااسکریپت یا سی اس اس و یا …) که برای لود یک صفحه کاربر نیاز هست (کاربر لاگین شده رو نمیگم) رو نباید روی گوگل ببندیم. با این حال فکر میکنم شما در یک جایی درست تشخیص ندادید و باعث شده صورت مسئله گنگ باشه. پیشنهاد میشه اگر تلاش کردید و به نتیجه نرسیدید به یک متخصص سئو دسترسی بدید تا اون هم یک بررسی کنه.
در ادامه می‌خواهیم با جزئیات کامل درباره همین فایل مهم صحبت کنیم. قدم به قدم جلو می‌رویم تا ببینیم چطور می‌توان از فایل Robots.txt استفاده کرد؛ چطور می‌توانیم ربات‌ها را محدود کنیم، چطور از ایندکس شدن صفحه‌ها جلوگیری کنیم و در نهایت یک فایل Robots.txt عالی بسازیم. وقتی صحبت از URL های واقعی در فایل Robots.txt می‌شود، آدرس‌ها و دستورهای کاملاً پیچیده‌ای در این فایل استفاده می‌شوند. با این حال امکان تطبیق الگو برای طیف وسیعی از URL ها وجود دارد. موتور جست‌وجوهای گوگل و بینگ هردو از یک الگوی منظم برای بررسی URL ها در این فایل استفاده می‌کنند.
ربات افزایش ورودی گوگل
هرچند موتورهای جستجوگر بزرگ مانند گوگل، یاهو و بینگ به این دستورالعمل‌ها توجه می‌کنند، ولی برخی ربات‌های مفید یا مخرب دیگر ممکن است توجهی به این فایل نداشته باشند. تنها طراحی یک سایت و امکان خرید برای یک سایت فروشگاهی کافی نیست. طراحی سایت شما باید به گونه‌ای باشد که کاربر هنگام ورود به آن احساس راحتی داشته باشد و بتواند به سادگی به تمام بخش‌های سایت دسترسی داشته باشد. در این مقاله درباره ویژگی‌های یک طراحی سایت فروشگاهی خوب صحبت کرده‌ایم. در ادامه توجه شما را به نکاتی جلب می کنیم که رعایت آن ها در ساخت فایل robots.txt موجب سئو هر چه بهتر وب سایت شما خواهد شد.
نظر در “فایل Robots.txt چیست؟ چه تاثیری بر سئو دارد؟”
شما می‌توانید با استفاده از چندین دستورالعمل به URLهای خاصی اجازه فعالیت دهید یا آن‌ها را ممنوع و مسدود کنید، همچنین امکان افزودن چند نقشه به سایت را برای شما فراهم می‌کند. این دستور به ربات گوگل می‌گوید علی رغم اینکه فولدر Photos از دسترس ربات‌ها خارج شده است، اجازه مشاهده و ایندکس فایل novin.jpg را دارد. دستور Disallow به ربات‌ها می‌گوید که چه فولدرهایی از وبسایت شما را نباید بررسی کنند.