این فایل متنی برای سئو و بهینه سازی سایت استفاده می‌شود و حاوی دستوراتی برای ربات‌های نمایه‌ساز موتورهای جستجو است که صفحاتی را مشخص می‌کند که هم امکان ایندکس شدن دارند و هم ندارند. نمودار های زیر روند رشد رتبه کلمات کلیدی یا صفحات سایت را در زمان استفاده از ربات افزایش ورودی گوگل نشان میدهند. نمودار نارنجی رنگ نشان دهنده رتبه گوگل است که با افزایش تعداد کلیک ( نمودار آبی – Clicks) و نمایش در نتایج جستجو کاربران (نمودار بنفش – Impressions)، رشد معنا داری را نشان میدهد. کلیه سایت‌ها برای ایندکس شدن توسط موتورهای جستجوی به فایل robots.txt نیاز دارند. اگر سایت وردپرسی شما دارای فایل robots.txt نباشد، موتورهای جستجو تمام وبسایت شما را پیمایش و فهرست می‌کنند که در این صورت نمی‌توانید به موتورهای جستجو دستور دهید که نباید کدام صفحات و فایل‌ها را پیمایش کنند. فایل Robots.txt در حقیقت به ربات‌ها اطلاع میدهد که کجا می‌توانند فایل یا فایل‌های نقشه سایت XML را پیدا کنند و در این میان کدام صفحات نباید کراول شوند.
- مثلاً در دستور نیز اشاره‌شده که کلیه ربات‌ها به فایل‌ها با پسوند pdf که در فولدر (دایرکتوری) test وجود دارند، نباید دسترسی داشته باشند.
- به طور کلی استفاده از فایل Robots.txt برای محدود ساختن دسترسی ربات‌ها به برخی صفحات گزینه بهتری محسوب می‌شود زیرا اجرا و پیاده سازی تگ نوایندکس بر روی منابع چندرسانه‌ای کمی دشوار است.
- در نتیجه صفحه پنل مدیریت سایت وردپرس بدون هیچ اقدام خاصی از لیست ایندکس موتورهای جستجو خارج شده است.
- فایل txt برای مخفی کردن اطلاعات خصوصی مناسب نیست و فقط باید دستورالعمل‌های ربات‌ها را در آن قرار داد.
- بنابراین برای جلوگیری از جمع آوری اطلاعات صفحات غیرضروری سایت و کاهش حجم رفت و آمد ربات‌ها به وب سایت خود حتما باید به فکر ایجاد فایل Robots.txt باشید.
اغلب دستوراتی که در این فایل می‌بینید Disallow و Allow است. این دستور مشخص می‌کند که دستورهای موجود در فایل، تنها برای یک ربات خاص (در اینجا Googlebot) قابلیت اجرا دارد. مثلا زمانی که قصد داریم برای یک صفحه از مقالات سایتمان، یک صفحه pdf و یک صفحه قابل پرینت هم ایجاد کنیم، باید صفحه اصلی را نگه داشته و مابقی را به کمک robots.txt پنهان کنیم. Txt در کنسول جستجو این ابزار را فقط می‌توانید برای پرونده‌های robots.
نمونه کارها
برای خزیدن در سایت‌ها، موتورهای جستجو پیوندها را دنبال می‌کنند تا از یک سایت به سایت دیگر بروند، در نهایت، در میان میلیاردها لینک و وبسایت خزیده می‌شوند. این رفتار خزیدن گاهی اوقات به‌عنوان “عنکبوت” شناخته می‌شود. یک ربات بد یا فایل robots.txt را نادیده می‌گیرد یا آن را پردازش می‌کند تا صفحات وب ممنوعه را پیدا کند. با توجه به اینکه ضمانتی برای عملکرد صحیح این فایل در مواجهه با ربات‌های مختلف وجود ندارد، روش‌های زیر می‌توانند به عنوان راه حل جایگزین در مسدود کردن دسترسی ربات‌ها به سیستم مورد استفاده قرار گیرد. ایجاد یک فایل خالی robots.txt یا عدم ایجاد این فایل نیز، همین اثر را خواهد داشت. ایجاد فایل با محتوای فوق سبب از بین رفتن خطاهای ۴۰۴ در هنگام مراجعه‌ی موتورهای جستجو خواهد شد.
بهتر است که یک مجموعه دستور مشترک برای تمام user agent ها داشته باشید تا در هنگام بروزرسانی فایل robots.txt دچار سردرگمی نشوید. حتی اگر این فایل در سایر مسیر ها وجود داشته باشد، پایشگر متوجه حضور آن نخواهند شد. بنابراین برای حصول اطمینان تاکید می کنیم که آن را در مسیر روت وب سایت قرار دهید. من تا الان برای هیچ کدوم از سایت هام فایل ربات و اچ تی اکسس نساختم ولی همشون به صورت پیش فرض داشتند. وقتی فایل ربات شما خالی از دستورات باشد، ربات ها هر گونه که بخواهند با سایت شما رفتار می کنند. این افزونه به طور خودکار یک فایل می سازد، دسترسی های آن را بررسی کرده و آن را به گوگل و بینگ نشان می دهد.
فایل robots.txt چیست؟ بهینه سازی فایل ربات در وردپرس
مثلا در مثال بالا ربات‌های خزنده از دسترسی به تمام آدرس‌هایی که به autos. در مثال زیر تمامی ربات‌ها از دسترسی به دایرکتوری media منع شده‌اند اما در عین حال اجازه دسترسی به یک فایل پی دی اف با عنوان terms-and-conditions.pdf موجود در دایرکتوری media داده شده است. برای صدور دسترسی کامل به کل سایت برای ربات‌های خزنده دستور Disallow به شکل زیر خواهد بود. تغییرات اعمال شده توسط شما در فایل Robots.txt امکان آسیب جدی به سئو سایت شما دارد. پس لازم است اطلاعات موجود در این مقاله را دقیقا مطالعه کنید و با آگاهی کامل نسبت به اعمال تغییرات در این فایل اقدام کنید.
درواقع این دستور، بیانگر آدرس‌هایی است که می‌خواهید از ربات‌های جستجو پنهان بماند. نردبان قصد دارد به شکلی حرفه‌ای، جایگاه مشتری را در فضای وب دگرگون کند. می‌خواهیم با طراحی وب‌سایت‌های کاربرپسند، تولید محتوای مفید و خدمات سئو حرفه‌ای به فضای وب فارسی خدمتی کرده باشیم. امیدواریم این نگاه حرفه‌ای به رقابتی سالم دامن بزند که در نهایت به پیشرفت وب فارسی منجر شود. هر شخص و یا هر برنامه کامپیوتری فعال روی شبکه جهانی اینترنت دارای یک user-agent (یک نام اختصاص داده شده) است.