فایل Robots.txt یک فایل متنی بسیار ساده است که ایندکس کردن صفحات سایت توسط رباتها و خزنده‌های وب را محدود می‌سازد. این فایل در واقع صفحات مجاز و غیرمجاز وب سایت جهت ایندکس شدن را به رباتها نشان می‌دهد و فعالیت آنها را مدیریت می‌کند. فایل Robots.txt شامل URLهایی است که نمی‌خواهید توسط ربات‌های گوگل و یا هر موتور جستجوگر دیگری ایندکس شوند و در معرض دید کاربران قرار گیرند. بنابراین فایل ربات ساز از ورود رباتها به صفحات موردنظر شما جلوگیری کرده و ایندکس شدن آنها را ممنوع خواهد کرد.
- ربات گوگل ، به شکلی طراحی شده است تا شهروند خوبی برای دنیای اینترنت باشد.
- با ایجاد یک فایل robots.txt می‌توانید فعالیت رباتها و خزنده‌های وب را برای ایندکس کردن صفحات سایت خود محدود سازید.
- میشه درخواست کرد که مشاوره آنلاین سئو رو به مشاوره حضوری تبد…
- اگر فایل robots.txt در وب سایت شما وجود ندارد، نگران نباشید.
- لینک سازی داخلی و لینک سازی خارجی را می توان مهم ترین فعالیت برای بهینه سازی سایت یا سئو دانست.
در این مقاله به این موضوع خواهیم پرداخت که فایل Robots.txt چیست؟ همچنین نحوه بهینه سازی فایل robots.txt برای موتورهای جستجو را به شما آموزش خواهیم داد. فایل Robots.txt به شما کمک نمی‌کند تا یک URL را از ایندکس موتورهای جستجو حذف کنید و همچنین از موتورهای جستجو در برابر اضافه کردن یک URL جلوگیری نمی‌کند. پس فایل ربات صرفا برای جلوگیری از کراول نیست و موتورهای جستجو در هر صورت صفحات شما را ایندکس و کراول می‌کنند اما با فایل ربات به آنها اطلاع می‌دهید که این صفحات را در نتایج جستجو نمایش ندهد. Robot.txt یک فایل متنی است که برای بهبود سئو سایت از طریق مدیریت ایندکس گوگل، مورد استفاده قرار می گیرد. در این شرایط است که برای بهینه سازی عملکرد سایت، باید ربات های موتور جستجوی گوگل را محدود کرد؛ برای انجام این کار هم باید از فایل Robots.txt استفاده کرد. یکی از تکنیک های سئو کلاه سیاه، تکنیک URL Cloacking می باشد؛ در واقع در این تکنیک شما آدرس یک صفحه را از دید موتورهای جستجو مخفی می کنید.
مثال شش – تعیین استثنا برای دسترسی به محتوای دایرکتوری
واقعا پشتیبانی خیلی خوبی دارید ممنون از وقتی که برامون میذارید… سلام بزرگوار بنده وظیفه خود میدانم به خاطر عملکردعالی ربات شما تشکر و قدردانی کنم… آقا واقعا ممنون شماازجمله انسان هایی هستین که واقعادغدغه اینکه محصول وخدماتون به کارکردبرسه و… برنامه بسیارعالی هستش وامکانات خیلی خوبی داره.اگه یسری اصول ارسال رعایت بشه،قطعارضایتبخش خواهدبودپشتیبانی…
بررسی فنی فایل Robots.txt و اصطلاحات رایج آن
جلوگیری از ظاهرشدن محتوای تکراری در SERP (توجه داشته باشید که متا رباتها اغلب انتخاب بهتری برای این کار هستند). Robot یک برنامه کامپیوتری خودکار است که با وبسایتها و برنامه‌ها تعامل دارد. ربات‌های خوب و ربات‌های بد وجود دارند و یک نوع ربات خوب، ربات خزنده وب نامیده می‌شود. پروتکل حذف ربات که بیشتر با نام robots.txt شناخته می‌شود، درواقع قراردادی برای جلوگیری از دسترسی خزنده‌های وب به تمام یا بخشی از یک وبسایت است. فهرست برخی از ربات‌های مشهور که سایت‌های اینترنتی را پیمایش می‌کنند در این صفحه قابل مشاهده است. برای جلوگیری از ایندکس شدن کافیست یک فایل متنی درست کنید و از دستور زیر استفاده کنید.
مثلاً فرض کنید اگر فایل robots.txt همانند دستور زیر یک بلاک مخصوص Googlebot و یک بلاک مخصوص Googlebot-Video وجود داشته باشد. من یک وبسایت با ورد پرس ساختم و بعد از قرار دادن تعدادی مطلب تیک اجازه بررسی محتوا توسط موتور های جستجو را برداشتم. هفته اول تعداد بازدید سایت عالی بود ولی بصورت ناگهانی افت کرد و الان به صفر رسیده. تم رو عوض کردم و در گوگل وبمستر هم سایت رو ثبت کردم اما افزونه یوست هنوز پیغام میده که سایتتون ایندکس نمیشه.در سایت وبمستر تولز هم برای نقشه ی سایت ارور میده!
از روش‌های ساده و آسانی که می‌توانید برای بهبود و بهینه‌سازی سایت کمک بگیرید از طریق بهینه سازی فایل Robot.txt صورت می‌گیرد. در ادامه مقاله با ساخت فایل robots.txt بیشتر آشنا خواهید شد. فایل Robots.txt یک فایل متنیست که وبمسترها با ایجاد آن می توانند ربات های موتورهای جستجو را در هنگام پایش وب سایت راهنمایی کنند. فایل robots.txt جزیی از پروتکلی با نام REP است که به استانداردسازی نحوه پایش وب توسط رباتها و چگونگی دسترسی و ایندکس محتوا و ارائه آن به کاربران می پردازد. پروتکل REP همچنین شامل نحوه برخورد با متا تگ Robots و دستوراتی دیگری مانند فالو کردن لینک ها نیز است. امروزه با رشد روز افزون کسب و کارهای اینترنتی رقابت سختی میان وبسایتها درگرفته است و مدیران سایت‌ها همواره در تلاشند تا سایت خود را جزو نتایج اولیه در گوگل نمایش دهند.
چطور یک فایل robots.txt بسازیم؟
اما ربات‌های نا کار آمد احتمالاً از این دستورالعمل‌ها پیروی نمی‌کنند. فایل ربات ، در فایل‌های منبع اکثر وب سایت‌ها موجود است. در مجموع شاید شما کارهای مختلفی برای ارتقاء سئو سایتتون و بالا اومدن سایتتون تو صفحه نتایج گوگل انجام بدین. اما تا تاثیر مثبت این کارها رو در سایتتون ببینید خب ممکنه چند ماهی طول بکشه و نیاز هم باشه برای هر کدوم انرژی و هزینه جداگانه ای بذارین.
این کد در فایل Robots.txt به این معنی است که رباتها به هیچ محتوایی که در پوشه ذکرشده قرار دارد، دسترسی ندارند. دقت داشته باشید که اگر هیچ ناحیه‌ای در سایت شما وجود ندارد که بخواهید دسترسی عامل کاربر به آن را کنترل کنید، ممکن است اصلاً به فایل robots.txt نیاز نداشته باشید. فایل‌های Robots.txt دسترسی خزنده به ناحیه های خاصی از سایت شما را کنترل می‌کنند. درحالی‌که اگر شما به طور تصادفی Googlebot را از خزیدن در کل سایت خود منع کنید، می‌تواند بسیار خطرناک باشد، برخی موقعیت ها وجود دارد که در آن فایل robots.txt می‌تواند بسیار مفید باشد. هنگامی که صفحه به‌روزرسانی شد، می‌توانید روی منوی کشویی بالای ویرایشگر متن نیز کلیک کنید تا مُهر زمانی نمایش داده شود که نشان‌دهنده زمانی است که گوگل برای اولین‌بار آخرین نسخه فایل robots.txt شما را دیده است.
ممکن است متدهای فایل robots.txt را با متاتگ robots به اشتباه بگیرید برای همین پیشنهاد می‌شود که حتما مقاله کوتاه و مفید تفاوت فایل robots.txt با متاتگ robots را بخوانید. و با یک ویرایشگر متن ساده مثل Notepad یا TextEdit آن را ویرایش کنید. بعد از اینکه تغییرات لازم را ایجاد کردید، مجددا با گزینه آپلود آن را به فولدر ریشه سایت برگردانید.