لینک های حاضر در صفحات بلاک شده توسط فایل robots.txt دنبال نخواهند شد. این مسئله بدین معناست که در صورت عدم وجود آن لینک در هیچ کجای وی یا یک صفحه بلاک نشده دیگر از وب سایت شما، توسط موتورهای جستجو دیده نشده و در نتیجه ایندکس نخواهد شد. ثانیا اعتباری از صفحه بلاک شده به لینک های آن منتقل نمی گردد. در صورتی که دارای صفحاتی هستید که در کنار ایندکس نشدن نیاز است که اعتبار آنها به لینک ها انتقال یابد، بایستی دنبال مکانیسم دیگری باشید. ما در این سایت به صاحبان مشاغل آنلاین کمک می کنیم تا با بهینه سازی کامل وب سایت برای کاربران و موتورهای جستجوگر، کسب و کار خود را به افراد بیشتری معرفی کنند و به فروش و درآمد بالایی برسند. به هر حال، این افزونه در بخشی از ابزارهای خود این امکان را فراهم کرده تا بتوانید نقشه سایت خود را بسازید، ایندکس را کنترل کنید یا اینکه یک فایل ربات robots.txt بسازید.
- این کد به این معنی است که “اجرای دستورات فایل، تنها برای ربات گوگل الزامی است.
- اگر این فایل به درستی تهیه نشده باشد یا به صورت کامل در هاست آپلود نشده باشد، ربات های خزنده مانند قبل تمامی صفحات سایت را ایندکس می کنند.
- مثل اینست که بگویید “هیچ موجود زنده ای” حق ندارد به تلفن شما دست بزند.
- دستور” / ” بعداز Disallow به ربات گوگل می‌گوید باید وارد پوشه‌ای در ریشه فایل شوید.
اما فایل Robots.txt چیست؟ این فایل چه کاربردی دارد؟ در ادامه به صورت کامل در این باره صحبت کرده ایم و آموزش ساخت فایل robots txt در وردپرس را نیز قرار داده ایم. اگر این فایل در هاست سایت شما آپلود نشده باشد، خزندگان و ربات‌های موتورهای جستجو امکان دسترسی به تمام صفحات عمومی را خواهند داشت و قادر هستند تا تمام محتوای سایت شما را ایندکس کنند. هرچه تعداد صفحات وبسایت شما بیشتر باشد، ربات‌های موتور جستجو زمان بیشتری برای خزیدن و ایندکس کردن صفحات نیاز دارد. همین زمان طولانی، روی رتبه سایتتان در نتایج جستجو، تاثیر منفی خواهد گذاشت. این که ربات‌های خزنده هر چند وقت یک بار به سایت شما سر می‌زنند به چند فاکتور بستگی دارد. هر چه در طول روز تعداد بیشتری محتوا در وب‌سایت‌تان قرار بگیرد و تغییرات سایت اهمیت زیادی داشته باشد، ربات‌های جستجوگر دفعات بیشتری به سایت شما مراجعه می‌کنند.
شما می‌توانید سوالات و نظرات خود را از بخش دیدگاه‌ها با ما مطرح کنید؛ همچنین اگر محتوای امروز همیار وردپرس برایتان مفید بود، خوشحال می‌شویم آن را با دوستان خود در شبکه‌های اجتماعی به اشتراک بگذارید. در اینجاست که ساخت فایل Robots.txt به کمک شما می‌آید و این مشکل را به راحتی برطرف می‌سازد. با ایجاد یک فایل robots.txt می‌توانید فعالیت ربات‌ها و خزنده‌های وب را برای ایندکس کردن صفحات سایت خود محدود سازید. اما چطور و چگونه؟ در ادامه این مطلب ماهیت و کارکرد فایل ربات ساز را مورد بررسی قرار می‌دهیم و نحوه ساخت فایل Robots.txt را نیز به شما آموزش خواهیم داد. فایل Robots.txt یک فایل متنی و ساده است که با ساخت آن می‌توانید از ایندکس شدن برخی صفحات در وب سایت خود جلوگیری نمایید.
دستور Disallow
فایل ربوتس دات تی ایکس تی در اصل جهت محدود کردن دسترسی ربات های موتورهای جستجو مثل گوگل به متن و محتوا و… سایتتان است. تمام ربات های موتورهای جستجو به صورت خودکار قبل از ورود به هر صفحه یا هر سایتی، از وجود فایل robots.txt و محدودیت های آن اطمینان پیدا کرده و بر اساس آن محتوا و سایت را نمایش می دهند. Robots.txt در واقع یک فایل واقعیست، در حالی که robots و x-robots جز داده های متا هستند. فایل robots.txt به کنترل پایش صفحات وب سایت پرداخته، در حالی که متا robots و x-robots به مدیریت ایندکس صفحات سایت در موتورهای جستجو می پردازند. گفتیم فقط نباید از یک دونه ای پی استفاده بکنیم و باید به هنگام جست و جو های مختلف ای پی تون رو عوض بکنین، تا هویتتون مخفی باقی بمونه. برای مشاهده و ویرایش فایل ربات در وردپرس یا هر سایت دیگری به فایل منیجر در پنل هاست مراجعه کنید و درون فولدر public_html بدنبال فایل robots.txt بگردید.
مثال سه – عدم دسترسی به دایرکتوری خاص
مثلا گوگل از Googlebot برای جستجوی ارگانیک و از Googlebot-Image برای جستجوی تصویر استفاده می‌کند. با نوشتن فایل Robots.txt می‌توانید میزان ورود ربات‌ها به سایت خود جهت ایندکس صفحات را محدود سازید و به دنبال آن نیز سرعت بارگذاری صفحات سایت را افزایش دهید. اگر روزانه تعداد زیادی ربات برای بررسی و ایندکس صفحات وارد سایت شما شوند قطعا با مشکل افت سرعت مواجه خواهید شد.
این دستورات به پایشگر Googlebot (ربات پایشگر گوگل) اعلام می کند که یو آر ال های شامل /example-subfolder/ پایش نکند. به سایت خود برگردید و تمام این بهینه سازی ها را روی سایت خود انجام دهید. اگر واقعا مصمم هستید سایت خود را با افزونه Yoast SEO بهینه سازی کنید. پیشنهاد میکنیم از نسخه تجاری و حرفه ای آن استفاده کنید، و البته اگر آن را از مانگو تهیه کنید، هم پشتیبانی دریافت میکنید هم بروز رسانی های آن را به طور اورجینال دریافت می کنید.