برای انجام این کار و یافتن خطاهای فایل Robots.txt ابتدا وارد وب سایت Google Search Console شده و سپس وارد بخش robots.txt Tester شوید و گزینه Test را انتخاب کنید. در صورت وجود هرگونه مشکل در فایل Robots.txt پس از چند ثانیه ارور قرمز رنگ Disallowed به همراه تمامی خطاهای موجود به صورت با هایلایت شده برای شما نمایش داده می‌شوند. اما اگر فایل خود را به درستی تنظیم کرده باشید گزینه قرمز Test به گزینه Allowed سبز رنگ تغییر پیدا خواهد کرد.
می‌تونید از سرچ کنسول دوباره درخواست ایندکس بدید، نقشه سایت رو دوباره بررسی و آپلود کنید. اگر صفحات وبسایت خود را در فایل Robots.txt نوایندکس کنید، گوگل باز هم آن را در نتایج جستجو نمایش می‌دهد. گوگل به کمک انکرتکست هر لینک و سایر فاکتورها رتبه‌ای به این صفحه در جستجوهای مرتبط می‌دهد. معمولاً این نوع صفحات در نتایج جستجو بدون توضیحات متا ظاهر می‌شود چون گوگل محتوای صفحه و توضیحات متا را ذخیره نکرده است.
موتورهای جستجو محتوای فایل robts.txt را کش کرده و معمولا روزی یک بار آن را بروزرسانی می نمایند. در صورت تغییر در فایل robots.txt می توانید آن را از طریق ابزار مربوطه در گوگل سرچ کنسول، تغییرات صورت گرفته را سریعا بروزرسانی کنید. موتورهای جستجو و دیگر پایشگرهای وب پس از ورود به یک سایت می دانند که بایستی به دنبال یک فایل robots.txt باشند. اما آنها تنها در یک مسیر مشخص (مسیر ریشه وب سایت) به دنبال این فایل هستند.
تنها یک بار آن را ساخته و توسط گوگل سرچ کنسول تست کنید. دقت داشته باشید که صفحات اصلی را از دید ربات ها پنهان نمی کنید. این اقدام تنها بایست در ابتدای ساخت وب سایت انجام شده و در آینده در هنگام بررسی سئو سایت مورد توجه قرار گیرد.
تاکنون بیش از ۱۶۰۰۰۰ درخواست پشتیبانی را به خوبی و خوشی پاسخ داده‌ایم. اگر موقع کار با محصولات سوال یا مشکلی دارید، روی پشتیبانی ما حساب کنید. و توی URL Inspection لینک های حذف شده این موارد را دارند. البته الان توی گوگل انتهای لینک هایی که noindex شدند کلمه feed درج شده. چون زیرمجموعه public html و wpcontent هست میترسم مشکل ایندکس پبدا کنه. (همچنین، اگر از پلاگین های وردپرس برای ریدایرکت یا کاستومایز پرمالینک ها استفاده کرده باشید، ممکنه اشکال از این پلاگین ها باشه و با غیر فعال کردنشون ممکنه که این مشکل برطرف بشه).
- شما با استفاده از بهینه‌سازی سایتتان میتوانید سبب پیشرفت و بهبود عملکرد آن شوید.
- اگر این فایل در هاست سایت شما آپلود نشده باشد، خزندگان و ربات‌های موتورهای جستجو امکان دسترسی به تمام صفحات عمومی را خواهند داشت و قادر هستند تا تمام محتوای سایت شما را ایندکس کنند.
- از فایل Robots.txt برای جلوگیری از نمایش اطلاعات حساس مانند اطلاعات خصوصی کاربر در نتایج جستجو یا همان SERP ها استفاده نکنید.
- این دوره از نمایشگاه که 24مین دوره این رویداد بود با حضور 480 استارتاپ که در بخش الکام استارز حضور داشتند برگزار و استارتاپ‌ها به معرفی خدمات و تکنولوژی خود برای بازدیدکنندگان پرداختند.
- پس از فعال سازی، افزونه وردپرس نام برده سایت را بررسی کرده و خودکار مواردی که لازم است از دسترس موتورهای جستجو خارج شوند را Disallow می کند.
پس از ورود به یک وبسایت، ربات گوگل به دنبال یک فایل robots.txt میگردد. اگر بتواند آن را پیدا کند، قبل از ادامه کرال صفحه ابتدا آن فایل را می‌خواند. از آنجا که فایل robots.txt حاوی اطلاعاتی درباره چگونگی خزیدن موتور جستجو است، اطلاعات موجود در این فایل، دستورالعمل‌های بیشتری را در اختیار ربات خزنده قرار می‌دهد.
مسدود کردن صفحات غیر عمومی
2- کد robots.txt اصلاح شده خود را از صفحه ابزار تست Robots.txt با کلیک بر روی دکمه آپلود در کادر محاوره‌ای آپلود کنید. نام فایل robots.txt باید با حروف کوچک باشد (بدون Robots.txt یا ROBOTS.TXT). فایل روبوت سایت مانند هر فایل دیگری در وبسایت بر روی وب سرور میزبانی می‌شود. 2- ایندکس کردن آن محتوا به‌طوری‌که بتوان آن را برای جستجوگرانی که به دنبال اطلاعات هستند ارائه کرد. در حال حاضر دلایل بسیار زیادی برای شروع دیجیتال مارکتینگ و ارتقای آن برای کسب‌وکارتان وجود دارد. اگر تاکنون سرمایه‌گذاری برای استراتژی‌های دیجیتال مارکتینگ خود نکرده‌اید، الان وقت آن است.
۱ـ مشخص کردن ربات با User-agent
خوب است بدانید که بصورت پیش فرض این فایل وجود ندارد و برای ویرایش محتوای آن باید یک فایل متنی بصورت robots.txt ایجاد کنید و دستورات لازم را در آن قرار دهید. فایل robots.txt سایت یک راهکار برای برقراری ارتباط با ربات های موتور جستجو است. شما به کمک این فایل که در هاست سایتتان قرار گرفته و البته متنی که درون آن نوشته شده، میتوانید به ربات های خزنده موتور جستجو فرمان بدهید. به این صورت که لیستی از کلمات کلیدی مورد نظرتان را به این ربات ارتقاء سئو میسپارید تا جایگاه (صفحه) سایت شما را در نتایج جستجوی گوگل (برای تک تک آن عبارات کلیدی) به شما گزارش دهد. و با انجام همه روزه این کار فرایند رشد یا افت سایت تان در عبارت کلیدی مختلف را جلوی چشم خواهید داشت.
حالا باید این فایل را در سرور میزبان به جای فایل قبلی قرار دهید. حالا این فایل را باز کنید و طبق راهنمایی که گفته شد، دستورات لازم را در آن بنویسید. با نگاه کردن به فایل‌های robots.txt دیگر سایت‌ها میتوانید از آنها برای سایت خودتان الگو بگیرید. راه‌های دیگر جایگزین برای حذف صفحه از نتایج جستجئی گوگل را در ادامه معرفی می‌کنیم. اجازه دهید برای درک آسان‌تر فایل Robots.txt از یک مثال ساده شروع کنیم. مطمعنا در خصوص اضافه کردن لینک نوفالو در وردپرس شنیده اید اما با عملکرد آن…