4- برای تأیید اینکه فایل robots.txt آنلاین نسخه‌ای است که می‌خواهید گوگل آن را بخزد، روی تأیید نسخه آنلاین کلیک کنید. 1- روی Submit در گوشه سمت راست پایین ویرایشگر فایل robots.txt کلیک کنید. این کار فقط به خزنده بینگ (نام عامل کاربر Bing) می‌گوید که از خزیدن صفحه خاص در /example-subfolder/blocked-page.html اجتناب کند.
- تنها طراحی یک سایت و امکان خرید برای یک سایت فروشگاهی کافی نیست.
- کافی است ربات های خزنده، صفحات غیرضروری مثل ادمین وردپرس، فایل افزونه ها، فولدر تم را ایندکس نکنند.
- پیشنهاد اونا استفاده از افزونه ریدایرکت بود و حالا اینکه اینا درست میگن یا نه تا حد زیادی به نظر خودم درسته .
- اما برگردیم به بحث اصلی در مورد تعداد کلیک خور شدن و رشد کردن توی گوگل.
- اما اگر مسیرها و دایرکتوری‌ها را دیس‌آلو کنید این ربات‌ها صرفا می‌توانند صفحه‌ی دایرکتوری را ببینند و امکان دیدن سایر صفحات و وب‌پیج‌ها وجود ندارد.
- در این حالت برای اینکه از طرف گوگل به داشتن محتوای duplicate و تکراری متهم نشویم، باید یکی از آنها را نگه داشته و بقیه را از دید موتور جستجو پنهان کنیم.
در صورت وجود این دستور موتورهای جستجو توانایی خزیدن هیچ یک از صفحات وبسایت را ندارند. البته لازم به ذکر است این یک روش مطمئن برای جلوگیری از نمایش سایت شما در موتورهای جستجو نیست و باید صفحات سایت را no-index کنید. برای ایندکس نشدن صفحات یک وب سایت روش دیگری به جز فایل Robots.txt وجود دارد که از طریق آن نیز می‌توانید از ایندکس شدن برخی صفحات جلوگیری کنید. متا تگ نوایندکس نیز به منظور ایندکس نشدن صفحات سایت مورد استفاده قرار می‌گیرد. اما بسیاری از وب مسترها برای محدود ساختن ایندکس صفحات وب سایت میان Robots.txt یا تگ noindex مردد می‌شوند و نمی‌دانند که کدام یک از آنها گزینه بهتری است.
آیا تمامی ربات‌های موجود در اینترنت از فایل txt پیروی می‌کنند؟
با ایجاد فایل Robots.txt می‌توانید از ایندکس شدن صفحات غیرضروری سایت و یا صفحاتی که هنوز دارای محتوای مناسبی نیستند و یا قوانین سئو در آنها پیاده نشده است به راحتی جلوگیری نمایید. انجام این کار تاثیر مستقیمی بر سئو سایت شما دارد و تنها صفحات استاندارد و معتبر را در دسترس ربات‌ها و سپس کاربران قرار خواهد داد. اگر می‌خواهید آدرسی از صفحات و لینک‌های آن توسط روبات بررسی شود اما در نتایج جستجو نمایش داده نشود، درنتیجه باید بجای فایل robots.txt از متاتگ ربات استفاده کنید. اگر قصد دارید این روش را به شکل بهینه انجام دهید مقاله متاتگ robots ما را حتماً بخوانید تا به نکات جالبی درباره این متاتگ دست پیدا کنید. فایل روبوت robots.txt چیست؟ نحوه ساخت فایل robots.txt چگونه است؟ بهترین و مناسب ترین فایل روبوت برای وردپرس و جوملا چیست؟ پاسخ به همه این پرسش‌ها را می‌توانید در این مقاله از سایت میزفا مطالعه نمایید.
ربات های مهم
از نظر فنی می توانید فایل robots.txt خود را در هر دایرکتوری اصلی سایت خود قرار دهید. یکی از تکنیک هایی که در سئو مورد استفاده قرار می گیرد، URL Cloacking نام دارد که برای پنهان کردن آدرس صفحات از دید موتور های جستجو و کاربران کاربرد دارد. در این دستور شما زمان تاخیر را هم به ربات ها اعلام می کنید؛ البته این دستور برای رباتی مانند Googlebot قابل اجرا نیست و برای انجام آن باید از ابزاری مانند گوگل سرچ کنسول بهره بگیرید. Crawl-delay به موتور های جستجو دستور می دهد که صفحه ای را با تاخیر ایندکس کنند؛ این دستور زمانی کاربرد دارد که صفحه شما دارای مشکل است و می خواهید آن را برطرف کنید. همانطور که گفته شد با استفاده از این فایل و دو دستور بالا، می توانید به ربات های گوگل بگویید که صفحه مورد نظر شما را ایندکس کنند و یا ایندکس نکنند. مثلا در مثال بالا ربات‌های خزنده از دسترسی به تمام فایل‌های پی دی اف و اکسل منع شده‌اند.
نحوه استفاده از دستور Crawl-delay *
یک Robots.txt درواقع یک فایل متنی ساده است که در مسیر اصلی فضای سایت شما یا روت دایرکتوری قرار می‌گیرد. در حقیقت وظیفه این فایل معرفی بخش‌های قابل دسترسی و بخش‌های محدود شده برای دسترسی ربات‌ها می‌باشد. به صورت تعریفی دقیق‌تر، این فایل راهنمای خزندگان سطح وب که از سوی موتورهای جستجو به منظور بررسی و ثبت اطلاعات سایت‌ها ایجاد شده‌اند، می‌باشد.