اشتباه اول این هست که این دو اصلا ربطی ب هم ندارن اشتباه دوم این هست که شما اینطوری محکم کاری کردید که دیگه نمایش داده نشه. البته شایدم هدفتون این باشه و سوال اشتباه پرسیده باشید. ربات باید بتونه صفحات رو خوب لود کنه و برخی فایل ها در این مسیر هستند.
باید یک فایل ربات توی روت اصلی سایت بسازید و به همون صورتی که اخر متن نوشتید درج کنید. چنین صفحه‌ای با وجود عدم خزش توسط روبات‌های موتور جستجو در نتایج نمایش داده می‌شود. اطلاعات بیشتر درباره تست فایل robots.txt در سایت گوگل مشاهده کنید. در سمت راست دستوراتی را مشاهده می‌کنید که در فایل robots.txt درج کرده بودید. این نشان دهنده این است که شما به درستی این فایل را ایجاد کرده‌اید و مکان آن صحیح است. نکته بسیار مهمی که باید به آن دقت کنید، این است که فایل robots.txt به حروف بزرگ و کوچک حساس است.
- اگر از وردپرس استفاده می‌کنید افزونه‌هایی برای این کار وجود دارد و در غیر اینصورت باید از طراحی وبسایت خود بخواهید که امکاناتی برای افزودن این کد‌ها یا دستورات در قسمت هد هر صفحه فراهم کند.
- اصولا زمانی که وب سایت خودمان را طراحی کرده باشیم، به کمک فایل robots کل وب سایت را از دید موتور جستجو پنهان میکنیم.
- این مورد برای صفحات محرمانه با دسترسی عمومی بسیار مناسب است.
به معنای این است که تمامی صفحات از ایندکس پنهان باشند. بلاگمهدی عراقی آکادمی دیجیتال مارکتینگبا هدف رشد توسعه افراد به صورت رایگان در زمینه های آموزش سئو وآموزش دیجیتال مارکتینگراه اندازی شده است. Sitemap روش مناسبی برای مشخص کردن محتوای Google است که می‌تواند فهرست شود. دستور allow اجازه خزیدن به زیر شاخه یا صفحه در یک فهرست غیر مجاز را می‌دهد.
پرسش‌های متداول درباره فایل Robots.txt
با شناخت اشتباهات رایج در آن، بهتر می توانید عمل کنید. ماکسیمم سایز قابل پشتیبانی برای فایل robots.txt، 500 کیلو بایت است. ما مقاله ای کامل در زمینه سئو فروشگاه نوشتیم که تبدیلش کردیم به یک کتاب pdf میتونید در این صفحه دانلود کنید هر آموزشی که برای یک فروشگاه اینترنتی لازم هست رو توضیح دادم.
چطور از گوگل بخواهیم صفحه‌ای را در نتایج جستجو نمایش ندهد؟
علاوه بر این شما می توانید با کلیک روی گزینه ” FILE+” طبق تصویر زیر، در فیلدNew File Name، فایلی را با نامrobots.txtوارد کرده و در نهایت Create New File کلیک کنید تا فایل شما ساخته شود. طبق آموزش ها با استفاده از نرم افزار FTP به وردپرس متصل شوید. البته فراموش نکنید که بعد از اتمام تغییرات حتما دکمه ذخیره را بزنید.به این ترتیب می توانید با افزونه یواست سئو فایل robot.txt را ویرایش کنید.
ما در تیم تولید محتوای میهن وردپرس در تلاش هستیم تا بهترین مقالات آموزشی در زمینه وردپرس و کسب‌و‌کارهای اینترنتی را تهیه کنیم. این ابزار نمی‌تواند به صورت مستقیم فایل robots.txt را ویرایش کند. بعد از زدن دکمه submit پنجره‌ای باز می‌شود که از شما می‌خواهد فایل جدید ویرایش شده را دانلود کرده و به جای فایل قبلی در سرور میزبان وبسایت جایگزین کنید. اگر وبسایت خود را به ابزار سرچ کنسول گوگل متصل کرده باشید، وقتی این ابزار تست را باز کنید از شما می‌خواهد که سایت متصل شده مورد نظر را انتخاب کنید.
در این فایل با چند دستور ساده مشخص میکنیم که ربات اجازه بررسی کدام صفحه‌ها را دارد و کدام صفحه‌ها را نباید بررسی کند. فایل Robots.txt در وبسایت‌ها نقش همین راهنماها و نگهبانان را دارد اما نه برای کاربرانی که وارد سایت می‌شوند، بلکه برای ربات‌هایی که برای بررسی سایت یا هر کار دیگری می‌خواهند در بخش‌های مختلف سایت سرک بکشند. نقشه‌های سایت، ربات‌های خزنده را مجبور نمی‌کنند تا صفحات وب را متفاوت اولویت‌بندی کنند. برخی از عوامل کاربر (ربات‌ها) ممکن است فایل robots.txt شما را نادیده بگیرند. این امر به‌ویژه در مورد خزنده‌های بد مانند ربات‌های بدافزار یا خراش دهنده آدرس ایمیل رایج است. استفاده از این مدل دستور در فایل robots.txt به خزنده‌های وب می‌گوید که تمام صفحات از جمله صفحه اصلی را بخزند.