خود ووکامرس این صفحات رو به کمک تگ noindex میکنه و نیازی به استفاده از این فایل نیست. در مثال پایین با درج $ تأکید می‌کنیم که اگر در انتهای آدرسی علامت سوال (?) بود، آن آدرس باید Disallow شود. در نتیجه مثال پایین یعنی هیچ رباتی اجازه‌ی خزش آدرس‌هایی که با ? پس از ورود به این گزینه، مسیر/public_html/را انتخاب کنید. اکنون فایلی که با برنامه notepad یا هر نرم‌افزار ویرایشگر متن دیگری که ساخته اید را با نام robots.txt ذخیره و روی هاست آپلود کنید. برای این کار کافیست گزینه Upload را انتخاب و فایل را به هاست خود اضافه کنید.
- این بارچندم بودکه سوال میپرسم ازتون،شمام همیشه باحوصله پاسخگو بودین واقعامعلومه که نسبت به مشتریاتون احساس مسئولیت می کنید..
- نردبان قصد دارد به شکلی حرفه‌ای، جایگاه مشتری را در فضای وب دگرگون کند.
- ربات باید بتونه صفحات رو خوب لود کنه و برخی فایل ها در این مسیر هستند.
- برای کرال کردن سایت‌ها، موتورهای جستجو لینک‌ها را دنبال میکنند تا از یک سایت به سایت دیگر بروند.
- اگر برای ایندکس کردن تمام صفحات خود با مشکل مواجه هستید، ممکن است با مشکل بودجه crawl مواجه شوید.
با ابزار انلاین که فایل robots.txt رو چک کردم میگفت وجود نداره اما از طریقی که شما اموزش دادید فایلی رو اورد که اصلا دستوراتش فرق میکنند. اگر بتوانید فایل robots.txt خوبی ایجاد کنید، می‌توانید به موتورهای جستجو (به خصوص Googlebot) بگویید که کدام صفحات را مشاهده نکند. در واقع با این کار به ربات‌ها می‌گویید کدام صفحه‌ها اصلاً در اولویت شما نیستند. حتماً شما هم نمی‌خواهید که ربات خزنده گوگل برای مشاهده و ایندکس محتوای تکراری و کم ارزش، سرورهای شما را اشغال کند. در واقع فایل Robots.txt یک قرارداد بین سایت شما و ربات‌های خزنده است که به آنها اعلام می‌کند چه محتوایی قابل بررسی و چه محتوایی غیرقابل بررسی است. با این کار ربات‌های موتورهای جستجو زمان کافی و اختیارات لازم برای بررسی محتوای وبسایت شما را داشته و بهتر سایت شما را بررسی میکنند.
اطلاعات و نکاتی که باید در خصوص فایل Robots.txt بدانید:
کاهش سرعت بارگذاری سایت نیز ارتباط مستقیمی با سئو و تجربه کاربران دارد. بنابراین با استفاده از فایل ربات ساز می‌توانید از کاهش سرعت سایت خود و ورود تعداد زیادی ربات به آن جلوگیری نمایید. هدف نهایی بهینه سازی فایل robot.txt این است که فایل هایی که به صورت عمومی در دسترس نیست را ایندکس نکند. برای مثال فایل های موجود در فولدر wp-plugins یا پیج هایی که در ادمین وردپرس وجود دارند.
وب‌مسترهای موفق همواره عملکرد و تغییرات این ربات‌ها را دنبال کرده و مطابق با استانداردهای آنان پیشروی میکنند. توجه کنید که اگر سایت شما فایل Robots.txt نداشته باشد هم ربات‌های گوگل کار خودشان را میکنند. اگر چنین فایلی وجود نداشته باشد، ربات بدون هیچ محدودیتی به تمام بخش‌های در دسترس سر می‌زند. ربات گوگل ، به شکلی طراحی شده است تا شهروند خوبی برای دنیای اینترنت باشد. خزیدن، اولویت اصلی این ربات است پس طوری طراحی شده که تا بر تجربه کاربری بازدیدکنندگان سایت تاثیری نگذارد.
اگر کمی با کدهای HTML آشنایی داشته باشید پس می‌دانید که هر صفحه دو قسمت هد و بدنه دارد. خب، بیایید به موضوع اصلی خودمان یعنی فایل robots.txt برگردیم. به علاوه، اتفاقاتی که بر کل سایت تاثیر می‌گذارند مانند جا‌به‌جایی وبسایت، ممکن است میزان Crawl Demand را جهت ایندکس دوباره وبسایت بر روی آدرس جدید، افزایش دهند. صاحبان وبسایت و وبمسترها می‌توانند ورود ربات‌ها به وبسایت را از راه‌های مختلفی کنترل کنند. مثل تصویر زیر که در آن اجازه دسترسی به پوشه‌ای به نام photos و اجازه دسترسی به صفحه‌ای به نام files.html را ندادیم. در سئورب، مقالات آموزشی سئو و بررسی و تحلیل برخی از سایت ها را از نظر سئو انجام میدهیم.
ساختن فایل robots.txt در سایت وردپرس
این دستور مشخص کننده صفحه یا صفحات غیر قابل دسترس برای ربات‌های خزنده وب است. حال قصد داریم کمی درباره وردپرس حرف بزنیم و یک فایل robots txt برای وردپرس به شکل بهینه شده و مناسب ایجاد کنیم. دستور زیر که در بسیاری از سایت‌های وردپرس استفاده می‌شود به این معناست که تمام ربات‌ها به پوشه wp-admin دسترسی نداشته باشند ولی به فایل admin-ajax.php که در این پوشه هست دسترسی پیدا کنند. البته بودن چنین دستوراتی در فایل robots.txt ضرری هم ندارد هر چند ربات توانایی وارد شدن به محیط ادمین وردپرس را ندارد ولی خطا در کدنویسی هم از سمت گوگل و هم از سمت ما طبیعتا امکان‌پذیر است. اگر توجه کرده باشید ما در این مقاله یک بار از کیورد User-agent استفاده کردیم و سپس ۲ خط دستور وارد کردیم، شما می‌توانید به تعداد دلخواه دستورات لازم را در هر خط وارد نمایید. همان‌طور که گفتیم موتورهای جستجو ممکن است تعداد ربات‌های زیادی برای موارد خاص داشته باشند برای همین اولویت هم برای آنان مهم است.
فایل robots.txt چیست؟
منظور من اونجا wp-includes هست که خیلی سایت های ایرانی میبندن، البته متن گنگ هست قبول دارم و باید ویرایش کنم. هر چند wp-admin هم بستگی به سایت داره و نمیشه برای کل سایت‌ها بگیم مسدود کردنش خوبه یا بده. ابتدا پیشنهاد میکنم این موضوع رو به یک متخصص سئو که امکان دسترسی به امار و سایت شما داره بسپارید، چرا که حس میکنم مسیر رو اشتباه میرید و صورت مسئله شما هم کافی نیست و باید دقیق بررسی کرد. چرا این صفحاتی که اتوماتیک ساخته میشن رو طوری تعریف نمیکنید که متا تگ نو ایندکس بخوره؟ این روش بهتری هست. مطمئن هستی محتوای این ادرس ها ارزش خاصی نداره؟ من حس میکنم این ادرس ها مربوط به دسته بندی های شما هست و ممکنه دسته بندی های شما مهم باشن.
با این حال، بسیار توصیه می‌شود که این فایل را ایجاد کنید. دستور Disallow برای ایندکس نکردن کاربرد دارد؛ با این دستور شما به ربات های موتور جستجو می گویید که نمی خواهید صفحه یا بخش مورد نظر در سایتتان، ایندکس شود. از اینجا می‌توانید جزییات فایل robots.txt هر سایتی را به راحتی مشاهده کنید. اگر می‌خواهید برای ادیت فایل Robots.txt سایت خودتان اقدام کنید، این فایل در قسمت Root سایت شما قرار دارد. با ورود به این بخش می‌توانید فایل robots خودتان را پیدا کنید و دستورات جدیدی به آن اضافه یا دستورات قبلی را حذف کرده و سپس فایل را ذخیره کنید. ما با پنهان کردن کل سایت از دید گوگل در ابتدای کار، به خودمان فرصت میدهیم تا صفحات اضافی سایت را حذف کرده و بقیه تغییرات لازم را روی آن ایجاد کنیم.
وباید در کل بشینم همه لینک هارو درست کنم و به صفحات درست خودشون ریدایرکت کنم بجز این فکری به ذهنم نمیرسه . اگر هم می‌خواهید صفحه‌های مشخصی را تست کنید، کافی است آدرس آن را در نوار پایینی وارد کنید و بعد ربات گوگلی که مد نظرتان است را انتخاب کنید. هر بار که دکمه test را بزنید در همان لحظه به شما نشان می‌دهد اجازه دسترسی ربات‌ها به صفحه را داده‌اید یا نه. Crawl Budget در حقیقت تعداد صفحاتی از وب سایتتان است که ربات گوگل در یک روز آنها را خزیده و بررسی می‌کند. بودجه شما، یا همان تعداد صفحاتی که توسط Googlebot مشاهده می شوند، بر اساس حجم وبسایت شما (تعداد صفحات)، سلامت آن (عدم بروز خطا) و تعداد بک‌لینک‌های سایتتان تعیین می‌شود.