آن قطعه از محتوا اغلب، اگر مربوط به رسانه ای باشد، دستورالعملی برای عدم فهرست بندی خواهد داشت. اما وقتی کدهای مربوطه را در صفحات خود جاسازی می کنید، ممکن است گوگل پیشنهاد دهد که به دلیل اینکه محتوای جایگذاری شده بدون فهرست است، این کار را انجام ندهید. صفحه ای را که ما به عنوان مثال در آن کدهای مربوطه را جایگذاری می کنیم به طور حتم ایندکس خواهند شد. در این بخش، گوگل به شما کنترل بیشتری می دهد تا بگویید، صفحه ای را که در آن کدهای مربوطه جایگذاری شده اند را چگونه فهرست کنید. این موضوع را به عنوان هشداری در گوگل در مورد جایگذاری شبکه های اجتماعی از جمله اینستاگرام یا سایر تصاویر و مشکلات سئو که می توانید ایجاد کنید موثر خواهد بود. برای اینکه بتوانید سئوی سایت خود را بهبود ببخشید باید از فایل Robots.txt استفاده کنید.
- اما آنها تنها در یک مسیر مشخص (مسیر ریشه وب سایت) به دنبال این فایل هستند.
- از طرف دیگر، اکثر سرورها یا میزبان‌های وبسایت از نظر پنهای باند و ترافیک محدودیت دارند؛ به همین دلیل مصرف ترافیک برای ربات‌ها مقرون به صرفه نیست.
- اصولا توی گوگل صفحات سریع پاک میشه ولی برعکس دیر انجام میشه.
- اگر روزانه تعداد زیادی ربات برای بررسی و ایندکس صفحات وارد سایت شما شوند قطعا با مشکل افت سرعت مواجه خواهید شد.
در واقع ربات ها دستوراتی را اجرا می کنند که به صورت دقیق و منطبق با رفتار آنها تعریف شده باشد. در غیر اینصورت وظیفه طبیعی و اصلی خود را انجام می دهند. پس برای اینکه در دنیای تجارت بتوانید از رقبای خود پیشی بگیرید باید تمام مسائل را موردتوجه قرار دهید. شما توسط فایل Robots.txt می‌توانید به‌راحتی سئو سایت خود را بالا ببرید. این کار سبب می‌شود با زیادتر شدن محتوای سایتتان بتوانید روی آن مدیریت بهتری داشته باشید و مثل یک وب‌مستر حرفه‌ای آن را کنترل کنید.
بعد از اینکه وب سایت ما به طور کامل طراحی و آماده نمایش به گوگل شد، باز هم ما با فایل robots سایت کار داریم. در سایت، برخی از صفحات وجود دارند که به صورت پیشفرض وجودشان ضروری است اما نمایش آنها در نتایج هیچ سودی ندارد. این ربات برای پیدا کردن جایگاه سایت شما در نتایج جستجوی گوگل کاربرد دارد.
فایل robots.txt باید در چه آدرسی قرار دهیم؟
آموزش ساخت ربات رو توی سایت ببینید کد صحیحش رو گذاشتیم. دستورات فایل ربات شما از ایندکس جلوگیری نمی کند و می بایست مابقی تنظیمات وردپرس را برای این مورد بررسی نمایید. امکان دارد هر کدام از ربات‌ها دستورات را به شکل متفاوتی درک کند.
بارگذاری فایل Robots در سایت
پس بنده باید داخل فایل منیجر هاستم دنبال آدرس وبم باشم و فایل رو داخل اون پوشه آپلود کنم ولی به گفته ی شما باید این فایل تکست داخل روت هاست آپلود شه. دستور” / ” بعداز Disallow به ربات گوگل می‌گوید باید وارد پوشه‌ای در ریشه فایل شوید. تمایل به فهرست شدن نتایج جستجوی درون سایت وردپرسی ندارید. اگر تا الان روی سئوی سایتت کاری نکردی، بهتره که از همین امروز شروع کنی. در صورتی که سایت شما دارای ساب دامین است لازم است هریک از این ساب دامین‌ها دارای فایل robots.txt مختص خود باشند. بعنوان مثال nardebangroup.com فایل خودش را دارد و my.nardebangroup.com هم فایل robots.txt جدا دارد.
لازم به ذکر است که این دسترسی ها را هیچ شخصی به غیر از مالک سایت نباید داشته باشد. در ادامه ی مقاله نحوه ساخت فایل ربات را با دستورات آن آورده ایم. فایل Robots.txt یک فایل متنی کاملا ساده است؛ همانطور که از نام این فایل پیداست، فرمت .txt دارد و در دایرکتوری سایتتان قرار خواهد داشت. شما با کمک این فایل می توانید به ربات های گوگل و کراولر ها دستورات دلخواه خود را بدهید.
حالا فرض کنید به صورت روزانه صدها یا هزاران ربات شروع به بررسی و جمع‌آوری اطلاعات از سایت شما می‌کنند و در این صورت، عملکرد بهینه سایت شما و سرعت بارگذاری اطلاعات آن برای مرورگرها تحت‌الشعاع قرار خواهد گرفت. دسترسی موتورهای جستجو به این صفحات یا فایل‌ها را محدود کرد. از سال ۱۳۹۴ شروع به‌کار کردیم و هدف ما کمک به شما برای ساخت یک کسب‌و‌کار اینترنتی موفق است. اما چطور؟ بهترین سایت‌ساز دنیا را ساخته‌ایم که بیش از ۲۵۰۰ وبسایت از آن استفاده می‌کنند. هم‌چنین بیش از ۲۰۰۰ مقاله آموزشی رایگان منتشر کرده‌ایم. من وقتی سایت رو تو گوگل جستجو می کنم یک سری از آدرس های مربوط به دایرکتوری آپلود میاد بالا که البته از تو سرچ کنسول آن ها را به درخواست حذف اضافه کردم.
به عنوان نکته بعدی کاملا توجه داشته باشین که مراحل اولیه بهتره تعداد سرچ روزانتون رو خورد خورد افزایش بدین و به گوگل شک وارد نکنید. مثلا اگر شما در صفه ای از سایتتون روزانه یک سرچ هم نداشتین یک دفعه اون از رو صفر به ده یا بیست تا نرسونین. اول با روزی سه الی چهارتا سرچ شروع بکنید و بعد از دو روز بکنیدش هفت تا یا هشت تا حالا همینطور خورد خورد تعدادش رو افزایش بدین تا گوگل شک نکنه. در نهایت همینطور که سئو سایتتون رشد میکنه کلمات کلیدی بهتر و قوی تری مد نظر قرار بدین و تعداد جست و جو های روزانه رو بیشتر بکنید.