در ادامه می‌خواهیم با جزئیات کامل درباره همین فایل مهم صحبت کنیم. قدم به قدم جلو می‌رویم تا ببینیم چطور می‌توان از فایل Robots.txt استفاده کرد؛ چطور می‌توانیم ربات‌ها را محدود کنیم، چطور از ایندکس شدن صفحه‌ها جلوگیری کنیم و در نهایت یک فایل Robots.txt عالی بسازیم. وقتی صحبت از URL های واقعی در فایل Robots.txt میشود، آدرس‌ها و دستورهای کاملاً پیچیده‌ای در این فایل استفاده میشوند. با این حال امکان تطبیق الگو برای طیف وسیعی از URL ها وجود دارد. موتور جست‌وجوهای گوگل و بینگ هردو از یک الگوی منظم برای بررسی URL ها در این فایل استفاده می‌کنند.
این مقالات که به زامبی پیج معروفند، باعث کاهش ارزش سئو سایت میشوند. بهترین موتور جستجو برای سئو و بهینه سازی و افزایش ترافیک چیه… ربات یک برنامه رایانه‌ای خودکار است که با وب سایت‌ها و برنامه‌ها ارتباط برقرار می‌کند. درکل ربات‌های خوب و ربات‌های بد وجود دارند و یکی از انواع ربات‌های خوب ربات خزنده وب نام دارد. سلام سجاد، ادرس دقیق لطفا بگید که کجا گفتیم تا بررسی کنم. با این حال در خطی که بنده نوشتم نباید مسدود کرد رو لطفا بگید تا علت نوشتن رو بررسی کنم.
- با تغییر عدد 10 به دیگر اعداد، می‌توانید مدت زمان مربوطه را کم یا زیاد کنید.
- این حرکت باعث میشود گوگل سریع تر بک لینک شما را شناسایی و ثبت کند و در نهایت اعتبار سایت ریپوتاژ / بک لینک دهنده زودتر به سایت شما منتقل میشود.
- فایل robots.txt همان بستری است که کمک می‌کند تا ربات‌ها زبان ما را بفهمند و زمانی که برای بررسی یا اقدامات دیگر به سایت شما سر می‌زنند، نقش راهنما را بازی می‌کند.
- خوشبختانه دسترسی ربات‌ها به صفحه‌ها یا فایل‌ها را می‌توانیم کنترل کنیم.
لطفا بنده رو راهنمایی کنید که چطور میتونم این مشکل رو حل کنم . البته بنده از برنامه نویسی هیچی نمیدونم و سایتم رو خودم با ورد پرس طراحی کردم. احراز هویت در سرچ کنسولجندین روش برای احراز هویت وجود دارد که بتوانید تا مالکیت خود را ثابت کنید. همچنین، اگر تعداد زیادی صفحه دارید که می‌خواهید آن‌ها را مسدود کنید، گاهی اوقات به‌جای افزودن دستی یک برچسب noindex به هر صفحه، مسدود کردن کل بخش آن سایت با robots.txt آسان‌تر می باشد. استفاده از تگ noindex برای پیاده سازی روی منابع چندرسانه ای مانند فیلم ها و فایل های PDF دشوار خواهد بود. اگر یک سئو کار حرفه ای نیستید، به هیچ عنوان سمت استفاده از این روش نروید؛ این تکنیک یکی از تکنیک های سئوی کلاه سیاه به حساب می آید و حتما باید توسط افراد حرفه ای و متخصص انجام شود.
شما می‌توانید با استفاده از چندین دستورالعمل به URLهای خاصی اجازه فعالیت دهید یا آن‌ها را ممنوع و مسدود کنید، همچنین امکان افزودن چند نقشه به سایت را برای شما فراهم می‌کند. این دستور به ربات گوگل می‌گوید علی رغم اینکه فولدر Photos از دسترس ربات‌ها خارج شده است، اجازه مشاهده و ایندکس فایل novin.jpg را دارد. دستور Disallow به ربات‌ها می‌گوید که چه فولدرهایی از وبسایت شما را نباید بررسی کنند.
نحوه ایجاد فایل Robots.txt
هرچند موتورهای جستجوگر بزرگ مانند گوگل، یاهو و بینگ به این دستورالعمل‌ها توجه می‌کنند، ولی برخی ربات‌های مفید یا مخرب دیگر ممکن است توجهی به این فایل نداشته باشند. تنها طراحی یک سایت و امکان خرید برای یک سایت فروشگاهی کافی نیست. طراحی سایت شما باید به گونه‌ای باشد که کاربر هنگام ورود به آن احساس راحتی داشته باشد و بتواند به سادگی به تمام بخش‌های سایت دسترسی داشته باشد. در این مقاله درباره ویژگی‌های یک طراحی سایت فروشگاهی خوب صحبت کرده‌ایم. در ادامه توجه شما را به نکاتی جلب می کنیم که رعایت آن ها در ساخت فایل robots.txt موجب سئو هر چه بهتر وب سایت شما خواهد شد.
فایل Robots.txt چیست و چکار می‌کند؟
من یک مورد بررسی کردم برام منطقی نبود که چرا برای price این کار کردید و به نظرم اشتباه هست. پیشنهاد میشه کمی برای خودتون وقت بذارید و مقاله رو مطالعه کنید تا متوجه بشید. سپس زیرمنوی “robots.txt Tester.” را انتخاب کرده تا ابزار تست این فایل را مشاهده کنید. اگر به دنبال مثال های بیشتری هستید مقالهRobots.txt Specifications گوگلهم می‌تواند برای شما مفید باشد. این ابزار به صورت خودکار این فایل را برداشته و آن را تست می کند. همه خطاهای احتمالی و خطرات و ایرادها را همینجا به شما تذکر می دهد.
برای اینکار کافیست وارد “پیشخوان وردپرس” شده، روی “تنظیمات افزونه” کلیک کرده و “ابزارها” را انتخاب کنید. فایل ربات یک فایل متنی با ساختار txt ساده است، که دقیقا در ریشه root هاست سایت قرار گرفته و برای تمام موتورهای جستجو و کاربران بازدید کننده دارای دسترسی مجاز است. این فایل توسط مدیر سایت ساخته می شود و در این قسمت از هاست قرار میگیرد تا برخی فعالیت های سایت را بتوان با آن کنترل کرد. در مورد کلمات کلیدی کم رقابت، استفاده از ربات افزایش ورودی گوگل قطعاً سبب بالا آمدن سایت شما (ورود به صفحه اول و حتی آمدن به رتبه نخست) میشود اما در کلمات کلیدی پُر رقابت، قضیه آنقدرها آسان نیست.
چطور Robots.txt وردپرس را برای سئو بهینه کنیم؟
در مطلب ” ثبت سایت در سرچ کنسول ” به شما آموزش های لازم را داده ایم. همانطور که در تصویر بالا مشاهده می کنید، ما به ربات های موتور جستجو، اعلام کرده ایم که می تواند فایل های موجود در پوشه آپلود را می تواند ایندکس کند. همچنین جلو موتور جستجو، را برای ایندکس کردن افزونه ها و فولدر ادمین وردپرس گرفته ایم(با عبارت Disallow). ممکن است در همه حالات نتیجه مناسب به همراه نداشته باشد. به عنوان مثال اگر شما نرخ تأخیر ربات‌ها را روی ده ثانیه قرار دهید، موتورهای جستجو به صورت روزانه می‌توانند فقط نزدیک به 8600 صفحه از سایت شما را بررسی و ایندکس کنند. اگرچه این مقدار برای سایت‌های نه چندان بزرگ مقدار کمی نیست، اما برای سایت‌هایی که صفحات زیاد و محتوای متعددی دارند اقدام مناسبی نمی‌باشد.
چرا ناراحتی؟ مشکل خاصی نیست که، مشکل داشت بسته میشه و در نتایج هم کم کم اعمال میشه و اگر مشکل نداشت میذاری همینطوری باشه. هر منبعی (عکس، جاوااسکریپت یا سی اس اس و یا …) که برای لود یک صفحه کاربر نیاز هست (کاربر لاگین شده رو نمیگم) رو نباید روی گوگل ببندیم. با این حال فکر میکنم شما در یک جایی درست تشخیص ندادید و باعث شده صورت مسئله گنگ باشه. پیشنهاد میشه اگر تلاش کردید و به نتیجه نرسیدید به یک متخصص سئو دسترسی بدید تا اون هم یک بررسی کنه.
ابزارهای بسیار زیادی برای تست فایل robots.txt وجود دارند اما استفاده از ابزار Google Search Console را برای این کار توصیه می‌کنیم. ابتدا می‌بایست به صفحه Google Search Console وارد شوید. علاوه بر دستورات “User-agent” و “Disallow”، ربات گوگل دستور دیگری به نام “Allow” را نیز درک می‌کند. اگر یک نفر بخواهد به صفحاتی از وبسایت شما دسترسی پیدا کند که شما این صفحات را در فایل ربات بلاک کرده‌اید یقینا برای شناسایی این صفحات می‌تواند به راحتی از فایل ربات استفاده کند. خیلی‌ها فکر می‌کنند که از طریق فایل‌های ربات از اطلاعات محرمانه‌ی خود مراقبت می‌کنند در حالی که کاملا برعکس است و برخی ربات‌ها می‌توانند از این اطلاعات شما سوءاستفاده کنند. بعد از اینکه public_html را باز کردید، فایل را به داخل آن بکشید؛ توجه داشته باشید که به عنوان مالک سایت، باید بتوانید به تمام قسمت های فایل دسترسی داشته باشید و آن را بخوانید، ویرایش کنید و بنویسید.