Robots.txt چیست و چرا مهم است ؟

  1. خانه
  2. chevron_right
  3. مقالات
  4. chevron_right
  5. Robots.txt چیست و چرا مهم است ؟

Robots.txt فایلی است که به خزند های موتور جستجو می گوید صفحات یا بخش های خاصی از یک وب سایت را نخزند . اکثر موتورهای جستجوگر ( از جمله گوگل ، بینگ و یاهو ) درخواست Robots.txt را می شناسند و به آنها احترام می گذارند.

چرا Robots.txt مهم است؟

اکثر وب سایت ها به پرونده robots.txt احتیاج ندارند.

به این دلیل است که Google معمولاً می تواند تمام صفحات مهم سایت شما را پیدا و فهرست کند و آنها به طور خودکار صفحاتی را که مهم نیستند یا نسخه های تکراری صفحات دیگر را فهرست نمی کنند .

به این ترتیب ، ۳ دلیل اصلی وجود دارد که شما مایل به استفاده از پرونده robots.txt هستید.

مسدود کردن صفحات غیر عمومی :

بعضی اوقات صفحاتی در سایت خود دارید که نمی خواهید آنها را فهرست بندی کنید. به عنوان مثال ، شما ممکن است یک نسخه خاص از صفحه ای داشته باشید ( مانند یک سند مهم ). این صفحات باید وجود داشته باشند. اما شما نمی خواهید افراد تصادفی روی آنها فرود بیایند. این موردی است که شما می توانید از robots.txt استفاده کنید تا این صفحات را از خزنده ها و ربات های موتور جستجو مسدود کنید.

به حداکثر رساندن بودجه خزیدن :

اگر با مشکل ایندکس نشدن تمام صفحات خود را سخت دست و پنجه نرم می کنید ، ممکن است مشکل خزیدن موتورهای جستجو را داشته باشید . با مسدود کردن صفحات بی اهمیت با robots.txt ، Googlebot یا سایر ربات های موتورهای جستجو می تواند بیشتر بودجه خزیدن شما را در صفحاتی که واقعاً مهم هستند ، هزینه کند.

جلوگیری از نمایه سازی منابع :

 استفاده از دستورالعمل های متا می تواند درست مانند Robots.txt کار کند تا از ایندکس شدن صفحات جلوگیری شود. اما ، دستورالعمل های متا برای منابع چندرسانه ای مانند PDF و تصاویر به خوبی کار نمی کنند.

نتیجه گیری

Robots.txt به خزنده های موتور جستجو می گوید که صفحه های خاصی را در وب سایت خود خز نکنند.

می توانید چند صفحه را در سرچ کنسول Google فهرست بندی کنید.

اگر این تعداد با تعداد صفحاتی که می خواهید نمایه شوند مطابقت دارد ، نیازی به ساختن پرونده Robots.txt ندارید.

اما اگر این تعداد بالاتر از حد انتظار شماست (و به URL های ایندکس شده توجه می کنید که نباید ایندکس شوند) ، زمان آن رسیده که یک پرونده robots.txt برای وب سایت خود ایجاد کنید.

robots.txt چیست

بهترین روش ساخت robots.txt

یک فایل Robots.txt ایجاد کنید

به عنوان یک فایل متنی ، در واقع می توانید با استفاده از دفترچه یادداشت Windows ایجاد کنید و مهم نیست که در نهایت پرونده robots.txt خود را چگونه می سازید ، قالب دقیقاً یکسان است:

User-agent: X

Disallow: Y

عامل کاربر ربات خاصی است که شما با آن صحبت می کنید.

و هر آنچه بعد از “عدم اجازه” می آید صفحات یا بخش هایی است که می خواهید مسدود کنید.

در اینجا مثالی وجود دارد:

User-agent: googlebot

Disallow: /images

این قانون به Googlebot می گوید که پوشه تصویر وب سایت شما را فهرست نکند.

همچنین می توانید از ستاره (*) برای صحبت با همه و همه ربات هایی که توسط وب سایت شما متوقف شده استفاده کنید.

در اینجا مثالی وجود دارد:

User-agent: *

Disallow: /images

“*” به همه عنکبوتها می گوید که پوشه تصاویر خود را خز نکنند.

شما می توانید از لحاظ فنی پرونده robots.txt خود را در هر فهرست اصلی سایت خود قرار دهید.

اما برای افزایش شانس یافتن پرونده robots.txt شما ، توصیه می کنم آن را در اینجا قرار دهید:

https://example.com/robots.txt

(توجه داشته باشید که پرونده شما حساس به پرونده است. بنابراین حتماً از نام “r” کوچک در نام پرونده استفاده کنید)

پاسخی بگذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

این فیلد را پر کنید
این فیلد را پر کنید
لطفاً یک نشانی ایمیل معتبر بنویسید.

دوازده + 11 =

فهرست