آموزش و ساخت فایل robots.txt

  1. خانه
  2. chevron_right
  3. بیشترین بازدید
  4. chevron_right
  5. آموزش و ساخت فایل robots.txt

آموزش و ساخت فایل robots.txt

تلاش ما براین است تا بتوانیم دراین مقاله در مورد فایل robots.txt صحبت نماییم.

Website owners use the robots.txt file to give instructions about their site to web robots

فایل robots.txt به ربات های وب دستوراتی در مورد وب سایت می دهد.  این ربات ها می توانند به شما احترام بگذارند و دستورات داده شده را انجام دهند و یا آنها را نادیده بگیرند( باتوجه به تجربه شخصی تا به حال موردی پیش نیامده که ربات ها دستورات خواسته شده را انجام ندهند )

می خواهیم با هم این فایل رو بسازیم و تمام کدهای داخل آن را تجزیه و تحلیل کنیم.

وارد هاست خود شوید و در روت هاست (root) یک فایل به نام robots.txt بسازید.

روت هاست (root) کجاست؟

وارد هاست خود شوید (دایرکت ادمین و یا cpanel) سپس وارد public_html شوید. به این قسمت روت هاست می گویند.

چگونه در cpanel فایل robots.txt را بسازیم؟

در روت هاست از قسمت منوی بالا New File را انتخاب کنید و درون فیلد New File Name ، نام robots.txt را وارد کنید و سپس Create New File را انتخاب کنید. فایل شما ساخته شد. حال بر روی فایل خود یکبار کلیک کرده و از طریق منوی بالا بر روی Code Editor کلیک نمایید. در این محل کدهای خود را قرار دهید.

چگونه در direct admin فایل robots.txt را بسازیم؟

وارد روت هاست خود شوید. در پایینی ترین قسمت نوشته شده (دایرکت ادمین به زبان فارسی) : “ایجاد فایل جدید”. درون این فیلد robots.txt را تایپ کرده و بر روی دکمه “ایجاد” کلیک کنید. پس ازساخت فایل دوباره وارد روت هاست شده و فایل مورد نظر را بیابید و بر روی Edit که در روبروی آن قابل مشاهده است کلیک کنید. در این محل کدهای خود را قرار دهید.

حالا زمانی که ربات ها بخواهند وارد وب سایت شما شوند اول فایل robots.txt رو بررسی می کنند.

(ربات ها درابتدا قوانین شما را مطالعه می کنند و طبق آن ها عمل می کنند)

آموزش فایل robots.txt

وقت آن رسیده که کدهای خود را داخل این فایل قرار دهید.

با یک مثال ساده شروع می کنیم:

User-agent: *

Disallow: /

اول بریم سراغ مقاله های انگلیسی:

The “User-agent: *” means this section applies to all robots

The “Disallow: /” tells the robot that it should not visit any pages on the site

* :user-agent یعنی کدهای این قسمت بر روی تمامی ربات های موجود اعمال شود!(ربات های موتور جستجوگر گوگل ، ربات های موتور جستجوگر یاهو و ……….)

قسمت دوم نیز ( / :Dissallow ) به ما میگوید اجازه ندارید صفحات این وب سایت رو ببینید!

پس در کل این دو خط این معنی را می دهد : هیچ کدام از ربات های موجود در وب نباید این وب سایت را بررسی کنند(تمامی صفحات وبسایت).

پس ما با استفاده از فایل robots.txt می توانیم از ربات ها درخواست کنیم فایل ها و یا folder های ما را بررسی نکنند.

در مثال زیر من از تمامی ربات ها درخواست می کنم تا پوشه های گفته شده را بررسی و ایندکس نکنند.

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /seoarzan/

هرکدام از Disallow ها باید در یک خط باشند.

حالت نوشتاری زیر کاملا غلط است:

Disallow: /cgi-bin/ /tmp/

با توجه به نکاتی که ذکر کردیم، قطعه کد زیر دسترسی تمامی ربات ها را به سایت می بندد.

User-agent: *

Disallow: /

و قطعه کد زیر به تمامی ربات ها اجازه می دهد که وب سایت را بررسی و ایندکس نمایند:

User-agent: *

Disallow:

ما حتی می توانیم دسترسی نوعی خاص از ربات ها را به وب سایت ببندیم .

و قطعه کد زیر به تمامی ربات ها اجازه می دهد که وب سایت را بررسی و ایندکس نمایند:

User-agent: *
Disallow:

ما حتی می توانیم دسترسی نوعی خاص از ربات ها را به وب سایت ببندیم و یا باز کنیم برای مثال ربات گوگل در قطعه کد زیر من دسترسی ربات های گوگل را باز می گذارم و دسترسی تمامی ربات های دیگر به غیر از گوگل به وب سایت را می بندم.

User-agent: Google
Disallow:
User-agent: *
Disallow: /

اگر از سیستم مدیریت محتوای وردپرس استفاده می کنید، تنها استفاده از کد زیر برای شما کفایت می کند :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

یک کار مهمی هم که می شود داخل فایل robots.txt انجام داد، معرفی کردن سایت مپ (sitemap) به ربات ها می باشد.

با استفاده از کد زیر سایت مپ خود را به ربات ها معرفی می کنیم :

Sitemap: https://seoarzan.ir/sitemap.xml

به جای seoarzan.ir نیز آدرس وبسایت خود را بگذارید.

 پس صورت کامل یک فایل robots.txt برای سیستم مدیریت محتوای وردپرس به این صورت خواهد بود :

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://seoarzan.ir/sitemap.xml

حال فایل خود را ذخیره کنید. اگر درست کار کرده باشید باید بتوانید فایل ساخته شده خود را در آدرس زیر پیدا کنید :

http://adresWebsiteShoma.ir/robots.txt

ممنون که در این آموزش با ما همراه بودید.

پاسخی بگذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

این فیلد را پر کنید
این فیلد را پر کنید
لطفاً یک نشانی ایمیل معتبر بنویسید.

فهرست