برچسب: فایل بادسترسی عمومی

کاربرد و نحوه ایجاد فایل robots.txt

بنابر موارد اعلام شده بالا بهتر است از این فایل به هدف مخفی سازی اطلاعات استفاده ننماید.

فایل robots.txt می باید در ریشه سایت قرار گیرد. این فایل یک فایل متنی ساده با یک یا چند رکورد در داخل آن می باشد. نمونه ذیل یک محتوا برای این فایل می باشد :

User-agent: *
Disallow: /

این محتوا به این معنی است که تمامی روبات ها (User-agent: *) اجازه بازدید از هیچ یک از صفحات سایت را ندارند (Disallow: /)

یا به عنوان یک نمونه دیگر

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/

این محتوا به این معنی است که تمام روبات ها (User-agent: *) امکان بازدید از تمامی بخش های سایت را به جزء 3 فلدر cgi-bin، tmp و junk را دارند.

اگر قصد داشته باشید که سایت تنها برای یک روبات خاص، به طور مثال گوگل، قابل بازدید باشد باید از محتوای ذیل استفاده نمایید :

User-agent: Google
Disallow:

User-agent: *
Disallow: /

و اگر قصد داشته باشید که سایت تنها برای یک روبات، به طور مثال BadBot، قابل بازدید نباشد باید از محتوای ذیل استفاده نمایید :

User-agent: BadBot
Disallow: /

در صورت نیاز به عدم بازدید یک صفحه خاص در سایت توسط تمامی روبات ها می توانید از محتوای ذیل استفاده نمایید :

User-agent: *
Disallow: /testpage.html

و به همین ترتیب می توانید با توجه به هدف مورد نظر خود نسبت به ایجاد یک فایل robots.txt مناسب برای سایت خود اقدام کرده و در انتها آن را در ریشه سایت خود آپلود نمایید.