Robots.txt nedir, ne işe yarar?
Robots.txt internet ortamı üzerinde tüm arama motorları ve örümceklerin sizin sitenizde gezmesi yada gezmemesi için ayarlanması gereken bir dosyadır. Bu dosya sayesinde siteniz içerisindeki belirli bölümleri belirli örümceklere kapatabilir/açabilirsiniz.
Kullanılmalıdır, faydalıdır.

Kısaca birkaç bilgi:

Kod:
User-Agent:*Disallow: /admin/
* : bütün örümcekler demek.
disallow: bu dizini indexleme, görmezden gel, girme demek.
kafanıza göre düzenleyebilirsiniz.

robots.txt dosyasını oluşturduktan sonra siteadı.com/robots.txt şeklinde kullanmalısınız. Ana dizinde olmalı yani.

Alıntıdır..