Soubor robots.txt je určen pro boty vyhledávacích systémů a nachází se v hlavní složce webu na ftp serveru. V souboru robots.txt jsou popsaná pravidla pro chování bota – například jestli vůbec smí navštívit webovou stránku a které součásti webové stránky navštívit nesmí. Spolu s tím v souboru robots.txt musí bot najít správnou cestu k xml mapě webu. V případě, že bot dokáže najít odkaz na xml mapu webu umožní to rychlejší a podrobnější indexaci webových stránek a následnou účast webu ve výsledcích vyhledávání.