Robots.txt

Jest to plik czytany wyłącznie przez roboty wyszukiwarek. Używany jest do określania, których stron bot nie może indeksować. Może być wykorzystywany także do przekazywania instrukcji, na jakie podstrony bot ma się skierować. Plik robots.txt powinien znajdować się w głównym katalogu strony. Przykład wpisu do pliku robots.txt:

User-agent: *
Disallow:/ksiegagosci
Disallow:/obrazki