Do czego służy Robots.txt

Robots.txt jest to plik tekstowy używany do zamieszczania poleceń dla robotów wyszukiwarek. Dzięki temu plikowi można zakomunikować robotom wyszukiwarek, które podstrony ma odwiedzać i tych, których ma nie odwiedzać. Plik robots.txt umieszcza się w katalogu głównym domeny.

Inne pojęcia