Do czego służy Robots.txt

Robots.txt jest to plik tekstowy używany do zamieszczania poleceń dla robotów wyszukiwarek. Dzięki temu plikowi można zakomunikować robotom wyszukiwarek, które podstrony ma odwiedzać i tych, których ma nie odwiedzać. Plik robots.txt umieszcza się w katalogu głównym domeny.

Inne pojęcia

Sprawdż także

Czym jest Partial Match Anchor ?

Co określa Atrybut dofollow ?

Czym są Wskazówki dla webmasterów ?

Czym jest Indeks wyszukiwarki ?

Czym jest Artykuł sponsorowany ?

Co to jest Referrer ?