Plik robots.txt jest ważnym narzędziem w zarządzaniu widocznością stron internetowych w wyszukiwarkach. Pozwala webmasterom kontrolować, które części witryny są indeksowane przez roboty wyszukiwarek, a które powinny pozostać ukryte. Ostatnio Google wprowadziło nowe zasady dotyczące tego pliku. Sprawdź i zaktualizuj swój plik.
Czytaj dalej Stare dyrektywy crawl-delay do lamusa robots.txt