Забрана за индексация на части от сайт с robots.txt

Желателно е в главната директория на сайта Ви да поставите файл robots.txt, който служи за филтриране на търсачките и индексираните от тях страници. Имайте предвид, че така повечето търсачки разбират кои сайтове са "сериозни". Файлът съдържа два аргумента. […]