fixed Ошибки в robots.txt

Sprinx

Sprinx

User
Кстати, о robot.txt. Гоша иногда херню гонит то что страницы не доступны.
Поэтому лучше его сделать таким.
Code: 
User-agent: *
Disallow: /download.php
Disallow: /groupcp.php
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /profile.php
Disallow: /viewonline.php
 
Sitemap: http://torrentpier.com/sitemap.php
 
Sprinx, директива Crawl-delay на самом деле неверно использовалась, ее убрал. Директива Host используется для Яндекса, чтобы указать какое доменное имя считать главным, если сайт доступен по нескольким (в нашем случае скорее из-за неверной настройки сервера, когда можно открыть трекер по вымышленному адресу blablabla.site.ru и т.п.), ее убирать не стоит. Clean-param также удалил, поскольку Яндекс немного некорректно обрабатывает эту директиву - в индекс страницы все равно попадают, но приводятся к одному sid, который раньше был выцеплен. Проблема ссылок с сессиями скоро будет не актуальна.

Спасибо за указания на недочеты. Исправленный robots.txt будет включен в следующую ревизию.
 
а почему в файле robots.txt строчка
Code: 
Sitemap: http://torrentpier.com/sitemap.php
которую нужно изменить под свой домен, а самого файла sitemap.php в движке нет
 
Просто как то интересно, файл со времен начала тп2, а самой карты никогда и не было
 
Back
Top