wormer replied pleax:
Да, конечно, это фэйл не поискового робота, а админа сайта мегафона. Поисковый робот сработал как надо. Всё по честному. Кстати, вот тут продолжение темы: yandex.ru … теперь пермский оператор (сайт упал под хабраэффектом, но сохранённая копия каждой ссылки доступна). А добрые люди уже начали бэкапить смски: spreadsheets.google.com …
robots.txt нужны, robots.txt важны!
