
Крайне познавательно почитать, чем люди себе голову греют при написании смсок. Мой придуманный мир снова разрушился.


вот так интереснее: yandex.ru …

www.interfax.ru …
Я.ру типа отмазывается, хотя в чем они виноваты лично мне не понятно :)
Я.ру типа отмазывается, хотя в чем они виноваты лично мне не понятно :)

Да, конечно, это фэйл не поискового робота, а админа сайта мегафона. Поисковый робот сработал как надо. Всё по честному. Кстати, вот тут продолжение темы: yandex.ru … теперь пермский оператор (сайт упал под хабраэффектом, но сохранённая копия каждой ссылки доступна). А добрые люди уже начали бэкапить смски: spreadsheets.google.com …

robots.txt нужны, robots.txt важны!

ессно :) но уже поздняк метацо

Теперь в топе твитера не х*й, а "мегафона". Американцы в панике, что это за зверь ))) http://twitpic.com/5s23nl

Я вот знаете что подумал... Если единственная защита мегафона от майнинга смсок — это robots.txt, и Яндекс и правда индексирует только открытую часть интернета, то кто мешает запустить краулер, который будет все disallow игнорить нафиг?
Есть у меня подозрения что все не так как на самом деле...
Есть у меня подозрения что все не так как на самом деле...

Да нет, всё именно так. Как только вскрылась эта тема, я сразу сказал Семёнову, что проблема в отсутствии robots.txt, а лучше всего делать привязку по сессии, куки там и всё такое. Он со мной согласился. Мне кажется, девелоперская ошибка налицо. Или ты думаешь, что там скрытый заговор? :)

Ну вот о чем и речь. Они сейчас положили этот несчастный robots.txt и все успокоились. А то что при желании смски майнить все-равно можно — всем пофег?

Яндекс действительно индексирует только открытую часть интернета. Это абсолютно искреннее заявление со стороны Яндекса.