volna:
Крайне познавательно почитать, чем люди себе голову греют при написании смсок. Мой придуманный мир снова разрушился.
вот так интереснее: yandex.ru …
www.interfax.ru …
Я.ру типа отмазывается, хотя в чем они виноваты лично мне не понятно :)
Я.ру типа отмазывается, хотя в чем они виноваты лично мне не понятно :)
Да, конечно, это фэйл не поискового робота, а админа сайта мегафона. Поисковый робот сработал как надо. Всё по честному. Кстати, вот тут продолжение темы: yandex.ru … теперь пермский оператор (сайт упал под хабраэффектом, но сохранённая копия каждой ссылки доступна). А добрые люди уже начали бэкапить смски: spreadsheets.google.com …
robots.txt нужны, robots.txt важны!
ессно :) но уже поздняк метацо
Теперь в топе твитера не х*й, а "мегафона". Американцы в панике, что это за зверь ))) http://twitpic.com/5s23nl
Я вот знаете что подумал... Если единственная защита мегафона от майнинга смсок — это robots.txt, и Яндекс и правда индексирует только открытую часть интернета, то кто мешает запустить краулер, который будет все disallow игнорить нафиг?
Есть у меня подозрения что все не так как на самом деле...
Есть у меня подозрения что все не так как на самом деле...
Да нет, всё именно так. Как только вскрылась эта тема, я сразу сказал Семёнову, что проблема в отсутствии robots.txt, а лучше всего делать привязку по сессии, куки там и всё такое. Он со мной согласился. Мне кажется, девелоперская ошибка налицо. Или ты думаешь, что там скрытый заговор? :)
Ну вот о чем и речь. Они сейчас положили этот несчастный robots.txt и все успокоились. А то что при желании смски майнить все-равно можно — всем пофег?
Яндекс действительно индексирует только открытую часть интернета. Это абсолютно искреннее заявление со стороны Яндекса.