ессно :) но уже поздняк метацо
Я вот знаете что подумал... Если единственная защита мегафона от майнинга смсок — это robots.txt, и Яндекс и правда индексирует только открытую часть интернета, то кто мешает запустить краулер, который будет все disallow игнорить нафиг?
Есть у меня подозрения что все не так как на самом деле...
Есть у меня подозрения что все не так как на самом деле...