robots.txt. To je de facto standard od 1995 naovamo, dok je robots meta tag relativno nova stvar. Naime, i implementacija retrievera je komplikovanija u drugom slucaju, moras imati i HTML parser (iako npr. samo arhiviras stranice sa nekoga sajta). Dalje, robots.txt je kompletnije resenje jer mozes zabraniti pristup direktorijumima i faljovima koji nisu html, npr. slikama, rss, xml fajlovima, a i posebno za svaki user-agent (meta robots samo za google).
Uz to, da bi procitao meta tagove crawler mora da ucita stranu, a sa robotrs.txt u jednoj datoteci sve pise tako da on uopste ne ucitava ono sto ne treba.