Novo

Forum kao aplikacija na telefonu

Dodajte forum na početni ekran i koristite ga kao aplikaciju, sa menijem na dnu ekrana.

  • 8 odgovora
  • 3.782 pregleda

Najnovija ↓

Re: meta robots ili robots.txt 11.10.2006. u 09:47 · pre 244 meseca #6
robots.txt. To je de facto standard od 1995 naovamo, dok je robots meta tag relativno nova stvar. Naime, i implementacija retrievera je komplikovanija u drugom slucaju, moras imati i HTML parser (iako npr. samo arhiviras stranice sa nekoga sajta). Dalje, robots.txt je kompletnije resenje jer mozes zabraniti pristup direktorijumima i faljovima koji nisu html, npr. slikama, rss, xml fajlovima, a i posebno za svaki user-agent (meta robots samo za google).
Re: meta robots ili robots.txt 11.10.2006. u 11:43 · pre 244 meseca #7
Uz to, da bi procitao meta tagove crawler mora da ucita stranu, a sa robotrs.txt u jednoj datoteci sve pise tako da on uopste ne ucitava ono sto ne treba.
Prijavite se da biste odgovorili u ovoj temi.PrijavaRegistracija

Premeštanje teme