robots.txt i google

Da li gugl sluša direktive iz robots.txt fajla?

Ipak je posetio i keširao ove stranice: http://216.239.33.104/search?q...itesecurity.org/tema/18589.txt

Iako mislim da sam lepo rekao pravilom da ih ne posećuje i ne kešira:
Disallow: .txt

Možda treba regexp ili nekako drugačije da se složi ovo?
Ili ću morati da zabranjujem svemu sa googlebot.com domena da pristupa tim txt adresama?

I drugo pitanje, zašto ne kešira CSS i slike:

http://216.239.33.104/search?q...//www.elitesecurity.org/t18589

Mislim da google-u ne mozes da bas objasnis sta da ne kesitra.
On je skoro postao najveci spy servis na netu.
Cak pretrazuje word i excel dokumente, a mozda i njih kesira.

Sto se tice css i slika i konkretno onog drugog linka meni prikazuje normalo mozda sto ih imam u kesu.
Evo sta sve google pretrazuje:
Adobe Portable Document Format (pdf)
Adobe PostScript (ps)
Lotus 1-2-3 (wk1, wk2, wk3, wk4, wk5, wki, wks, wku)
Lotus WordPro (lwp)
MacWrite (mw)
Microsoft Excel (xls)
Microsoft PowerPoint (ppt)
Microsoft Word (doc)
Microsoft Works (wks, wps, wdb)
Microsoft Write (wri)
Rich Text Format (rtf)
Text (ans, txt)

Potpis

http://gizmo.rs

+ sve to isto gzipovano!

Ma, bre, oni mlate lovu da bi unapredili spijunsku tehniku a cilj im je da izvuku sve moguce informacije. Koliko je samo nedozvoljenih pristupa bilo kad je postojao neki bug u serverskom software-u...

P.S. Ovo je moje misljenje nemam ama bas nikakvih dokaza ;)

Potpis

Nebojsa Milanovic:
-Trumpa smatram vrhunskim predsednikom i voleo bih da živim u državi na čijem je on čelu
-Rusija ne laže, ne vodi osvajačke ratove
-Trump je svetla tačka u USA blatu
-Elon Musk, možda najpametniji i najtrezveniji Amerikanac

Pa ajde da probamo da pronađemo posredan dokaz. Ako se prošetate do stranice tipa koji se zove Piter Norvig (Peter Norvig), a koji je inače vodeći svetski AI istraživač i koautor knjige Artificial Intelligence, A Modern Approach (u stručnim krugovima zvane kratko: the Bible), videćete da on radi u Guglu.

A šta je broj jedan istraživanje u modernoj veštačkoj inteligenciji? Upravo data mining, odnosno na našem: bunarenje podataka. Dakle pretraživanje svega i svačega i iz toga izvlačenje samo ključnih informacija. Ako se dakle pitate da li vas Veliki Brat posmatra, odgovor je potvrdan. Štaviše, veliki brat je življi i oseća se bolje nego ikad.

f

Pogledaj source tvoje strane:


A pogledaj šta je google keširao:

Čini mi se da pošto je base element dvaputa ispisan i on traži css fajl relativno u odnosu na prvu adresu (adresu strane), umesto u odnosu na tvoju (adresu sajta)...
Ako pogledaš http://216.239.33.104/search?q=cache:http://insomnia.bgserver.com primetićeš da se css elementi lepo vide:

Kod mene i nema dva base elementa, ali pošto je stranica index.html google je za base useo korenu adresu...
Ne znam da li je u pitanju bug kod google-a ili nešto drugo...

Potpis

"Ako hoćeš da saznaš, pristani na sve"
- Džoni Štulić

http://www.robotstxt.org/wc/exclusion.html
http://hacks.oreilly.com/pub/h/220

http://www.google.com/custom?i...tesearch=www.elitesecurity.org

Potpis

_{Quaerite et invenietis | Everything in life is Luck -- Donald Trump | http://www.akcenat.info | Momenat – Vaša instant doza vesti | Part Time Freelance Journalist}

Moguce da gresim, a mozda nesto od sledeceg i ima nekog rezona



Googlovci kazu da nece kesirati ono sto mu kazes da ne kesira. Mozda to stavlja na posebno mesto (da se nadje )mada ne verujem! Ako je i kesirao nesto pre ce biti da je greska u algoritmu ili propust u podesavanjima sa klijentske strane.



Google se trudi da bude pretrazivac informacija a ne html/php/asp stranica, pa shodno tome sve sto sadrzi informaciju preuzme i pokusava da poveze u smislene celine.



Ne bih bas rekao, mada ... Oni mlate lovu na reklamama (AdWords i AdSense). A za reklame koje su u vezi teksta u vasem mejlu na gmailu kazu da se generisu u hodu dok gmail salje mejl sa servera klijentu...

Pozdrav!