[es] - robot.txt, ne vidim izmene

anon70939

Član broj: 70939
Poruke: 2823

+6883 Profil

^{05.05.2016. u 13:04 - pre 102 meseci}

Treba da setujem neki google merchant, da sa naseg shopa povlaci neke podatke....

I imam problem sa robots.txt fajlom, koji mi nije bas logican

struktura foldera mi je ovakva otprilike

ftp_root/domain/htdocs/....

u domain folderu imam jedan robots.txt
/domain/robots.txt

Code:

User-agent: *
Allow: /

Kapiram da to treba da zabrani svim robotima da svrljaju po sajtu, ali mi nije jasno zasto se nalazi u tom folderu.

Posle toga imam jos jedan robots.txt u htdocs

ftp_root/domain/htdocs/robots.txt i u njemu sam imao samo

Code:

User-agent: *
Disallow: /

Pa sam dodao sledece i sad je ovako

Code:

User-agent: Googlebot
Disallow:
User-agent: Googlebot-image
Disallow:

User-agent: *
Disallow: /

Kako kapiram, ovo bi trebalo da zabrani sve robote osim Googlebot i Googlebot-image?

problem je sto sad kad odem na

http://domain.com/robots.txt
Tu mi i dalje po starom pise samo

Code:

User-agent: *
Disallow: /

gde gresim?
Da li onaj prvi robots.txt u folderu ispred moze da mi pravi problem?
Mada je unjemu sve allow

Odgovor na temu

Aleksandar Đokić

Član broj: 13478
Poruke: 4793
87.116.191.*

+638 Profil

Re: robot.txt, ne vidim izmene

^{05.05.2016. u 14:28 - pre 102 meseci}

Validan je onaj u "doc root-u", taj drugi je moguce slucajno dospeo tu. Na taj "domain" folder svakako ne mozes da pridjes preko http-a nikako.

Odgovor na temu

bebolino
Almir Lukač
Bebolino
Novi Sad

Član broj: 333408
Poruke: 7
*.dynamic.sbb.rs.

Sajt: www.bebolino.rs

+3 Profil

Re: robot.txt, ne vidim izmene

^{05.05.2016. u 14:30 - pre 102 meseci}

To znači da ti se robots fajl generiše automatski u cms.
Gore u pravilima koje si naveo imaš veoma konfuznu situaciju.
Pročitaj uputstva za 2016. godinu koju je dao Google, šta i kako.
Ona se prilično razlikuju od pređašnjih uputstava.

Dodatno testiraj u webmaster centrali šta se dešava ali prvo uradi update robots.txt fajla.

Oprema za bebe i proizvodi za decu. Sve na jednom mestu.
Bebolino @bebolinos

Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823

+6883 Profil

Re: robot.txt, ne vidim izmene

^{06.05.2016. u 08:39 - pre 102 meseci}

Istestirao sam sa Google robot testerom sintaksu i sve je OK.
Ali i dalje sa nekog drugog mesta vuce informaciju....

Kako da vidim gde CMS (Magento u ovom slucaju) smesta robots.txt?

Kako uopste google bot zna koji fajl da procita... mislio sam da je obavezno da bude u root i da se zove robots.txt... Kako CMS hendluje to?

Odgovor na temu

bebolino
Almir Lukač
Bebolino
Novi Sad

Član broj: 333408
Poruke: 7
*.dynamic.sbb.rs.

Sajt: www.bebolino.rs

+3 Profil

Re: robot.txt, ne vidim izmene

^{06.05.2016. u 13:11 - pre 102 meseci}

Imaš u centrali u tabu robots.txt u donjem desnom uglu dugme submit (pošalji), potrebno je da povuče tvoj novi fajl i da ažurira taj koji vidiš u centrali.
Ukoliko i dalje bude ista situacija, onda ti se robots.txt generiše on-the-fly prilikom posete sajtu. To obično rade moduli ili dodaci.

Oprema za bebe i proizvodi za decu. Sve na jednom mestu.
Bebolino @bebolinos

Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823

+6883 Profil

Re: robot.txt, ne vidim izmene

^{06.05.2016. u 15:24 - pre 102 meseci}

Ako mislis u webmaster centrali, to submit ne sluzi tome... Ne moze meni svakako da presnimi preko tog fajla jer je chmod 644. moze samo da ga procita...
Pomenu mi kolega da guglam .htaccess, valjda i tu treba nesto da se "čačne" ta bi mi radio taj robots.txt

Prikačeni fajlovi

robots.JPG - 25.97k

Odgovor na temu

bebolino
Almir Lukač
Bebolino
Novi Sad

Član broj: 333408
Poruke: 7
*.dynamic.sbb.rs.

Sajt: www.bebolino.rs

+3 Profil

Re: robot.txt, ne vidim izmene

^{07.05.2016. u 18:19 - pre 102 meseci}

Google webmaster centrala sadrži keširani fajl robots.txt sa tvog servera.
Kada napraviš izmene u tom fajlu u centrali ćeš i dalje videti staru verziju fajla sve dok ne klikneš na dugme submit,
zatim odabereš opciju 1. u slici koju si postavio.
"Download updated code", tek onda će ti prikazati taj novi fajl i njega će takođe keširati tako da za buduće izmene imaš
to u vidu. To je standardna procedura kada edituješ robots.txt

Oprema za bebe i proizvodi za decu. Sve na jednom mestu.
Bebolino @bebolinos

Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823

+6883 Profil

Re: robot.txt, ne vidim izmene

^{08.05.2016. u 15:50 - pre 102 meseci}

Definitivno sam bio nejasan...

U htdocs imam vec robots.txt koji sam izmenio.
Ali kad odem na sajt/robots.txt ne vidim te izmene

Evo kako to izgleda

Vidis URL otvoren u chrome, i robots.txt otvoren u notepad kako bi trebalo da bude...

Dzaba mi bilo sta u webmaster-u da radim, jer to sto sam preko FTP izmenio i dalje se ne vidi kad ukucam url...

http://nekisajt.com/robots.txt vuce info odnekud drugde, ne vuce iz mog robots.txt fajla.

A koliko se secam, i dok nisam imao robots.txt u root-u, mogao sam da otvorim link http://nekisajt.com/robots.txt i da vidim isto ovo...

Hocu da kazem... da upisem peradetlic u taj txt fajl, pretpostavljam da kad ga otvorim iz browsera, to bi trebalo da pise?

_{[Ovu poruku je menjao CoyoteKG dana 08.05.2016. u 17:09 GMT+1]}

Prikačeni fajlovi

robots1.JPG - 41.94k

Odgovor na temu

goropad

Član broj: 332303
Poruke: 201
*.mediaworksit.net.

+55 Profil

Re: robot.txt, ne vidim izmene

^{08.05.2016. u 17:17 - pre 102 meseci}

probaj sa www i bez www, u pitanju je vreme kesiranja i snimanja, jedan domen uvek radi brze snimanje :)

Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823

+6883 Profil

Re: robot.txt, ne vidim izmene

^{08.05.2016. u 17:44 - pre 102 meseci}

Isto je...
Koliko god da je sporo, pre 3 dana sam izmenio robots.txt i jos uvek kad otvorim taj link, ne radi :)

Da nema mozda neka druga prepreka?
Da hosting mozda ima negde neki robots.txt, i u appachu podesio za sve sajtove koje hostuju, da otvara taj "neki" drugi robots.txt, umesto ovog sto je u mom root-u?

Da nije nekako u htaccess podeseno?

Okacih moj htaccess kao attach.

Prikačeni fajlovi

htaccess.txt - 6.3k

Odgovor na temu

bebolino
Almir Lukač
Bebolino
Novi Sad

Član broj: 333408
Poruke: 7
*.dynamic.sbb.rs.

Sajt: www.bebolino.rs

+3 Profil

Re: robot.txt, ne vidim izmene

^{08.05.2016. u 18:48 - pre 102 meseci}

Jesi eliminisao dodatke (plugins) kao izvor problema.
Prekontroliši ih da li imaju seo podešavanja.
Ukoliko imaju opciju za podešavanje robots.txt, to znači da se taj fajl generiše.
On nije prisutan na serveru, već se generiše po zadatim pravilima iz konzole.
To proveri obavezno, jer ako je to u pitanju, fajl sigurno nećeš pronaći pregledanjem foldera na serveru.

Oprema za bebe i proizvodi za decu. Sve na jednom mestu.
Bebolino @bebolinos

Odgovor na temu

anon70939

Član broj: 70939
Poruke: 2823

+6883 Profil

Re: robot.txt, ne vidim izmene

^{09.05.2016. u 12:43 - pre 102 meseci}

Nisam ja ucestvovao u pravljenju ovog sajta pa ni ne znam koji plugin cemu sluzi. Prosao sam sa kolegom i nismo nasli bilo sta vezano za robots fajl.

Ali evo, resio sam problem malopre. Ipak je hosting imao neko svoj "global" robots.txt fajl.
Sumnjao sam od pocetka u to, ali nisu znali da mi odgovore :), dok im se kolega jutros nije vratio sa odmora koji je to setovao...

Odgovor na temu