[es] - Na koji nacin zabraniti?

WebtriX

Član broj: 38435
Poruke: 10
*.rb.b.2-3.21.bih.net.ba.

Profil

^{14.09.2006. u 07:46 - pre 214 meseci}

Bilo bi dobro kada bi s nama podijelio taj tvoj "robots.txt"... kako da drugačije znamo da li je pravi..
Inače evo jedan robots.txt koji sam negdje našao sa tzv. "lošim agentima" ...

Code:
User-agent: *
Disallow: /images
Disallow: /php
Disallow: /cgi-bin

# Bad Bots
User-agent: EmailCollector
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: CopyRightCheck
Disallow: /

User-agent: Black Hole
Disallow: /

User-agent: Titan
Disallow: /

User-agent: NetMechanic
Disallow: /

User-agent: CherryPicker
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: Crescent
Disallow: /

User-agent: NICErsPRO
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: ProWebWalker
Disallow: /

User-agent: CheeseBot
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: ia_archiver/1.6
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: Wget
Disallow: /

User-agent: MIIxpc
Disallow: /

User-agent: Telesoft
Disallow: /

User-agent: Website Quester
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: moget/2.1
Disallow: /

User-agent: WebZip/4.0
Disallow: /

User-agent: Mister PiX
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebSauger
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: NetAnts
Disallow: /

User-agent: WebAuto
Disallow: /

User-agent: TheNomad
Disallow: /

User-agent: WWW-Collector-E
Disallow: /

User-agent: RMA
Disallow: /

User-agent: libWeb/clsHTTP
Disallow: /

User-agent: asterias
Disallow: /

User-agent: httplib
Disallow: /

User-agent: turingos
Disallow: /

User-agent: spanner
Disallow: /

User-agent: InfoNaviRobot
Disallow: /

User-agent: Harvest/1.5
Disallow: /

User-agent: Bullseye/1.0
Disallow: /

User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /

User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /

User-agent: CherryPickerSE/1.0
Disallow: /

User-agent: CherryPickerElite/1.0
Disallow: /

User-agent: WebBandit/3.50
Disallow: /

User-agent: DittoSpyder
Disallow: /

User-agent: SpankBot
Disallow: /

User-agent: BotALot
Disallow: /

User-agent: lwp-trivial/1.34
Disallow: /

User-agent: lwp-trivial
Disallow: /

User-agent: Wget/1.6
Disallow: /

User-agent: BunnySlippers
Disallow: /

User-agent: URLy Warning
Disallow: /

User-agent: Wget/1.5.3
Disallow: /

User-agent: LinkWalker
Disallow: /

User-agent: cosmos
Disallow: /

User-agent: moget
Disallow: /

User-agent: hloader
Disallow: /

User-agent: humanlinks
Disallow: /

User-agent: LinkextractorPro
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Mata Hari
Disallow: /

User-agent: LexiBot
Disallow: /

User-agent: Web Image Collector
Disallow: /

User-agent: The Intraformant
Disallow: /

User-agent: True_Robot/1.0
Disallow: /

User-agent: True_Robot
Disallow: /

User-agent: BlowFish/1.0
Disallow: /

User-agent: JennyBot
Disallow: /

User-agent: MIIxpc/4.2
Disallow: /

User-agent: BuiltBotTough
Disallow: /

User-agent: ProPowerBot/2.14
Disallow: /

User-agent: BackDoorBot/1.0
Disallow: /

User-agent: toCrawl/UrlDispatcher
Disallow: /

User-agent: WebEnhancer
Disallow: /

User-agent: TightTwatBot
Disallow: /

User-agent: suzuran
Disallow: /

User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /

User-agent: VCI
Disallow: /

User-agent: Szukacz/1.4
Disallow: /

User-agent: QueryN Metasearch
Disallow: /

User-agent: Openfind data gathere
Disallow: /

User-agent: Openfind
Disallow: /

User-agent: Xenu's Link Sleuth 1.1c
Disallow: /

User-agent: Xenu's
Disallow: /

User-agent: Zeus
Disallow: /

User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /

User-agent: RepoMonkey
Disallow: /

User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /

User-agent: Webster Pro
Disallow: /

User-agent: EroCrawler
Disallow: /

User-agent: LinkScan/8.1a Unix
Disallow: /

User-agent: Kenjin Spider
Disallow: /

User-agent: Keyword Density/0.9
Disallow: /

User-agent: Cegbfeieh
Disallow: /

_{[Ovu poruku je menjao aleksandaraleksandar dana 14.09.2006. u 10:14 GMT+1]}

Odgovor na temu

WawaHOO!
Karaburma

Član broj: 86823
Poruke: 602
212.200.222.*

Sajt: www.infobuk.com

Profil

Re: Na koji nacin zabraniti?

^{14.09.2006. u 10:16 - pre 214 meseci}

Code:
<meta name="robots" content="noarchive,nofollow,noindex"/>

Infobuk | Tutorialo | CSS | Affiliate programs

Odgovor na temu

ducka
Milos Dukic
Novi Sad

Član broj: 8386
Poruke: 596

+1 Profil

Re: Na koji nacin zabraniti?

^{17.09.2006. u 11:50 - pre 214 meseci}

E stavio sam gorenavedeni robots.txt, i krenuo je google dancing, sajt mi je cas na 4 cas na 8 mestu, a pod domeni su mi i dalje prvi i drugi :(
Interesuje me sad, kad kucam milos dukic i kad mi izadje to sto mi izadje :) (da ne navodim pa da google ne vidi) pojavi mi se stranica da mi je sajt preseljen na adresu www.neonzone.org tj. stranica koju sam ja stavio na tim hostovima i na adresama koje google izbacuje, e a posto sam robots.txt stavio na te hostove gde su mi poddomeni koji ne bih da parsuje da li je problem (po www.neonzone.org )to sto je robots tu a na stranicama pise da je preseljen na www.neonzone.org i link ka sajtu?

Odgovor na temu

bsaric
Bruno Šarić
SEO
Samobor, Hrvatska

Član broj: 72221
Poruke: 527
*.cmu.carnet.hr.

Sajt: www.seo.hr

Profil

Re: Na koji nacin zabraniti?

^{17.09.2006. u 12:11 - pre 214 meseci}

Teško te je pratit što želiš. Ajd još jednom pokušaj objasnit što želiš postić. :) Koji je sajt u pitanju? Što je problem? Što želiš dobit?

Ne odgovaram na pitanja preko PP i emaila vezana uz SEO niti ne pregledavam
domene.
SEO blog | Životopis
- Posao

Odgovor na temu

ducka
Milos Dukic
Novi Sad

Član broj: 8386
Poruke: 596

+1 Profil

Re: Na koji nacin zabraniti?

^{17.09.2006. u 12:29 - pre 214 meseci}

Priznajem malo sam konfuzno koncipirao pitanje, dzin-tonik od nocas je kriv za to :)
Ovako, kad se iskuca milos dukic dobije se www.milos.mariotomic.com/about.html , www.pavleblesic.com/ducka/bayouts.html i ako provaljujes to je na 2 razlicita hosta. Sad imam 3. host koji cu uvek koristiti i domen www.neonzone.org , ova dva gore navedena je google parsovao sa foruma a koristio sam ih kao privremene cisto da dok ne kupim domen sebi. Na gorenavedena 2 hosta stavio sam robots.txt a stranice koje google izbacuje a koje su na ova dva hosta jesu stranice koje na sebi imaju link ka www.neonzone.org i text da je sajt preseljen. E sad ono sto mene interesuje je to da li ce imati kakvih problema (za rangiranje) za www.neonzone.org iz razloga sto je su jedine stranice na tim hostovima stranice koje imaju link ka www.neonzone.org a imaju robots.txt u rootu?
Sad jasnije?

Odgovor na temu

bsaric
Bruno Šarić
SEO
Samobor, Hrvatska

Član broj: 72221
Poruke: 527
*.cmu.carnet.hr.

Sajt: www.seo.hr

Profil

Re: Na koji nacin zabraniti?

^{17.09.2006. u 19:07 - pre 214 meseci}

U tom slučaju trebaš postupit kao i sa svakom drugom domenom, trebaš odradit SEO za novu domenu, www.neonzone.org. Robots.txt tu ne igra nikakvu ulogu, jednostavno nemoj njime blokirat indeksiranje na niti jednom hostu jer time će samo te stranice maknut iz indeksa, a mogle bi ti davat promet kad već imaju neki rejting.

Ostavi ovako kako je i odradi SEO za novu domenu, preći ćeš stare verzije na tu ključnu riječ i to je to. Stare verzije će imat rejting kakve imaju i tko god dođe na njih, vidjet će obavijest i doć na novi sajt, ukoliko blokiraš stare hostove za tražilice gubiš taj promet bez dobrog razloga.

Nećeš imati nikakvih problema, iako to zadnje pitanje nije uopće jasno. Robots.txt tu ne igra nikakvu ulogu, a niti ti hostovi što imaju link prema novom sajtu.

Ne odgovaram na pitanja preko PP i emaila vezana uz SEO niti ne pregledavam
domene.
SEO blog | Životopis
- Posao

Odgovor na temu