Zasto pretrazivaci dolaze na moj domen i traze cudne fajlove?

Nisam siguran da li je ova tema dobra za ovaj podforum...

LM, imam jedan domen i na dnevnom nivou na njega dolaze razni pretrazivaci (Google, Bing, Baidu, Yandex, itd...) i osim root-a i robots.txt traze neke cudne fajlove:

/?p=7
/wp-includes/js/zxcvbn-async.min.js
/wp-json/oembed/1.0/embed?url=http%3A%2F%2Fwww.[moj_domen]%2Fcart%2F&format=xml
/wp-content/themes/vantage/css/woocommerce.css?ver=4.6.1
/category/uncategorized/feed/
/shop/
/.well-known/apple-app-site-association

I jos mnogo drugih adresa (da ne kopam sad po logu).

Sve u svemu na ovom domenu nikad nije postojalo nista slicno i domen nema bilo kakav sadrzaj od kako je registrovan. Da li neko ima ideju o cemu se radi?

Meni liči na skript koji traži poznate bezbednosne propuste na sistemu.

Recimo:
/wp-includes/js/zxcvbn-async.min.js

Je default pozicija JavaScript fajla koji na WordPress baziranom sajtu proverava da li je password dovoljno "jak". Ako ga nema (a postoji wordpress), može da proba sa napadom preko liste najčešćih passworda (dictionary attack). Recimo proba username/password kombinacije kao admin/admin admin/admin123 admin/password i tako dalje...

Na primer, na svojim logovima sam video da neko traži phpmyadmin (nikada nije bio instaliran), phpbb (takođe nikadi nije bio instaliran) itd.

Ali ja ovde ne govorim o tome da "neko" to trazi vec crawleri poznatih pretrazivaca (Google, Bing, Yandex, Baidu...).

Kako znas da su njihovi crawler-i?

Potpis

Nebojsa Milanovic:
-Trumpa smatram vrhunskim predsednikom i voleo bih da živim u državi na čijem je on čelu
-Rusija ne laže, ne vodi osvajačke ratove
-Trump je svetla tačka u USA blatu
-Elon Musk, možda najpametniji i najtrezveniji Amerikanac

Pa IP adresa, kako drugacije?

180.76.15.34 - AS55967 Beijing Baidu Netcom Science and Technology Co., Ltd.
207.46.13.52 - Microsoft bingbot
66.249.64.34 - Googlebot


itd, itd...

Aha, ok. Pitam posto ako identifikujes po user-agent-u isti moze biti lako laziran.

Potpis

Nebojsa Milanovic:
-Trumpa smatram vrhunskim predsednikom i voleo bih da živim u državi na čijem je on čelu
-Rusija ne laže, ne vodi osvajačke ratove
-Trump je svetla tačka u USA blatu
-Elon Musk, možda najpametniji i najtrezveniji Amerikanac