robots/spiders pracenje linkova

Postovani forumasi jedno pitanje vezano za robots tag.

Ubacio sam tag <meta name="robots" content="index, follow"> u index.html ali nisam siguran da robots uopste prati linkove sa ove strane. Da li postoji neki servis sa kojim bi to mogao da vidim, ja sam koristio ovaj ali ne znam da li je siguran

http://www.far-sited.net/tools/spider_test/index.php

Izbacuje mi links: no data

Gde gresim i da li uopste radim pravu stvar?

Potpis

Microblading Srbija
Med kao lek

zar ne bi trebalo da vidi link http://www.agp.rs/home.html i da ga prati

Potpis

Microblading Srbija
Med kao lek