zavisi koju verziju PHP-a koristis, ali jedno je sigurno:
koristi CURL biblioteku. mnogo je brza od ostalih varijanti... (fopen, sockets...)
samo potrazi u PHP dokumentaciji ili na netu...
curl mozes da koristis da 'otvaras' web stranice, podrzava cookie,
POST i GET zahteve... podesavas HTTP referrer, AgentString...
mozes u potpunosti da emuliras browsere sa njom...
malo je nezgodna za koriscenje dok se ne naviknes... ne znam ima li to u Javi...
licno sam koristio Curl za mnogo stvari i to ti je moja preporuka i za Spiderovanje....
poz
Uncle Blob