linuxjournal

Casopis je linuxjournal. Arhiva svih brojeva se prodaje za 26$, i krenuh da je kupim al postarina izadje jos toliko otprilike :)

lm, svi brojevi su dostupni online. Link je: http://linuxjournal.com/article.php?sid=xxxx gde se xxxx menja od 0001 do nekih 6 hiljada (svi clanci iz 100 brojeva). Kako da ih skinem?

Da li moze wget i sa kojim opcijama? Ali samo da skida linkove sa http://linuxjournal.com/article.php?sid=****

Napraviš shell ili još bolje Perl skript koji ima petlju od 1 do n (gde je n max broj clanka) i koji u svakoj iteraciji skida članak čiji je redni broj jednak i. Po želji, sadržaj koji preuzmeš obrađuješ i smeštaš u neku bazu.

wget ne može, ali curl može:

$ curl -O http://linuxjournal.com/article.php?sid=[0001-6999]

Potpis

int rand(void);

Those who do not understand Unix are condemned to reinvent it, poorly.

Upali lampicu — koristi Jabber!

Eto vidiš, za to nisam znao. Ali ako hoće da ih obrađuje i smešta samo tekst članka u neku bazu, onda je ono gore bolje rešenje. Hm...

[quote]Ixqq:
Napraviš shell ili još bolje Perl ;) skript koji ima petlju od 1 do n (gde je n max broj clanka) i koji u svakoj iteraciji skida članak čiji je redni broj jednak
</quote>

Hm, a kako da napravim petlju koja broji od 0001 a ne 1?

Pa lepo. Samo na trenutni broj dodaš onoliko nula koliko je dovoljno da taj broj (string) bude dužine 4 karaktera. Npr. u Perl-u:

Evo, recimo, ti skineš i okačiš to negde. A, šta kažeš?

Sudeci po velicini do sada skinutog, ceo linux journal ce biti oko 150MB (u html-u).
Kad bi se pobrisali svi nepotrebni tagovi + kompresija to bi moglo da se svede na
neku razumnu cifru za dl. Ja cu skinuti sve clanke, samo mi pomozite da
prvi deo odradim automatski (sed mozda?). Pogledajte jednu stranu.
Recimo od ove linije:

<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=ISO-8859-1">

moze da se brise sve do

<!-- END HEADER -->

To ukupno bude oko 230 linija, tj. preko 12KB. 6000 strana * 12KB = 72000KB