Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

Parsovanje velikog fajla

[es] :: PHP :: Parsovanje velikog fajla

[ Pregleda: 2332 | Odgovora: 3 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

proNick

Član broj: 44117
Poruke: 53
*.dialup.neobee.net.



Profil

icon Parsovanje velikog fajla26.02.2005. u 11:35 - pre 232 meseci
Pozdrav!

PHP aplikacija treba da isparsuje jedan jako velik fajl, velik nekoliko megabajta. Da li neko moze da me posavetuje koji je najelegantniji nacin da se to uradi?

Stvar je u tome sto se plasim da ce se masina jako opteretiti kada sa fopen pocnem da parsujem fajl od mekoliko megabajta.


Jedna od ideja o kojoj razmisljam je da kada se fajl uploaduje, da se sa Linuxovim komandama iseckam na nekoliko manjih, i da PHP skript parsuje pojedinacno svaki od njih.

Da li neko ima iskustva sa ovakvim problemom? Predlozi, saveti, ideje?

Hvala puno unapred!


Nikola

 
Odgovor na temu

dr ZiDoo
Banja Luka

Član broj: 189
Poruke: 1728
*.teleklik.net.

Jabber: ZiDoo@elitesecurity.org
ICQ: 299539598
Sajt: zidoo.geek.rs.ba


Profil

icon Re: Parsovanje velikog fajla26.02.2005. u 12:22 - pre 232 meseci
Parasirao sam fajl od ~50Mb i mašinu to nije bolilo. Fora je u tome da ne tareš disk previše, znači učitaj fajl, radi po njemu, zapamti i zatvori, a ne, otvori, upisi, dopisi blabla...

Ako ti neko bude frkiso što učitavaš txt od nekoliko mb u memoriju ti onda uradi tako da učitaš prvo prvih npr: 1500 linija, parasiras, pa onda opet 1500 ali ti dođe na isto ako ne i gore.
tu nema kašike....
 
Odgovor na temu

Goran Rakić
Beograd

Moderator
Član broj: 999
Poruke: 3766

Sajt: blog.goranrakic.com


+125 Profil

icon Re: Parsovanje velikog fajla26.02.2005. u 12:49 - pre 232 meseci
Kako to moze biti isto da li ces 100MB da gurnes u memoriju ili ces da baferisano citas deo po deo? Kada je datoteka par MB, onda i nije problem gurnuti je u memoriju, ali obicno to nije dobro resenje. Naravno, sama implementacija zavisi od toga sta tacno treba parsirati, kakva je struktura dokumenta i slicno?
http://sr.libreoffice.org — slobodan kancelarijski paket, obrada teksta, tablice,
prezentacije, legalno bez troškova licenciranja
 
Odgovor na temu

dr ZiDoo
Banja Luka

Član broj: 189
Poruke: 1728
*.teleklik.net.

Jabber: ZiDoo@elitesecurity.org
ICQ: 299539598
Sajt: zidoo.geek.rs.ba


Profil

icon Re: Parsovanje velikog fajla26.02.2005. u 13:59 - pre 232 meseci
Citat:
Goran Rakić: Kako to moze biti isto da li ces 100MB da gurnes u memoriju ili ces da baferisano citas deo po deo? Kada je datoteka par MB...


Baš o ovih par MB govorim.
tu nema kašike....
 
Odgovor na temu

[es] :: PHP :: Parsovanje velikog fajla

[ Pregleda: 2332 | Odgovora: 3 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.