Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

Parsovanje velikog fajla

[es] :: PHP :: Parsovanje velikog fajla

[ Pregleda: 1351 | Odgovora: 3 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

proNick

Član broj: 44117
Poruke: 53
*.dialup.neobee.net.



Profil

icon Parsovanje velikog fajla26.02.2005. u 11:35

Pozdrav!

PHP aplikacija treba da isparsuje jedan jako velik fajl, velik nekoliko megabajta. Da li neko moze da me posavetuje koji je najelegantniji nacin da se to uradi?

Stvar je u tome sto se plasim da ce se masina jako opteretiti kada sa fopen pocnem da parsujem fajl od mekoliko megabajta.


Jedna od ideja o kojoj razmisljam je da kada se fajl uploaduje, da se sa Linuxovim komandama iseckam na nekoliko manjih, i da PHP skript parsuje pojedinacno svaki od njih.

Da li neko ima iskustva sa ovakvim problemom? Predlozi, saveti, ideje?

Hvala puno unapred!


Nikola

26.02.2005. u 11:35 

dr ZiDoo
Banja Luka

Član broj: 189
Poruke: 1729
*.teleklik.net.

Jabber: ZiDoo@elitesecurity.org
ICQ: 299539598
Sajt: zidoo.geek.rs.ba


Profil

icon Re: Parsovanje velikog fajla26.02.2005. u 12:22
Parasirao sam fajl od ~50Mb i mašinu to nije bolilo. Fora je u tome da ne tareš disk previše, znači učitaj fajl, radi po njemu, zapamti i zatvori, a ne, otvori, upisi, dopisi blabla...

Ako ti neko bude frkiso što učitavaš txt od nekoliko mb u memoriju ti onda uradi tako da učitaš prvo prvih npr: 1500 linija, parasiras, pa onda opet 1500 ali ti dođe na isto ako ne i gore.
tu nema kašike....
26.02.2005. u 12:22 

Goran Rakić
Beograd

Moderator
Član broj: 999
Poruke: 3624
*.sbb.co.yu.

Jabber: grakic@jabber.org
Sajt: blog.goranrakic.com


Profil

icon Re: Parsovanje velikog fajla26.02.2005. u 12:49
Laptopovi

Kako to moze biti isto da li ces 100MB da gurnes u memoriju ili ces da baferisano citas deo po deo? Kada je datoteka par MB, onda i nije problem gurnuti je u memoriju, ali obicno to nije dobro resenje. Naravno, sama implementacija zavisi od toga sta tacno treba parsirati, kakva je struktura dokumenta i slicno?
http://sr.libreoffice.org — slobodan kancelarijski paket, obrada teksta, tablice, prezentacije, legalno bez troškova licenciranja
26.02.2005. u 12:49 

dr ZiDoo
Banja Luka

Član broj: 189
Poruke: 1729
*.teleklik.net.

Jabber: ZiDoo@elitesecurity.org
ICQ: 299539598
Sajt: zidoo.geek.rs.ba


Profil

icon Re: Parsovanje velikog fajla26.02.2005. u 13:59
Citat:
Goran Rakić: Kako to moze biti isto da li ces 100MB da gurnes u memoriju ili ces da baferisano citas deo po deo? Kada je datoteka par MB...


Baš o ovih par MB govorim.
tu nema kašike....
26.02.2005. u 13:59 

[es] :: PHP :: Parsovanje velikog fajla

[ Pregleda: 1351 | Odgovora: 3 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.