Samo da podelim iskustvo u parsiranju velikih fajlova, reda veličine > 1.000.000 redova (odnosi se na csv format).
Nikako koristiti fgetcsv funkciju jer baš mnogo utiče na performanse, tj. na brzinu izvršavanja. Najbolje je dohvatiti liniju
klasičnim načinom preko fgets-a i zatim je parsirati po potrebi. U mom slučaju je fajl veličine oko 60GB sa oko 15.000.000 linija
i izvršavanje procesa je trajalo preko 2 sata. Kada sam izmenio kod, izvršavanje se svelo na nekih 20 min.
Eto toliko :)
Nikako koristiti fgetcsv funkciju jer baš mnogo utiče na performanse, tj. na brzinu izvršavanja. Najbolje je dohvatiti liniju
klasičnim načinom preko fgets-a i zatim je parsirati po potrebi. U mom slučaju je fajl veličine oko 60GB sa oko 15.000.000 linija
i izvršavanje procesa je trajalo preko 2 sata. Kada sam izmenio kod, izvršavanje se svelo na nekih 20 min.
Eto toliko :)
1Sviđa mi se :thumbsup: 1