[es] - fgrep ? ;)

Gojko Vujovic
Amsterdam, NL

Administrator
Član broj: 1
Poruke: 13651

+165 Profil

^{09.10.2001. u 05:01 - pre 274 meseci}

Ne znam kako ti je ta komanda provereno radila, na mom grepu ne radi.
Mora ovako da se koristi:

grep -fremovelist -v maillist > newfile

Sad, što se brzine ovoga tiče, može varirati u zavisnosti od grepa koji koristiš ali po mom mišljenju, grep je najbrža alatka koju ćeš naći za ovo. Nisi naveo sa kojom verzijom grepa si pokušao, a bitno se razlikuju po regexp engineu koji koriste.
Predlažem da nađeš egrep čiji je originalni autor Alfred Aho koji koristi DFA regexp engine, možda će obavljati taj posao brže, ne garantujem.
Problem kod GNU grepova je što su većinom DFA ali postoje i neke verzije sa NFA engineom a uopšte nisam siguran koje su to i kada su izdavane, niti kako ih tačno raspoznati. Veliki haos vlada na tom polju trenutno..

Aj pre nego što daš više informacija o sistemu i grepu u kome ovo radiš, probaj ovo
egrep -fremovelist -v maillist > newfile
Ako je gnu grep u pitanju, ovo će verovatno pozivati isti taj grep sa -E opcijom.

Sad verovatno ćeš pitati i šta je problem sa NFA i DFA engineima pa pošto ni sam ne znam kompletan odgovor, napisaću ti odmah šta znam o tome:
Pre nego što jedan regexp bude upotrebljen, oba ova engine ga kompajliraju u neki interni oblik koji odgovara njihovim algoritmima za matching. NFA kompilacija je generalno brža i zahteva manje memorije. Postoje dve vrste NFA - tradicionalna i Posix ali kompajliraju bez neke razlike.
Tek u radu se može primetiti prednost DFA enginea. Tradicionalni NFA mora isprobati svaku moguću permutaciju regexa da bi zaključio da nema match-a. Ali za razliku od POSIX NFA engine-a, ovaj barem zna da se zaustavi kada je pronasao match. POSIX NFA engine ne staje ni tu nego nastavlja dok ne nađe NAJDUŽE MOGUĆE poklapanje tako da u stvari mora da ispita sve moguće permutacije. Tako da, pre nego što pišete regexp, morate znati koji engine koristi alatka za koju pišete inače izvršavanje može stvarno da potraje.
Moderni DFA engine-i pametno odlažu deo posla koji treba da se odradi za kasnije i tako smanjuju vreme i memoriju tokom kompajliranja, tako da kada pišete regexp za DFA engine ne morate mnogo brinuti za optimizaciju. Šta DFA u stvari radi je da unapred sagradi neku mapu tokom kompajliranja regexpa tako da već unapred zna kada pokuša prvi match i neki string matchuje ili ne, kakve su šanse daljeg match-a jer sa mape ne može skrenuti pošto se string ne menja. Engine tada samo prati mapu što doprinosi većoj efikasnosti DFA enginea od NFA u nekim slučajevima.
Naglasio bih NEKIM zato što to nije uvek slučaj, a priča je tako dugačka da ni sam ne znam na šta se dalje svodi. Ovo su glavne stvari koje sam uspeo da zapamtim, a o ovome se verovatno može pričati godinama, ne mesecima ili danima..

Stoga, nađi sve verzije grepa koje možeš i probaj ih sa i bez -E opcije, i vidi šta je najbrže.. to je najbolji odgovor koji ti za grep mogu dati. Možda se neko seti neke druge alatke koja bi ovo bolje odradila, sačekaj malo pa ćemo videti.jen poslovno profitabilan siste

Odgovor na temu

sv3ta

Član broj: 143
Poruke: 62
*.verat.net

Profil

Re: fgrep ? ;)

^{09.10.2001. u 14:02 - pre 274 meseci}

Citat:

Gojko je napisao:
Ne znam kako ti je ta komanda provereno radila, na mom grepu ne radi.
Mora ovako da se koristi:

grep -fremovelist -v maillist > newfile

radi, radi fgrep -v -f radi, grep -f -v ne radi (ne radi sa velikim fajlovima)
miroslav@crescendo removedir]$ grep -ftotal1 -v s >> fdf
grep: Regular expression too big

mora da postoji neka druga komanda za ovo .. ako ne komanda , mozda moze da se napise script (za PHP recimo) koji ce to 10x brze da odradjuje ...

sto se verzije grep-a tice, sve je to isti qrac ;)

Svt3a

Odgovor na temu