[es] - kako staviti 3.000.000 fajlova u file system

NetworkAdmin

Član broj: 4445
Poruke: 609
*.access-sa1.lsinter.net

Profil

kako staviti 3.000.000 fajlova u file system

^{15.06.2004. u 15:40 - pre 241 meseci}

Evo trebao bih da imam oko 3 milona thumbnail slikica koje treba da stavim u file system slike ce imati imena nesto ovako:

234567890234567890.jpg dakle 20 cifara i naravno sad nisam vichan sa linuxom ali recimo da je redhat po default instaliran...

Sad ima ideju da to malo podjelim po folderima na primjer za gornju sliku npr ./234/567/890/234567890.jpg

Sad ne znam ima li to smisla tako raditi uopste?

[Ovu poruku je menjao NetworkAdmin dana 16.06.2004. u 19:47 GMT]

Odgovor na temu

alex
Aleksandar Radulovic
Senior Software Engineer, Spotify
Stockholm, Sweden

Član broj: 71
Poruke: 2194
*.habil.is

Jabber: alex@a13x.info
ICQ: -1
Sajt: www.a13x.info

+1 Profil

Re: kako staviti 3.000.000 fajlova u file system

^{15.06.2004. u 16:21 - pre 241 meseci}

Ima smisla - obavezno, obavezno podeli (po nekakvom sistemu) fajlove u poddirektorijume. Npr, ls nad jednim direktorijumom sa tolikim brojem fajlova bi ti gotovo sigurno vratio "argument list too long" (iz iskustva znam

)..

Takav veliki folder sa tolikim brojem fajlova bi sigurno bio usko grlo..

Alex: My favorite site is http://localhost/
R.J. Oppenheimer: "I am become death, destroyer of worlds" (1945 AD)
tweet.13x ||
linkedin.13x

Odgovor na temu

VRider
Marković Damir
(BGD/SD Karaburma)/Pirot

Član broj: 1510
Poruke: 4132
195.178.35.*

Jabber: damirm | gmail | com
ICQ: 134002435

+13 Profil

Re: kako staviti 3.000.000 fajlova u file system

^{15.06.2004. u 16:29 - pre 241 meseci}

Izdeli sto vise. Mozes cak i na svake 3 cifre. Tako ces imati uvek do 1000 fajlova (direktorijuma), sto nece biti problem.

JaFreelancer.com

Odgovor na temu

-zombie-
Tomica Jovanovic
freelance programmer
ni.ac.yu

Član broj: 4128
Poruke: 3448
*.beotel.net

Sajt: localhost

+5 Profil

Re: kako staviti 3.000.000 fajlova u file system

^{15.06.2004. u 16:33 - pre 241 meseci}

da, definitivno.. i mada bi ti dva nivoa verovatno završila posao (po hiljadu fajlova/direktorijuma u jednom nivou), možda je bolje da ideš sa tri nivoa.

i druga preporuka, ako je taj 20tocifreni ID/broj ima nekog smisla (tj ne dodeljuje se totalno random, nego sa nekim smislom), može ti se desiti da imaš dosta sličica koje počinju istim ciframa, tako da ti razdvajanje po početnim ciframa neće mnogo pomoći.

onda se može koristiti obrnut princip, da razdvajaš po poslednjih par cifara.. znači, ako ti se sličica zove 1234567890.jpg predlažem da je sačuvaš kao ./90/78/1234567890.jpg (pametno je da fajl sačuva svoje originalno ime da ne bi morao da ga spajaš svaki put)..

blogče :: unescaped beta^{^» ^{go-paste extenzija} ^» ^{reč dana: backup} ^» ^{bočne koalicije}}

Odgovor na temu

neetzach
LDAP specialist, Qindel
Iberija

Član broj: 4825
Poruke: 616
195.178.35.*

Sajt: www.udarnik.net

+4 Profil

Re: kako staviti 3.000.000 fajlova u file system

^{15.06.2004. u 16:45 - pre 241 meseci}

U svakom slucaju moraces da proveris broj index nodova koje imas za taj fajlsistem, inace moze da ti se desi da neces imati gde da snimas fajlove iako ima prostora na disku...

What I hear, I forget. What I see, I remember. What I do, I understand. What I screw up, I
master.

Odgovor na temu

bOkIcA
Bojan Abramovic
Novi Sad

Član broj: 1808
Poruke: 520
*.metrohive.net

Sajt: www.bokica.com

Profil

Re: kako staviti 3.000.000 fajlova u file system

^{15.06.2004. u 21:20 - pre 241 meseci}

Citat:

neetzach:...broj index nodova koje imas za taj fajlsistem...

Gde postoji takva informacija?
Ili ako neko zna za ntfs, ext2 i ex3.

Ako bi se u istom direktorijumu nalazila velika kolicina fajlova (fotografija) i ako bi im se prilazilo direktno programski po imenu (imena fajlova su u bazi) da li bi postojala bilo kakva razlika ako bi fajlovi bili razvrstani po direktorijumima?

zahvaljujem

Odgovor na temu

popeye
Branko Ivanović
Beograd

Član broj: 3846
Poruke: 960
*.pristop.co.yu

Jabber: popeye@elitesecurity.org
ICQ: 18038966
Sajt: popeye.linuxo.org

Profil

Re: kako staviti 3.000.000 fajlova u file system

^{15.06.2004. u 21:48 - pre 241 meseci}

Citat:

-zombie-:onda se može koristiti obrnut princip, da razdvajaš po poslednjih par cifara.. znači, ako ti se sličica zove 1234567890.jpg predlažem da je sačuvaš kao ./90/78/1234567890.jpg (pametno je da fajl sačuva svoje originalno ime da ne bi morao da ga spajaš svaki put)..

Potvrdiću da je navedeni način efikasan. Koristim razdvajanje po prvih par cifara (12/34/1234567890.jpg) na 1.5M datoteka i radi odlično.

Odgovor na temu

TiXo
Tihomir Pantović
Čačak

Član broj: 7796
Poruke: 537
*.smin.sezampro.yu.

Jabber: tixo@jabber.ru
ICQ: 74381511

Profil

Re: kako staviti 3.000.000 fajlova u file system

^{15.06.2004. u 21:53 - pre 241 meseci}

uposlite google, ja sam tražio nešto za reiser pa naleteh na:

Specifications for ReiserFS: (in according to NIST standard)
3.5 3.6
max number of files 232 - 3 => 4 Gi - 3 232 - 3 => 4 Gi - 3

max number files a dir can have 518701895,
but in practice this value is limited by hash function. r5 hash allows about 1 200 000 file

names without collisions 232 - 4 => 4 Gi - 4
but in practice this value is limited by hash function. r5 hash allows about 1 200 000 file names without collisions

max file size 231 - 1 => 2 Gi - 1 260 - bytes => 1 Ei,
but page cache limits this to 8 Ti
on architectures with 32 bit int

max number links to a file 216 => 64 Ki 232 => 4 Gi

max filesystem size 232 (4K) blocks => 16 Ti 232 (4K) blocks => 16 Ti

ostalo na: http://www.namesys.com/faq.html

^{GnuPG public key:

tixo.asc}

^{Try and be nice to people, avoid eating fat, read a good book every now and

then, get some walking in, and try and live together in peace and harmony with

people of all creeds and nations.}

Odgovor na temu

neetzach
LDAP specialist, Qindel
Iberija

Član broj: 4825
Poruke: 616
217.26.67.*

Sajt: www.udarnik.net

+4 Profil

Re: kako staviti 3.000.000 fajlova u file system

^{15.06.2004. u 22:58 - pre 241 meseci}

Citat:

bOkIcA:Gde postoji takva informacija?
Ili ako neko zna za ntfs, ext2 i ex3.

Mozes pogledati kako trenutno stoji stanje na sistemu sa: df -i

Gustina (tj. broj) inodova se regulise prilikom pravljenja fajlsistema. Sto znaci da ako ih treba vise, onda se mora reformatirati fs na kojem ce stajati fajlovi.

What I hear, I forget. What I see, I remember. What I do, I understand. What I screw up, I
master.

Odgovor na temu

NetworkAdmin

Član broj: 4445
Poruke: 609
*.access-sa1.lsinter.net

Profil

Re: kako staviti 3.000.000 fajlova u file system

^{16.06.2004. u 17:37 - pre 241 meseci}

trenutno stanje kod mene je:
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/sda3 8699904 205782 8494122 3% /
dakle 3 miliona fajlova plus svi ti direktoriji na dva nivoa sa max 1000^2 sto je jos jedan milion znaci dalke moze stati da iskoristim nekih 45%

Odgovor na temu

dpop
Dragan Đ. Popović
VBD, IT
Brčko distrikt BiH

Član broj: 1879
Poruke: 400
*.teol.net

Jabber: dpop@elitesecurity.org
Sajt: dragon.objectis.net

Profil

Re: kako staviti 3.000.000 fajlova u file system

^{16.06.2004. u 20:36 - pre 241 meseci}

ReiserFS je i nastao sa namjerom da opslužuje masivne serverske instalacije na pouzdaniji način nego što je to bilo do njegovog pojavljivanja. Od tada je i on značajno unaprijeđen a više detalja o tome ima i na
http://www.namesys.com/

Howdy & Stay tuned to ...ES.. :))

Odgovor na temu

utvara
Slobodan Utvić
Vivvo CMS lead developer, Spoonlabs
d.o.o. Beograd

Član broj: 677
Poruke: 87
*.sbb.co.yu
Via: [es] mailing liste

Jabber: utvara@elitesecurity.org
ICQ: 28140625
Sajt: utvara.blogspot.com

Profil

Re: kako staviti 3.000.000 fajlova u file system

^{16.06.2004. u 23:02 - pre 241 meseci}

Jedno malo skretanje sa teme, ako vec imas 3Mil slicica, sto ih ne
puknes u neku bazu?

--
Sve najlepse,
Best regards,
Slobodan mailto:[email protected]

utvara is no saint
CV
>>Trenutni hobi
>>Dragon

Odgovor na temu