Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

Acoustic ili Audio Fingerprinting

[es] :: Audio softver :: Acoustic ili Audio Fingerprinting

[ Pregleda: 2460 | Odgovora: 14 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

Mikky

Član broj: 18
Poruke: 1563
*.dynamic.sbb.co.yu.

ICQ: 44582291


+58 Profil

icon Acoustic ili Audio Fingerprinting22.01.2007. u 23:29 - pre 210 meseci
Ne znam da li sam pogodio forum (mozda je trebalo u muzicku produkciju) posto je ovo dosta specijalizovana stvar ali u isto vreme i dosta povezana sa nekim drugim oblastima (programiranjem, ljudskom audio percepcijom..) pa ako nisam neka moderatori pomere gde treba. Ipak mislim da se ovde nalazi najvise ljudi koji su upuceni u ovo.

Dakle hteo bih da razvijem acoustic fingerprinting biblioteku (http://en.wikipedia.org/wiki/Acoustic_fingerprint) pa imam nekoliko pitanja:

1. Odakle poceti i kakvo predznanje mi je potrebno? Znaci imam neki osnovni pojam o akustici (sta je ton, frekvencija, amplituda, boja) zatim o zvuku u digitalnom obliku (pcm, bitrate, sample rate) pa cak i o matematici (furijeove transformacije, matrice, fitovanje) ali sve je to na nekom opste obrazovnom nivou. Medjutim nije mi tesko da se malo bacim na tu oblast i prosirim znanje. Sta sve trebam da znam pre nego sto pocnem ovakav jedan poduhvat? Procitao sam jedan clanak od inzenjera iz philipsa ali linkovi i uputi na neke "defacto" materijale iz ove oblasti bi mi dobro dosli.

2. Za koji programski jezik da se odlucim? Platforma ce biti Windows pa sam mislio da iskoristim c# i .net, ali ne znam koliko bi zahtevno bilo ovako nesto i da li bih zbog performansi ipak trebao da razmislim o C/C++?

3. Koliko je isplatljivo ovako nesto zapocinjati? Pod time mislim da li je "vreme ucenja + vreme izrade + poteskoce" mnogo vece od vec neke gotove komercijalne biblioteke? Video sam po netu da postoje neke i da ih vec koristi neki programi ali cenu samih biblioteka nisam nigde nasao. Pretpostavljam da su dosta skupe, mozda neko zna otprilike cene?

Toliko za sad :)
-I know UNIX, PASCAL, C, FORTRAN,
COBOL, and nineteen other high-tech
words.
 
Odgovor na temu

ton_majstor

Član broj: 36874
Poruke: 4531
*.adsl-1.sezampro.yu.



+4 Profil

icon Re: Acoustic ili Audio Fingerprinting23.01.2007. u 12:14 - pre 210 meseci
Vrlo krupna stvar, voleo bih da ti se pomogne.

Elem, jel' pod tim podrazumevaš "modeling" nekog akustičkog procesa? Ima toga ovde i ima ljudi koji to već pišu!

Jel' si vezan za generisanje zvuka ili reprodukovanje akustike? Ima tu razlike!

Pozdrav!
 
Odgovor na temu

Mikky

Član broj: 18
Poruke: 1563
*.dynamic.sbb.co.yu.

ICQ: 44582291


+58 Profil

icon Re: Acoustic ili Audio Fingerprinting23.01.2007. u 13:22 - pre 210 meseci
Ne znam sta spada pod "modeling" akusticnog procesa mada ne verujem da govorimo o istoj stvari. Citiracu wikipediju:
Citat:

An acoustic fingerprint is a unique code generated from an audio waveform. Depending upon the particular algorithm, acoustic fingerprints can be used to automatically categorize or identify an audio sample.


Dakle to je nesto slicno kao hash ili checksum code (npr crc32) za obicne binarne fajlove, s tim da se ovde kao ulaz uzima neki audio signal (umesto binarnog fajla) a dobija se neki "fingerprint" (umeso hasha) koji identifikuje taj signal (u idealnom slucaju jedinstveno). Pravljenje ovih "otisaka" od audio signala je bazirano na zvucnoj percepciji kod ljudi.

Primena: recimo da se vozite u kolima i cujete neku pesmu na radiju koja vam se svidi i zelite da saznate ko je izvodjac i ime pesme kako bi eventualno kupili njihov CD. Pomocu ove tehnologije bi mogli da snimite deo pesme i da pretragom u nekoj internet bazi "muzickih otisaka" nadjete ove podatke o njoj. Ili recimo vec postoji jedan servis u USA koji radi upravo ovo samo sto kada cujete pesmu vi ih pozovete preko mobilnog telefona i prislonite telefon na zvucnik radija kako bi racunar sa one strane "cuo" pesmu a onda vam preko sms-a posalje podatke o njoj i izvodjacu.

-I know UNIX, PASCAL, C, FORTRAN,
COBOL, and nineteen other high-tech
words.
 
Odgovor na temu

milanche
San Francisco

Član broj: 2447
Poruke: 1200
*.hsd1.ca.comcast.net.



+1001 Profil

icon Re: Acoustic ili Audio Fingerprinting23.01.2007. u 14:30 - pre 210 meseci
Ako do sada nisi nista napisao za audio, baviti se fingerprinting-om je malo preambiciozno.

Osim sto je prilicno zahtevno sa audio strane, zahteva i posebnu koncentraciju na data baze
i na networking, sto mogu da u nekom razumnom vremenskom roku postignu jedino veci timovi
profesionalaca (po 10-15 po svakoj od oblasti).

O komercijalnoj isplativosti bolje je da i ne razmisljas - ulazis prilicno kasno u celu pricu. Iako je
audio deo verovatno najmanji (neki Francuz cak ima web sajt koji je navodjen ovde na ES-u),
sistematski pokupiti sva izdanja je ogroman posao.
 
Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
*.dip.t-dialin.net.



+7176 Profil

icon Re: Acoustic ili Audio Fingerprinting23.01.2007. u 16:35 - pre 210 meseci
Jedan moj prijatelj i kolega je napisao ultra-lite fingerprint algo:

http://www.foosic.org/

Imas i dokumentaciju:

http://www.foosic.org/libfooid.php

Interesantno je da je moc community-ja jako velika - vrlo brzo posle oficijelnog "launcha" je imao bazu podataka od vise desetina hiljada fingerprintova - sto je vrlo zavidan rezultat.

Foosic je vrlo niske kompleksnosti - dakle, svakako nije najbolja stvar na svetu ali mislim da je dobar za pocinjanje sa ovom temom. Ja sam se pre par godina nosio mislju da napisem fingerprint sistem ali na zalost od vremena za to nista, pa je cela stvar ostala samo u domenu ideje :)

Za kompleksnije algoritme modeliranja je najbolje da se pretplatis na AES (Audio Engineering Society) - www.aes.org, i krenes polako da citas radove... Markus Kremer je vrlo cujno ime, covek je radio na AudioID-u od nemackog FhG-a a kasnije je presao u Gracenote - firmu koja definitivno ima najpoznatiji audio fingerprinting sistem (takodje poznati po tome sto kupuju SVE nove muzicke CD-ove cim se pojave ;-)

Sto se programskog jezika za izbor tice - sve zavisi od toga sta planiras sa tim projektom - ako je neki research, moze biti bilo sta - mada najvise se koristi Matlab zbog jako dobrog matematickog engine-a. Ako razmisljas o komercijalnoj imlementaciji zaboravi sve osim C/C++-a ... iz prostog razloga sto je najvise optimizovanih DSP biblioteka (a DSP ce ti trebati i te kako) raspisano tako da radi sa C ili C++ aplikacijama.


DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

Mikky

Član broj: 18
Poruke: 1563
*.dynamic.sbb.co.yu.

ICQ: 44582291


+58 Profil

icon Re: Acoustic ili Audio Fingerprinting23.01.2007. u 19:12 - pre 210 meseci
Citat:
milanche: Ako do sada nisi nista napisao za audio, baviti se fingerprinting-om je malo preambiciozno.

Osim sto je prilicno zahtevno sa audio strane, zahteva i posebnu koncentraciju na data baze
i na networking, sto mogu da u nekom razumnom vremenskom roku postignu jedino veci timovi
profesionalaca (po 10-15 po svakoj od oblasti).

O komercijalnoj isplativosti bolje je da i ne razmisljas - ulazis prilicno kasno u celu pricu. Iako je
audio deo verovatno najmanji (neki Francuz cak ima web sajt koji je navodjen ovde na ES-u),
sistematski pokupiti sva izdanja je ogroman posao.


Zapravo mene za sada zanima samo "audio fingerprinting", a database, networking i ostale okolne stvari kao i primena mi trenutno nisu od znacaja. Znam da postoji vec par sajtova koji rade ono sto sam naveo kao primer i da sam kao sto kazes prilicno zakasnio sa tim ali meni ni nije cilj da ulazim na to trziste i pokrecem tu vrstu biznisa.

Jel moze link ka tom sajtu ili bar neki keyword kako bih ga nasao? Na ESu se ipak objavljuje mnogo linkova svaki dan :)


Dimke, poznat mi je libfooid i cak sam malo eksprimentisao sa njim posto je besplatan. Nije mi dao neke zadovoljavajuce rezultate za neka malo rigoroznije testove, medjutim info koji je covek ostavio je prilicno koristan i mada mi je u pocetku malo toga bilo jasno, posle par clanaka na wikipediji ukapirao sam 90% stvari koje je tamo spomenuo. Ja sam i mislio da krenem odatle za pocetak. Kao sto si rekao dosta je ogranicena biblioteka, koristi samo prvih 100sec pesme, a to je podeljeno na mali broj frejmova pa jedan frejm odgovara oko 1sec pesme (sto je dosta krupno), a posle koristi oko 8bita da opise taj jedan frejm (sto je dosta malo mislim) itd...

Posto si ti imao ideju da tako nesto napravis jel mozes da procenis koliko bi tebi trebalo (hipoteticki) da to krenes sada da radis 8 sati dnevno i da nemas druge obaveze? Cisto radi procene me zanima da vidim koliko bi trebalo nekom sa debelim iskustvom da uradi nesto slicno pa puta neki koeficijent>1 da dobijem sebe :)

Ovaj AES se placa, potrazicu za pocetak neke besplatne materijale mada iz dosadasnje iskustva to se dosta tesko nalazi .

Da li su te DSP biblioteke besplatne za komercijalnu upotrebu? Da li one pokrivaju sve sto mi je potrebno i sto mi moze zatrebati sa te strane?



-I know UNIX, PASCAL, C, FORTRAN,
COBOL, and nineteen other high-tech
words.
 
Odgovor na temu

Shon3i
Beograd

Moderator
Član broj: 85406
Poruke: 1173
*.sbb.co.yu.



+56 Profil

icon Re: Acoustic ili Audio Fingerprinting23.01.2007. u 21:19 - pre 210 meseci
Neznam da li si video ali jedno resenje vec postoji, program zvani Tunatic radi upravo to. http://www.elitesecurity.org/t...Prepoznavanje-bezimenih-pesama, po meni radi svoj posao, samo da mu se prosiri baza. U fazi je izrade progam za uzimanje otisaka za windows, za mac vec postoji.
 
Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
*.dip.t-dialin.net.



+7176 Profil

icon Re: Acoustic ili Audio Fingerprinting23.01.2007. u 21:51 - pre 210 meseci
Citat:

Posto si ti imao ideju da tako nesto napravis jel mozes da procenis koliko bi tebi trebalo (hipoteticki) da to krenes sada da radis 8 sati dnevno i da nemas druge obaveze? Cisto radi procene me zanima da vidim koliko bi trebalo nekom sa debelim iskustvom da uradi nesto slicno pa puta neki koeficijent>1 da dobijem sebe :)


Hm meni bi verovatno trebalo oko pola godine 8-casovnog dnenvog rada da to pocne da lici na nesto i da bude komercijalno upotrebljivo, mada bih trebao da se vratim u formu pre toga posto nisam dugo nesto intenzivno kodirao :-) To je onako vrlo gruba procena pretpostavljajuci da znam sta treba da uradim i da imam par nedelja da se vratim u c0d3 formu :-)

Takodje uz pretpostavku da imam na raspolaganju bazu od par desetina hiljada pesama (dobro, to nije neki problem ;-)

Citat:

Da li su te DSP biblioteke besplatne za komercijalnu upotrebu? Da li one pokrivaju sve sto mi je potrebno i sto mi moze zatrebati sa te strane?


Imas ih raznih - recimo Intel IPP nije besplatan, ali je relativno jeftin (jednom se placa) a ima izuzetno bogat set matematickih i inzenjerskih funkcija koje su vrlo optimizovane za SSE/SSE2/3... itd... instrukcijski set novih Intel procesora - u principu, mozes ti to sve sam da raspises, ali to iziskuje izuzetno poznavanje procesora i uzima dosta vremena.

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

ton_majstor

Član broj: 36874
Poruke: 4531
212.200.218.*



+4 Profil

icon Re: Acoustic ili Audio Fingerprinting23.01.2007. u 21:59 - pre 210 meseci
Uf, izvini za onaj post... nisam znao o čemu se priča!

Mada, samo želim da te pitam jel' ti to hoćeš da pišeš potencijalno komercijalan kod ili samo želiš lično usavršavanje, više izazov?

Podzrav!
 
Odgovor na temu

Mikky

Član broj: 18
Poruke: 1563
*.dynamic.sbb.co.yu.

ICQ: 44582291


+58 Profil

icon Re: Acoustic ili Audio Fingerprinting23.01.2007. u 22:29 - pre 210 meseci
Shon3i, znam za taj program i hteo bih da napravim nesto slicno u tehnickom smislu ali ne i u prakticnom :)

Ivane, pricas o razvoju samo fingerprinting dela? Znaci ne o networkingu, bazama itd. vec samo o biblioteci koja od pesme pravi fingerprint i uporedjuje ih. Zasto bi ti trebalo tolko pesama za to?

ton_majstor, potencijalna upotreba u komercijalne svrhe. Dakle radio bih neki softver koji koristi tu tehnologiju ali sve je jos u ranoj fazi razmatranja.
-I know UNIX, PASCAL, C, FORTRAN,
COBOL, and nineteen other high-tech
words.
 
Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16687
*.dip.t-dialin.net.



+7176 Profil

icon Re: Acoustic ili Audio Fingerprinting23.01.2007. u 22:31 - pre 210 meseci
Citat:

Ivane, pricas o razvoju samo fingerprinting dela? Znaci ne o networkingu, bazama itd. vec samo o biblioteci koja od pesme pravi fingerprint i uporedjuje ih. Zasto bi ti trebalo tolko pesama za to?


Pricam o svemu...

Fingerprint je najlaksi deo, nekome ko je strucnjak za audio signal processing bi trebalo max. 4-5 nedelja da razvije pristojan algoritam koji je iole napredniji od FooSic-a. Ono sto je problem je matching tih vektora i treniranje svega toga (zbog toga mislim da je potreban veliki skup primera)
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

Shon3i
Beograd

Moderator
Član broj: 85406
Poruke: 1173
*.sbb.co.yu.



+56 Profil

icon Re: Acoustic ili Audio Fingerprinting23.01.2007. u 22:39 - pre 210 meseci
Citat:
ali ne i u prakticnom :)
Pa sta bi u praktici bilo drugacije na primer? Radoznao sam :)

S obzirom da ne znam koje Tunatic algoritme koristi za prepoznavanje a verujem slicne, sreo se sa jednim problemom a to je da ne moze da prepozna klasicnu muziku.
 
Odgovor na temu

Mikky

Član broj: 18
Poruke: 1563
*.dynamic.sbb.co.yu.

ICQ: 44582291


+58 Profil

icon Re: Acoustic ili Audio Fingerprinting23.01.2007. u 23:36 - pre 210 meseci
Citat:
Shon3i: Pa sta bi u praktici bilo drugacije na primer? Radoznao sam :)

S obzirom da ne znam koje Tunatic algoritme koristi za prepoznavanje a verujem slicne, sreo se sa jednim problemom a to je da ne moze da prepozna klasicnu muziku.


Pa kad bih ti rekao morao bih da te......zaposlim da radis za mene :) Ne zelim da otkrivam za sad jos. Tunatic ne prepoznaje klasicnu muziku jer je nema u bazi na serveru, jednom kada to ubace prepoznavace i nju bez problema.

Citat:
Ivan Dimkovic: Pricam o svemu...

Fingerprint je najlaksi deo, nekome ko je strucnjak za audio signal processing bi trebalo max. 4-5 nedelja da razvije pristojan algoritam koji je iole napredniji od FooSic-a. Ono sto je problem je matching tih vektora i treniranje svega toga (zbog toga mislim da je potreban veliki skup primera)


Ok to me je zanimalo posto networking i database delom ne planiram da se bavim. U kratkim crtama, sta bi konkretno uradio da bi poboljsao FooSic?
-I know UNIX, PASCAL, C, FORTRAN,
COBOL, and nineteen other high-tech
words.
 
Odgovor na temu

milanche
San Francisco

Član broj: 2447
Poruke: 1200
*.hsd1.ca.comcast.net.



+1001 Profil

icon Re: Acoustic ili Audio Fingerprinting24.01.2007. u 05:17 - pre 210 meseci
Izvinjavam se sto dajem prilicno sture informacije na zadatu temu.

U svakom slucaju, tu je Ivan da ohrabri.
 
Odgovor na temu

BoRa26

Član broj: 132301
Poruke: 10
91.150.106.*



Profil

icon Re: Acoustic ili Audio Fingerprinting04.02.2007. u 22:21 - pre 209 meseci
Na sajtu http://www.musicip.com/business/clientsdk.jsp mozete naci dosta informacija kako da integrisete music fingerprinting u vase aplikacije, inace njihova baza MusicDNS ima preko 20 miliona pesama. Za obicne korisnike tu je njihov softver MusicMixer koji prepoznaje veliku vecinu domace muzike i koja ima mogucnos automatskog miksovanja muzike
 
Odgovor na temu

[es] :: Audio softver :: Acoustic ili Audio Fingerprinting

[ Pregleda: 2460 | Odgovora: 14 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.