Teorija informacija

pozdrav svima,
nisam znao na kojem forumu da postavim temu, pa sam odlučio ovde. ako moderatori misle da treba ići negdje drugdje, slobodno je prebacite.
evo o čemu se radi. teorija informacija je izborni ispit na elektrotehničkom fakultetu u banja luci. ja sam je izabrao pošto alternativa u stvari i nije bila alternativa. ove godine nam je došao profesor iz novog sada i po svemu sudeći trebaće dobro zagrijati stolicu ako hoćemo položit ovaj ispit. problem je što prije teorije informacija nisam slušao ništa ni slično tome, a iz vjerovatnoće sam očajan. iz tog razloga, otvorio sam ovu temu ako ima ljudi koji dobro razumiju pomenutu mateirju da mi pomognu oko spremanja ispita. ja ću postavljati pitanja, teoreme ili dokaze koji mi nisu jasni, pa bi onda valjda kroz neku diskusiju došli do rješenja. večeras mi treba stići knjiga uvod u teoriju informacija od dušana drajića pa se nadam da pitanja i neće biti previše. volio bih za početak da se jave one koji ispunjavaju pomenuti kriterijum :) hvala svima i svako dobro.

Mogu ti preporučiti jednu odličnu knjigu iz koje sam ja spremao ispit. U pitanju je knjiga "Teorija informacije i kodiranja", autor dr Branimir Šešelja. U uvodu se nalazi pregled dela teorije verovatnoće koji je potreban za izučavanje teorije informacije. U pomenutoj knjizi izložena materija je veoma pedagoški izložena, maltene posle svake teoreme i njenog dokaza, daje se primer koju tu teoremu dodatno razjašnjava.

super, hvala ti. ja sam mislio nabaviti uvod u teoriju informacija i kodovanje, autor je dušan drajić, ali knjiga je dosta skupa, oko 70 km :( sjećaš li se ko je izdavač knjige koju si ti spomenuo? gdje bi je mogao nabaviti? i sjećaš li se da li autor obrađuje trelis (konvolucione) kodove, aritmetički kod, lempel zivov algoritam i sl.?

Pošto moje učenje te materije nije bilo baš skoro, ne sećam svih pojedinosti. Sećam se nekih pogavlja kao što su: Entropija, Diskretni izvor informacije bez memorije, Kapacitet kanala, Hammingovi kodovi... Taj profesor predajte na Prirodno-matematičkom fakultetu, pa pretpostavljam da tamo obrađuju tu materiju po njegovo knjizi, a više informacija potraži na sledećem portalu studenata informatike (PMF Novi Sad), adresa: student.dmi.rs/portal

volio bih ako neko može da mi objasni sljedeće pojmove:
raspodjela vjerovatnoće, normalna raspodjela, gustina vjerovatnoće, kumulativna gustina vjerovatnoće, varijansa, diskretna slučajna promjenjljiva i kontinualna slučajna promjenljiva.

niko? mozda neki link?

Toga ima u svakom udžbeniku teorije verovatnoće.

Potpis

Nije bitno koji su zaključci izvučeni, već kako se do njih došlo.

mislio sam više neko uopšteno objašnjenje.

Pa, ne može to tek tako u dve rečenice, ako ne znaš čak ni šta je raspodela.

Potpis

Nije bitno koji su zaključci izvučeni, već kako se do njih došlo.

Hajde napiši šta znaš o tim pojmovima, pa da dopunimo. Ako ne znaš nijedan, knjigu u šake.

Potpis

Nije bitno koji su zaključci izvučeni, već kako se do njih došlo.

Takodje pogledaj i skriptu za predmet "Statistika i vjerovatnoca" od Z. Mitrovica (za ostale, jedan od profesora matematike na ETFu u BL), tamo su predjeni svi pojmovi koje si pomenuo, mada su definicije tamo date prilicno sturo sto nije bas ok ako pokusavas sve to intuitivno da shvatis.

Inace, pozdrav od kolege koji je odabrao alternativu. PDS rules :)

ovako :)
koliko sam shvatio, raspodjela vjerovatnoće je vjerovatnoća svake vrijednosti neke slučajne promjenljive, ako je promjenljiva diskretna, odnosno vjerovatnoća da vrijednost promjenljive "pada" u neki interval, ako je promjenljiva kontinualna. gustina vjerovatnoće kontinualne slučajne promjenljive je valjda vjerovatnoća da će neka kontinualna varijabla da se pojavi u nekoj zadanoj tački. vjerovatnoća da se neka slučajna varijabla nađe unutar određenog regiona jednaka je integralu gustine vjerovatnoće te određene varijable unutar tog regiona. pretpostavljam da se u slučaju kontinualne slučajne promjenljive, raspodjela zadaje odgovarajućom funkcijom gustine? kumulativna funkcija gustine opisuje vjerovatnoću da će realna slučajna promjenljiva sa odgovarajućom raspodjelom vjerovatnoće biti pronađena u vrijednosti manjoj od x (gornja granica integrala). za varijansu jedino imam informaciju da je to odstupanje od srednje vrijednosti.
o ostalim pojmovima ne znam gotovo ništa. i ovo što sam napisao nakupio sam na wikipediji.
kolega pero :) i ja sam razmišljao o pds-u, ali pošto sam već položio pismeni kod galića, mislio sam još riješiti usmeni na socijalnom roku, ali nisu nam dozvolili da izađemo ako ne zadovoljavamo neke uslove, koje ja nisam zadovoljavao. tako da mi je dopao novi profesor. ali šta se može :) uglavnom, volio bih konačno svariti ove pojmove, da više ne razbijam glavu oko toga. inače, jesi diplomirao?
pozdrav za obojicu

neđo, ti si na redu :]

Na kom redu? Redu za šta?

Potpis

Nije bitno koji su zaključci izvučeni, već kako se do njih došlo.

Nedeljko:
"Hajde napiši šta znaš o tim pojmovima, pa da dopunimo. Ako ne znaš nijedan, knjigu u šake."

ja sam napisao nešto, pa čekam da dopuniš i ispraviš.
pozdrav

Ja sad pisem po nekom secanju, ali mislim da sam ovo dobio naucio jer je to bio jedan od najtezih ispita na faksu:


1. Slucajna promenljiva je preslikavanje skupa verovatnoce u skup realnih brojeva. Svakom ishodu iz se dodeljuje neka realna vrednost



2. Funkcija raspodele slucajne promenljive X u nekoj tacki je definisana sledecim izrazom:



Osobine funkcije raspodele:


F je monotono neopadajuca funkcija
F je neprekidna sa desne strane u svakoj tacki




3. Neka je funkcija raspodele slucajne promenljive X glatka. Njen prvi izvod je funkcija gustine verovatnoce:




Osobine funkcije gustine verovatnoce:

Vrednost funkcije gustine verovatnoce u nekoj tacki je srazmerna verovatnoci da slucajna promenljiva uzme vrednost iz okoline te tacke.



I da ne zaboravim



4. Matematicko ocekivanje slucajne promenljive X sa funkcijom gustine raspodele je dato izrazom:



Varijansa predstavlja meru rasipanja slucajne promenljive oko srednje vrednosti i definise se kao



Za Normalnu (Gausovu) raspodelu imas i na wikipediji i to dosta toga. Bitno je da znas da je znacajna zbog posledica CGT (centralne granicne teoreme) koja kaze da raspodela sume nezavisnih slucajnih promenljivih sa istom raspodelom konvergira ka normalnoj raspodeli.


Dosta od mene, raspisao sam se i vise nego sto je trebalo.

Raspodela slučajne promenljive je u opštem slučaju funkcija definisana sa .

Ona je u diskretnom slučaju, kao i u neprekidnom, jednoznačno određena time što si napisao. Međutim, u opštem slučaju se slučajna promenljiva, sastoji iz tri dela - diskretnog, neprekidnog i singularnog. Dakle, može biti mešovita.

Ako postoji integrabilna funkcija takva da je , onda se ona zove gustina slu;ajne promenljive .

Potpis

Nije bitno koji su zaključci izvučeni, već kako se do njih došlo.

Zdravo!

Zamolila bih Vas (kao i ostale članove!) ako imate tu knjigu u elektronskom obliku i ako ste u mogućnosti da mi je pošaljete. Razlog zašto me zanima posebno ta knjiga je taj što se nadam da u istoj ima nešto vezano i za kompresiju podataka (algoritmi - RLE, Huffman, Aritmetično, LZ77, LZW...). Ili, ako imate bilo kakvu literaturu u kojoj mogu naći nešto prvenestveno vezano za algoritme za kompresiju podataka, a zatim i za teoriju informacija bi mi puno značilo jer mi zaista podhitno treba!
Moj e-mail je "[email protected]".


Unaprijed puno hvala!

Pozdrav,
Dijana

Izvinjavam se sto temu izvlacim iz prasine, ali ako jos nekoga zanima kompresija podataka, u elektronskom obliku pdf format na internetu ima da se skine knjiga: The Data Compression Book Second Edition, od autora: Mark Nelson i Jean-Loup Gailly, uglavnom su pobrojani sve metode, nacini kodiranja i algoritmi od onih prvih napravljenih do danas aktuelnih, takodje svaki je propracen odgovarajucim kodom u C programskom jeziku, knjiga je besplatna za preuzimanje.

Hvala