Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P

[es] :: Art of Programming :: Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P

Strane: 1 2

[ Pregleda: 4731 | Odgovora: 30 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

Branimir Maksimovic

Član broj: 64947
Poruke: 5534
109.72.51.23



+1064 Profil

icon Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P07.06.2020. u 20:58 - pre 46 meseci
https://www.theregister.com/2020/06/05/moores_law_coding/

Citat:

n a paper [paywall] published Friday in the journal Science, MIT professors Charles Leiserson and Daniel Sanchez, adjunct professor Butler Lampson, and research scientists Joel Emer, Bradley Kuszmaul, Tao Schardl, and Neil Thompson argue that the tech industry needs software performance engineering, better algorithmic approaches to problem solving, and streamlined hardware interaction.

These three areas at the top of the stack will yield less reliable gains than semiconductor density improvements of the past because they're interrelated.

"Unlike Moore’s law, which has driven up performance predictably by 'lifting all boats,' working at the Top to obtain performance will yield opportunistic, uneven, and sporadic gains, typically improving just one aspect of a particular computation at a time," the authors state.

Nonetheless, that's what's present opportunity now that the further miniaturization no longer looks practical.


I onda:

Citat:

This future demands better programming techniques to write faster code. To illustrate that point, the MIT researchers wrote a simple Python 2 program that multiplies two 4,096-by-4,096 matrices. They used an Intel Xeon processor with 2.9-GHz 18-core CPU and shared 25-mebibyte L3-cache, running Fedora 22 and version 4.0.4 of the Linux kernel.

for i in xrange(4096):
for j in xrange(4096):
for k in xrange(4096):
C[j] += A[k] * B[k][j]

The code, they say, takes seven hours to compute the matrix product, or nine hours if you use Python 3. Better performance can be achieved by using a more efficient programming language, with Java resulting in a 10.8x speedup and C (v3) producing an additional 4.4x increase for a 47x improvement in execution time.

Beyond programming language gains, exploiting specific hardware features can make the code run 1300x faster still. By parallelizing the code to run on all 18 of the available processing cores, optimizing for processor memory hierarchy, vectorizing the code, and using Intel's Advanced Vector Extensions, the seven hour number crunching task can be reduced to 0.41s, or 60,000x faster than the original Python code.


Doslo je vreme asemblera vidim ja :P
 
Odgovor na temu

Dexic
ASP

Član broj: 253999
Poruke: 3837



+1376 Profil

icon Re: Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P07.06.2020. u 21:18 - pre 46 meseci
Js vidim da je vreme da se izbaci Python :)
 
Odgovor na temu

nkrgovic
Nikola Krgović
Beograd

Član broj: 3534
Poruke: 2807

ICQ: 49345867
Sajt: https://www.twinstarsyste..


+655 Profil

icon Re: Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P07.06.2020. u 21:24 - pre 46 meseci
Ma mnogo su pametni... idi, prosto ne znam gde cu od te pameti. Sta li bi bilo da im je neko otkrio bibliotecke funkcije i optimizovane biblioteke? :) Sta sve danas prolazi kao "naucni rad"....

Murov zakon, tja... radi se na svemu. Da, radi se i na brzem (mikro)kodu, tj. na efikasnijim procesorima, radi se i na novim instrukcijama koje nesto ubrzavaju, tako da, broj tranzistora, kao sto je Gordon Moore tvrdio, raste - ali sad na drugi nacin. Slusali smo i pre par godina da smo stigli do granice, da preko 5GHz ne moze, i stvarno vec godinama ne ide preko 5GHz, ali su procesori sve brzi i brzi. Mozda ne bude moglo vise tranzistora po integralcu, ali tu su "chipleti", multi-chip pakovanja....

I da, bolji algoritmi su UVEK bitni. Graph baze su klasican primer, neke stvari rade redovima velicine brze, zbog drugacijeg koda (nije jedini primer, ovo mi je prvo palo na pamet). Jednostavno, bolji algoritmi nisu prestali da budu bitni nikad, ali, osim ako gospoda nisu na fusnoti resili MP kompletne probleme, reci "nek neko napravi bolje algoritme" nece puno pomoci....
Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'
 
Odgovor na temu

optix
CH

SuperModerator
Član broj: 7009
Poruke: 1867
149.6.55.*



+101 Profil

icon Re: Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P07.06.2020. u 21:44 - pre 46 meseci
Da, Murov zakon sahranjuju vec 25 godina..
"99% of your thought process is protecting your self-conceptions,
and 98% of that is wrong."
 
Odgovor na temu

Branimir Maksimovic

Član broj: 64947
Poruke: 5534
109.72.51.23



+1064 Profil

icon Re: Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P07.06.2020. u 23:30 - pre 46 meseci
Citat:
Dexic:
Js vidim da je vreme da se izbaci Python :)


Mislim da su uzeli ovaj primer zato sto Pyhon ionako sluzi kao lepak poziva f-ja implementiranih u C-u,
a sam problem mnozenja matrica je izuzetno lako paralelizovati, a onda i vektorizaovati. Hteli su da
naprave poentu na najociglednijem primeru :P

 
Odgovor na temu

Whitewater
dummy workshop

Član broj: 339178
Poruke: 397



+137 Profil

icon Re: Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P07.06.2020. u 23:37 - pre 46 meseci
bio je dalekovid Moore
I saw a USO last night.
 
Odgovor na temu

Branimir Maksimovic

Član broj: 64947
Poruke: 5534
109.72.51.23



+1064 Profil

icon Re: Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P07.06.2020. u 23:38 - pre 46 meseci
Citat:
nkrgovic:
Ma mnogo su pametni... idi, prosto ne znam gde cu od te pameti. Sta li bi bilo da im je neko otkrio bibliotecke funkcije i optimizovane biblioteke? :) Sta sve danas prolazi kao "naucni rad"....

Murov zakon, tja... radi se na svemu. Da, radi se i na brzem (mikro)kodu, tj. na efikasnijim procesorima, radi se i na novim instrukcijama koje nesto ubrzavaju, tako da, broj tranzistora, kao sto je Gordon Moore tvrdio, raste - ali sad na drugi nacin. Slusali smo i pre par godina da smo stigli do granice, da preko 5GHz ne moze, i stvarno vec godinama ne ide preko 5GHz, ali su procesori sve brzi i brzi. Mozda ne bude moglo vise tranzistora po integralcu, ali tu su "chipleti", multi-chip pakovanja....

I da, bolji algoritmi su UVEK bitni. Graph baze su klasican primer, neke stvari rade redovima velicine brze, zbog drugacijeg koda (nije jedini primer, ovo mi je prvo palo na pamet). Jednostavno, bolji algoritmi nisu prestali da budu bitni nikad, ali, osim ako gospoda nisu na fusnoti resili MP kompletne probleme, reci "nek neko napravi bolje algoritme" nece puno pomoci....


Vec sam rekao Dexicu, hteli su da naprave poentu.
Granica je udarena negde 2003 sa p4 na 3Ghz, od tada, jednostavno ide se ka povecanju IPC-a. To sto su dosli do 5Ghz, to je zapravo brzina na single core-u. Svi misle da ce neko neki 8jezgarni(ne daj boze vise od toga)
procesor poterati na toliko. Hm ,pogledaj koliko trosi najnoviji Commet Lake iznad 4Ghz ;)
Sto se tice broja tranzistora, da AMD pravi CCX sa po 4-8 jezgara naustrb vece latencije ka memoriji od Intela. Da li ce Intel ici ka tome, videcemo. Medjutim ovaj clanak govori da performanse nece vise ici daleko,
(cega smo svedoci zadnjih 9 godina). Cene i da dalje od 5nm se nece ici. To znaci da u okviru onoga sto imamo polako dolazi vreme da se misli na taj momenat. Mislim artikl je no brainer, svakom bi palo
napamet da u slucaju stagnacije kod performansi, izvlacimo bolje iz postojeceg hardvera, kao sto je to radjeno 70ih,80ih pa i 90ih.
Mislim da oni pucaju na bolje iskoriscenje postojeceg hardvera, pre nego na algoritme, otud poredjenje Pythona,Jave i C-a.

 
Odgovor na temu

Branimir Maksimovic

Član broj: 64947
Poruke: 5534
109.72.51.23



+1064 Profil

icon Re: Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P07.06.2020. u 23:39 - pre 46 meseci
Citat:
optix:
Da, Murov zakon sahranjuju vec 25 godina..


Mislim da generalno, Murov zakon ne vazi negde od 2003 ;)
 
Odgovor na temu

Branimir Maksimovic

Član broj: 64947
Poruke: 5534
109.72.51.23



+1064 Profil

icon Re: Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P07.06.2020. u 23:40 - pre 46 meseci
Citat:
Whitewater:
bio je dalekovid Moore


Ako procitas artikl, Mur je predvideo za sledecih 10 godina od tog momenta, ne dalje.
 
Odgovor na temu

Whitewater
dummy workshop

Član broj: 339178
Poruke: 397



+137 Profil

icon Re: Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P08.06.2020. u 00:45 - pre 46 meseci
mislim dugo je potrajo ipak
I saw a USO last night.
 
Odgovor na temu

optix
CH

SuperModerator
Član broj: 7009
Poruke: 1867
149.6.55.*



+101 Profil

icon Re: Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P08.06.2020. u 01:11 - pre 46 meseci
Citat:
Branimir Maksimovic:

Mislim da generalno, Murov zakon ne vazi negde od 2003



Pa.. ne bi se bas reklo:




Linija nije 2x povecanje na svake 2 godine, nego ‭1.9878x na svake dve godine. Mislim da je dovoljno blizu ;-) Ne vidim da se 2003 nesto specijalno desilo.


Par zanimljivih klipova na tu temu od Jim Keller-a - trenutno SVP u Intel-u, inace ko-autora x86-64 arhitekture.

https://www.youtube.com/watch?v=oIG9ztQw2Gc

https://youtu.be/Nb2tebYAaOA?t=1902


Drugi sam malo premotao na relevantan deo, ali je svakako zanimljvo pogledati ceo.
"99% of your thought process is protecting your self-conceptions,
and 98% of that is wrong."
 
Odgovor na temu

Branimir Maksimovic

Član broj: 64947
Poruke: 5534
109.72.51.23



+1064 Profil

icon Re: Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P08.06.2020. u 07:24 - pre 46 meseci
optix:"Ne vidim da se 2003 nesto specijalno desilo."

Ako gledas broj tranzistora, da, ako gledas performanse onda je 2003 doslo do kraja.
A sad se udara i u limit u smanjenju cipova.
Znaci ako cemo da gledamo frkvenciju 3Ghz 2003 i 5Ghz 2020,
ako se to prevede i na poboljsanje IPC-a onda je recimo 9900k po user benchmarku samo
5 puta brzi od p4 iz 2003 (racunam single core)... znaci za 17 godina 5 puta,
a sam 9900k je i dalje aktuelan.

 
Odgovor na temu

ademare

Član broj: 151475
Poruke: 8064



+1747 Profil

icon Re: Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P08.06.2020. u 11:35 - pre 46 meseci
Ova tabela bas i nije relevantna !

Jer Moor je davao dva puta izjave , nije pisao nikakve zakone , vec clanak za popularnu nauku . Prvu je dao 1965 . a drugu 1975 .

U prvoj izjavi je rekao da ce se duplirati svake godine u narednih 10 godina !

U drugoj 1975 . da ce do 1980 ici duplo svake godine , a od 1980 do 1985 duplo na svake 2 godine .

Tako da prikazati tabelu sa kontinuitetom i to od 1971 . nema mnogo veze sa ovim sto je on pricao .

Druga stvar je sto je on kao svaki Amerikanac razmisljao u Imperijalnim merama ! Tako da je on izjavio da ce biti 64.000 komponenti , on se nije bavio Mikroprocesorima u svojoj izjavi , jer tada nisu ni postojali , vec IC , na velicini " quarter square inch " !

Koliko je to ?

Sta Amerikanac pod tim podrazumeva ?

Da li 1/4 inca na kvadrat , ili inc na kvadrat /4 ??

Nekako je neozbiljno raspravljati o necemu , a da se ne zna ni sta je predmet toga " zakona " na sta se odnosi , ni o kakvim se velicinama radi ?
 
Odgovor na temu

nkrgovic
Nikola Krgović
Beograd

Član broj: 3534
Poruke: 2807

ICQ: 49345867
Sajt: https://www.twinstarsyste..


+655 Profil

icon Re: Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P08.06.2020. u 11:54 - pre 46 meseci
Mislim da tema koju Bane gadja nije "Gordon Moore i tacno slovo njegovih izjava" (sto je irelevantno, osim kao kuriozitet) vec "Kako ce procesori napredovati dalje" i kako ce se povecavati performanse.

Ja i dalje mislim da je clanak senzacionalisticki a primeri glupi. Naravno da ce se ici na paralelizaciju i na specijalizovane "koprocesore", to imamo vec preko 30 godina. To sto je nekad bio Weitek a danas je nVidia ne menja nista sustinski, neke stvari koje su spore se implmenetiraju u hardveru procesora (SIMD intrukcije kao AVX), neke idu na eksterne akceleratore, neke se resavaju paralelizacijom. Racunari iz sedamdesetih su mainframes i minis, to su danasnji serveri - i oni ce napredovati jos znacajno puno godina, na razne nacine. Kucni racunari mozda malo drugacije, ali i oni napreduju jako puno, ako se pogleda trziste "koprocesora" - graficke kartice su sve naprednije. Realno, glavno mesto gde kucni korisnik radi matricne transformacije i jeste grafika :).

A to da "treba raditi na boljim algoritnima" je, i dalje tvrdim, glupa izjava. To svi znamo. Ako autori hoce da to dokazu, nek rese neki konkretan problem, a ne da pricaju "ajde da radimo na algoritmima".... Jedino ako je ovo (los) spin na temu "kme, kme, dajte pare za univerzitete, samo mi mozemo da vas spasemo"....
Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'
 
Odgovor na temu

ademare

Član broj: 151475
Poruke: 8064



+1747 Profil

icon Re: Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P08.06.2020. u 12:05 - pre 46 meseci
On moze da gadja i moju tetku ako hoce

Sta on gadja , to je objasnio , samim tim sto ne zna ni na sta se odnosi Moorov zakon ! Lepo je napisao da ne vazi od 2003. a posle da vazi ako se misli na broj tranzistora , a ne efikasnosti .

Moorov zakon se nikada nije odnosio na Efikasnost !

Ne odnosi se ni na cenu razvoja koja je sve veca i veca itd .

To sta ljudi kasnije vide u onome sto je on rekao , sta izvode iz toga je sasvim druga prica .

On je bio dovoljno Pametan da svoje izjave ogranici na rok od 10-20 godina ! Kada sam bio klinac jos nisam ni bio posao u skolu cuo sam staru pricu o sahovskoj tabli i zitaricama i tada jos kao Predskolsko dete shvatio da je nemoguce da nesto raste duplo u nedogled ! Tada jos nisam znao da se to naziva Eksponencijalni rast , ali shvatio sam da je duplo !

https://en.wikipedia.org/wiki/Wheat_and_chessboard_problem
 
Odgovor na temu

optix
CH

SuperModerator
Član broj: 7009
Poruke: 1867
149.6.55.*



+101 Profil

icon Re: Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P08.06.2020. u 13:02 - pre 46 meseci
Citat:
Branimir Maksimovic:
optix:"Ne vidim da se 2003 nesto specijalno desilo."

Ako gledas broj tranzistora, da, ako gledas performanse onda je 2003 doslo do kraja.
A sad se udara i u limit u smanjenju cipova.
Znaci ako cemo da gledamo frkvenciju 3Ghz 2003 i 5Ghz 2020,
ako se to prevede i na poboljsanje IPC-a onda je recimo 9900k po user benchmarku samo
5 puta brzi od p4 iz 2003 (racunam single core)... znaci za 17 godina 5 puta,
a sam 9900k je i dalje aktuelan.




Murov "zakon" i jeste o broju tranzistora po jedinici porvsine, ili inverzno njihovoj velicini, a ne o radnoj frekvenciji procesora.

U tom smislu, originalni text i clanak je mogao da se zove drugacije, a ne da se poziva na "Murov zakon" koji ocigledno nije "mrtav", svakako da je svaka optimizacija i pozeljna i potrebna.. ali ce ovako privuci vise citalaca..
Kao sto i Jim u tom jednom intervjuu kaze - ljiudi vole katastroficne izajave tipa.. we will run out of food, water, space... ili kompjuterskih performansi, da ne kazem broja tranzistora



"The number of people predicting the death of Moore's law doubles every two years"
Peter Lee, VP Microsoft research
"99% of your thought process is protecting your self-conceptions,
and 98% of that is wrong."
 
Odgovor na temu

Branimir Maksimovic

Član broj: 64947
Poruke: 5534
109.72.51.23



+1064 Profil

icon Re: Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P08.06.2020. u 13:40 - pre 46 meseci
Citat:
nkrgovic:
Mislim da tema koju Bane gadja nije "Gordon Moore i tacno slovo njegovih izjava" (sto je irelevantno, osim kao kuriozitet) vec "Kako ce procesori napredovati dalje" i kako ce se povecavati performanse.

Ja i dalje mislim da je clanak senzacionalisticki a primeri glupi. Naravno da ce se ici na paralelizaciju i na specijalizovane "koprocesore", to imamo vec preko 30 godina. To sto je nekad bio Weitek a danas je nVidia ne menja nista sustinski, neke stvari koje su spore se implmenetiraju u hardveru procesora (SIMD intrukcije kao AVX), neke idu na eksterne akceleratore, neke se resavaju paralelizacijom. Racunari iz sedamdesetih su mainframes i minis, to su danasnji serveri - i oni ce napredovati jos znacajno puno godina, na razne nacine. Kucni racunari mozda malo drugacije, ali i oni napreduju jako puno, ako se pogleda trziste "koprocesora" - graficke kartice su sve naprednije. Realno, glavno mesto gde kucni korisnik radi matricne transformacije i jeste grafika :).

A to da "treba raditi na boljim algoritnima" je, i dalje tvrdim, glupa izjava. To svi znamo. Ako autori hoce da to dokazu, nek rese neki konkretan problem, a ne da pricaju "ajde da radimo na algoritmima".... Jedino ako je ovo (los) spin na temu "kme, kme, dajte pare za univerzitete, samo mi mozemo da vas spasemo"....


Mislim da je clanak jasan po tome da se ne radi o Murovom zakonu u smislu broja tranzistora, nego, generalno o performansama procesora. Mislim predlog da se poradi na implementaciji i optimizaciji govori u prilog tome.
 
Odgovor na temu

Branimir Maksimovic

Član broj: 64947
Poruke: 5534
109.72.51.23



+1064 Profil

icon Re: Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P08.06.2020. u 13:40 - pre 46 meseci
Citat:
optix:
Citat:
Branimir Maksimovic:
optix:"Ne vidim da se 2003 nesto specijalno desilo."

Ako gledas broj tranzistora, da, ako gledas performanse onda je 2003 doslo do kraja.
A sad se udara i u limit u smanjenju cipova.
Znaci ako cemo da gledamo frkvenciju 3Ghz 2003 i 5Ghz 2020,
ako se to prevede i na poboljsanje IPC-a onda je recimo 9900k po user benchmarku samo
5 puta brzi od p4 iz 2003 (racunam single core)... znaci za 17 godina 5 puta,
a sam 9900k je i dalje aktuelan.




Murov "zakon" i jeste o broju tranzistora po jedinici porvsine, ili inverzno njihovoj velicini, a ne o radnoj frekvenciji procesora.

U tom smislu, originalni text i clanak je mogao da se zove drugacije, a ne da se poziva na "Murov zakon" koji ocigledno nije "mrtav", svakako da je svaka optimizacija i pozeljna i potrebna.. ali ce ovako privuci vise citalaca..
Kao sto i Jim u tom jednom intervjuu kaze - ljiudi vole katastroficne izajave tipa.. we will run out of food, water, space... ili kompjuterskih performansi, da ne kazem broja tranzistora :D



"The number of people predicting the death of Moore's law doubles every two years"
Peter Lee, VP Microsoft research


Gledaj, ovi predvidjaju da je 5nm kraj puta :P
 
Odgovor na temu

Branimir Maksimovic

Član broj: 64947
Poruke: 5534
109.72.51.23



+1064 Profil

icon Re: Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P08.06.2020. u 13:47 - pre 46 meseci
Ja bih jos dodao amandman na ovu pricu, ovo sto se danas govori bice aktuelno za par godina :P
Procesori nisu brzi a softver je sve ambiciozniji, tako da ce pre ili kasnije taj killer feature biti kod
onoga ko zna bolje da optimizuje stvari. Mislim mp3 stream mi ne uzima ni 4% jednog kora, h264 25%
jednog kora, ima to lufta dok ne pocne da bude malo :P
 
Odgovor na temu

Ali Imam

Član broj: 341650
Poruke: 81



+96 Profil

icon Re: Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P08.06.2020. u 14:17 - pre 46 meseci
Šta fali krivoj na slici koju sam priložio?
Približava se nekoj asimptoti oko 10 milijardi.



Prikačeni fajlovi
 
Odgovor na temu

[es] :: Art of Programming :: Dosli smo do kraja Murovog zakona, vreme je da se vratimo efikasnosti i otpimizaciji :P

Strane: 1 2

[ Pregleda: 4731 | Odgovora: 30 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.