Srodne teme
Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

MySQL Cluster na Amazon EC2

[es] :: MySQL :: MySQL Cluster na Amazon EC2

Strane: 1 2

[ Pregleda: 3887 | Odgovora: 21 ] > FB > Twit

Postavi temu Odgovori

Autor
Pretraga teme: Traži
Markiranje Štampanje RSS

nkrgovic
Nikola Krgović
Beograd

Član broj: 3534
Poruke: 2807

ICQ: 49345867
Sajt: https://www.twinstarsyste..


+655 Profil

icon MySQL Cluster na Amazon EC226.01.2011. u 21:21 - pre 161 meseci
Nemam ideju sta ne radi - pa mozda neko ima... Probam da dignem prost cluster od 3 noda na EC2, cisto za test. Imam tri virtuelne masine. Na jednoj se vrti ndb_mgmd , a na druge dve je upaljen ndbd i mysqld. Na management serveru konfiguracija izgleda ovako, u config.ini:

Code:
 
[NDBD DEFAULT]
NoOfReplicas=2

[MYSQLD DEFAULT]

[NDB_MGMD DEFAULT]

[TCP DEFAULT]


[NDB_MGMD]
HostName=10.x.x.x
NodeID=1
[NDBD]
HostName=10.x.x.x
DataDir=/var/lib/mysql-cluster
NodeID=2
[NDBD]
HostName=10.x.x.x
DataDir=/var/lib/mysql-cluster
NodeID=3
[MYSQLD]
#NodeID=4
#HostName=10.x.x.x
[MYSQLD]
#NodeID=5
#HostName=10.x.x.x

(probao sam i da odkomentarisem ovo u mysqld)

Na nodovima stoji ovo u my.cnf:

Code:

[mysqld]
ndbcluster
ndb-connectstring=10.x.x.x
[mysql_cluster]
ndb-connectstring=10.x.x.x


Sve ukljucim, prijavi da se "angel" podigao i konektovao, medjutim kad udjem u ndb_mgm i kazem show dobijem ovo:

Code:
ndb_mgm> show
Cluster Configuration
---------------------
[ndbd(NDB)]     2 node(s)
id=2    @10.x.x.x  (mysql-5.1.51 ndb-7.1.9, starting, Nodegroup: 0)
id=3    @10.x.x.x  (mysql-5.1.51 ndb-7.1.9, starting, Nodegroup: 0)

[ndb_mgmd(MGM)] 1 node(s)
id=1    @10.x.x.x  (mysql-5.1.51 ndb-7.1.9)

[mysqld(API)]   2 node(s)
id=4 (not connected, accepting connect from any host)
id=5 (not connected, accepting connect from any host)


Kroz firewall su pusteni portovi 1186, 2202 i 3306. Jurim se sa ovime vec dve nedelje, svasta sam probao, jurio i lupao glavu - ali ne ide. Logovi mi uopste ne daju nikakav koristan info.

Ovo je samo test setup, da probamo kakve su performanse u odnosu na jedan mysql na istoj masini sa nekim upitima i tabelama specificnim za primenu koju koristimo - ali mi bas ne ide... pa rek'o da pitam - mozda neko zna nesto, vidi nesto sto propustam ili zna koji log da gledam, ili sta god... Nemam vise ideja. :D

[Ovu poruku je menjao nkrgovic dana 26.01.2011. u 22:33 GMT+1]
Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs


+2377 Profil

icon Re: MySQL Cluster na Amazon EC226.01.2011. u 22:07 - pre 161 meseci
ovako, pre bilo cega - EC2 i Cluster nisu bas neko idealno resenje posto data nodovi MORAJU da budu na lanu... prevaranti iz amazona to ne mogu da ti obezbede (ni da ce da budu u istom datacentru a kamoli da ce da budu na lanu) ... tako da je to prvi razlog sto ti to nece raditi ..

dalje .. config je ok (daleko od optimalnog al mora da radi) ako pretpostavim da umesto 10.x.x.x stoje prave ip adrese (nisi morao da ih krijes posto je 10.x.x.x privatni ip range) ... ako ne stoje prave ip adrese "there's your problem" :)

show iz mgm konzole ti kaze da se startaju ... obzirom da si ostavio default za log on pri prvom startanju mora da napravi nesto gigabajta log fajlova .. to traje neko vreme .. kada zavrsi pisace "started" ... ako ne predje na started nego na "nista" onda uploaduj ovde lepo log fajl sa mgm noda

sql nod startuj tek kada oba data noda budu "started" .. dakle ne dok su u "starting"

sto se tice performansi - bice u 99% slucajeva mnogo sporije nego obican mysql (kada je ovakva konfiguracija na ec2 u pitanju), nedaj boze da imas neki join, ima da traje letnji dan do podne ... inace ec2 ti je najgora moguca platforma za bazu (mnogo skupa i mnogo spora)

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/
 
Odgovor na temu

nkrgovic
Nikola Krgović
Beograd

Član broj: 3534
Poruke: 2807

ICQ: 49345867
Sajt: https://www.twinstarsyste..


+655 Profil

icon Re: MySQL Cluster na Amazon EC227.01.2011. u 10:11 - pre 161 meseci
Citat:
bogdan.kecman: ovako, pre bilo cega - EC2 i Cluster nisu bas neko idealno resenje posto data nodovi MORAJU da budu na lanu... prevaranti iz amazona to ne mogu da ti obezbede (ni da ce da budu u istom datacentru a kamoli da ce da budu na lanu) ... tako da je to prvi razlog sto ti to nece raditi ..

dalje .. config je ok (daleko od optimalnog al mora da radi) ako pretpostavim da umesto 10.x.x.x stoje prave ip adrese (nisi morao da ih krijes posto je 10.x.x.x privatni ip range) ... ako ne stoje prave ip adrese "there's your problem" :)

Dobre su, naravno. Sakrio sam ih jer su polu-javne, tj. ceo availability zone vidi te IP-ove... Znaci, na moj server, na privatni IP, moze da se zakaci bilo koja sprava iz us-east-1c :/

A config je takav da bi bio siguran da nije do njega. Optimizacije sam planirao kad proradi... Ali da prvo proradi. To je ono - idiotski config, samo da radi.

Citat:

show iz mgm konzole ti kaze da se startaju ... obzirom da si ostavio default za log on pri prvom startanju mora da napravi nesto gigabajta log fajlova .. to traje neko vreme .. kada zavrsi pisace "started" ... ako ne predje na started nego na "nista" onda uploaduj ovde lepo log fajl sa mgm noda

sql nod startuj tek kada oba data noda budu "started" .. dakle ne dok su u "starting"

Ostavio sam ih preko noci. Nije bilo started.... Tako da - nije to.

Citat:

sto se tice performansi - bice u 99% slucajeva mnogo sporije nego obican mysql (kada je ovakva konfiguracija na ec2 u pitanju), nedaj boze da imas neki join, ima da traje letnji dan do podne ... inace ec2 ti je najgora moguca platforma za bazu (mnogo skupa i mnogo spora)

Prenecu dalje. Hvala za savet.

Ako imas jos neku ideju zasto ne radi (osim bangava mreza sa groznom latencijom) - javi molim te. :)
Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs


+2377 Profil

icon Re: MySQL Cluster na Amazon EC227.01.2011. u 11:00 - pre 161 meseci
Citat:
nkrgovic:  Ako imas jos neku ideju zasto ne radi (osim bangava mreza sa groznom latencijom) - javi molim te. :)


bez vise podataka - ne... nikad nismo ni probali da ga poteramo na ec2 posto znamo da nece raditi .. a dodatno sam ja alergican na ec2 posto je prevara veka .. a gomila ljudi se primilo ... na primer pogledaj tvoj primer, tebi za bazu treba fixna kolicina rama, bilo kakvi "burst"-ovi ti ne znace nista ... takodje, baza trosi ozbiljan cpu a to ti ec2 naplacuje, takodje baza trosi (posebno cluster) ozbiljan IO, a to je na ec2 osakaceno do zla boga ... baza pravi, posebno cluster, veliki traffic na mrezi, a to ti ec2 naplacuje ... tako da realno ec2 te kosta na kraju dana 4-5 puta vise negko sto bi kostali regularni dedicated serveri ... da ne spominjem da ec2 nikad ne moze da ti da snagu na jednom nodu koju imas sa 50E dedicated serverom tako da ceo ec2 koncept radi posao samo za ove koji sada placaju 5e mesecnoi shared hosting da placaju amazonu 10e ali da imaju bolje performanse, za sve ostalo amazon je prevara ...


prvo samo startas mgm nod

onda se okacis na njega i kazes
ALL STARTUP=15
ALL SHUTDOWN=15
ALL STATISTICS=15
ALL CHECKPOINT=15
ALL NODRESTART=15
ALL CONNECTION=15
ALL ERROR=15
ALL INFO=15

onda startas oba data noda

onda opet u mgm konzolo i povremeno (svakih ~10min jedno cuku vremena ako se ne startuju)

ALL DUMP 13
ALL DUMP 16
ALL DUMP 402
ALL DUMP 2600

i onda posle cuku vremena uzmes log fajlove sa mgm noda i uploadujes ovde (ili ako je confidential, baci mi na mail bogdan.kecman [na] gmail [tacka] com )

a mozes i sam da ih zdraknes .. bitno je da vidis do koje faze stignu, tj u kojoj fazi zadangiraju ..

arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/
 
Odgovor na temu

nkrgovic
Nikola Krgović
Beograd

Član broj: 3534
Poruke: 2807

ICQ: 49345867
Sajt: https://www.twinstarsyste..


+655 Profil

icon Re: MySQL Cluster na Amazon EC227.01.2011. u 11:31 - pre 161 meseci
Citat:
bogdan.kecman:
onda se okacis na njega i kazes
ALL STARTUP=15
ALL SHUTDOWN=15
ALL STATISTICS=15
ALL CHECKPOINT=15
ALL NODRESTART=15
ALL CONNECTION=15
ALL ERROR=15
ALL INFO=15

onda startas oba data noda

Pisem ovde, nek ostane, trebace jos nekom...

Uglavnom, gde kazem ovo? :) U ndb_mgm to ne radi...

Code:

ndb_mgm> ALL INFO=15
Invalid command: INFO=15
Type HELP for help.
Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs


+2377 Profil

icon Re: MySQL Cluster na Amazon EC227.01.2011. u 11:59 - pre 161 meseci
pogresno si me razumeo - samo log fajl na mail, sve ostalo ovde ... (ako neces ovde da zakacis log fajl) ...

a inace, jbg, podrazumevanje je majka svih zaheba

ALL CLUSTERLOG STARTUP=15
ALL CLUSTERLOG SHUTDOWN=15
ALL CLUSTERLOG STATISTICS=15
ALL CLUSTERLOG CHECKPOINT=15
ALL CLUSTERLOG NODERESTART=15
ALL CLUSTERLOG CONNECTION=15
ALL CLUSTERLOG ERROR=15
ALL CLUSTERLOG INFO=15

to kucas u ndb_mgmd ... zaboravio sam CLUSTERLOG :D

to onda izgleda ovako:
Code:


ndb_mgm> show
Cluster Configuration
---------------------
[ndbd(NDB)]    14 node(s)
id=1 (not connected, accepting connect from localhost)
id=2 (not connected, accepting connect from localhost)
id=3 (not connected, accepting connect from localhost)
id=4 (not connected, accepting connect from localhost)
id=5 (not connected, accepting connect from localhost)
id=6 (not connected, accepting connect from localhost)
id=7 (not connected, accepting connect from localhost)
id=8 (not connected, accepting connect from localhost)
id=9 (not connected, accepting connect from localhost)
id=10 (not connected, accepting connect from localhost)
id=11 (not connected, accepting connect from localhost)
id=12 (not connected, accepting connect from localhost)
id=13 (not connected, accepting connect from localhost)
id=14 (not connected, accepting connect from localhost)

[ndb_mgmd(MGM)]    1 node(s)
id=30    @localhost  (mysql-5.1.51 ndb-7.1.9)

[mysqld(API)]    16 node(s)
id=60 (not connected, accepting connect from any host)
id=61 (not connected, accepting connect from any host)
id=62 (not connected, accepting connect from any host)
id=63 (not connected, accepting connect from any host)
id=64 (not connected, accepting connect from any host)
id=65 (not connected, accepting connect from any host)
id=66 (not connected, accepting connect from any host)
id=67 (not connected, accepting connect from any host)
id=68 (not connected, accepting connect from any host)
id=69 (not connected, accepting connect from any host)
id=70 (not connected, accepting connect from any host)
id=71 (not connected, accepting connect from any host)
id=72 (not connected, accepting connect from any host)
id=73 (not connected, accepting connect from any host)
id=74 (not connected, accepting connect from any host)
id=75 (not connected, accepting connect from any host)

ndb_mgm> ALL CLUSTERLOG STARTUP=15
Executing CLUSTERLOG STARTUP=15 on node 1 OK!
Executing CLUSTERLOG STARTUP=15 on node 2 OK!
Executing CLUSTERLOG STARTUP=15 on node 3 OK!
Executing CLUSTERLOG STARTUP=15 on node 4 OK!
Executing CLUSTERLOG STARTUP=15 on node 5 OK!
Executing CLUSTERLOG STARTUP=15 on node 6 OK!
Executing CLUSTERLOG STARTUP=15 on node 7 OK!
Executing CLUSTERLOG STARTUP=15 on node 8 OK!
Executing CLUSTERLOG STARTUP=15 on node 9 OK!
Executing CLUSTERLOG STARTUP=15 on node 10 OK!
Executing CLUSTERLOG STARTUP=15 on node 11 OK!
Executing CLUSTERLOG STARTUP=15 on node 12 OK!
Executing CLUSTERLOG STARTUP=15 on node 13 OK!
Executing CLUSTERLOG STARTUP=15 on node 14 OK!

ndb_mgm> ALL CLUSTERLOG SHUTDOWN=15
Executing CLUSTERLOG SHUTDOWN=15 on node 1 OK!
Executing CLUSTERLOG SHUTDOWN=15 on node 2 OK!
Executing CLUSTERLOG SHUTDOWN=15 on node 3 OK!
Executing CLUSTERLOG SHUTDOWN=15 on node 4 OK!
Executing CLUSTERLOG SHUTDOWN=15 on node 5 OK!
Executing CLUSTERLOG SHUTDOWN=15 on node 6 OK!
Executing CLUSTERLOG SHUTDOWN=15 on node 7 OK!
Executing CLUSTERLOG SHUTDOWN=15 on node 8 OK!
Executing CLUSTERLOG SHUTDOWN=15 on node 9 OK!
Executing CLUSTERLOG SHUTDOWN=15 on node 10 OK!
Executing CLUSTERLOG SHUTDOWN=15 on node 11 OK!
Executing CLUSTERLOG SHUTDOWN=15 on node 12 OK!
Executing CLUSTERLOG SHUTDOWN=15 on node 13 OK!
Executing CLUSTERLOG SHUTDOWN=15 on node 14 OK!

ndb_mgm> ALL CLUSTERLOG STATISTICS=15
Executing CLUSTERLOG STATISTICS=15 on node 1 OK!
Executing CLUSTERLOG STATISTICS=15 on node 2 OK!
Executing CLUSTERLOG STATISTICS=15 on node 3 OK!
Executing CLUSTERLOG STATISTICS=15 on node 4 OK!
Executing CLUSTERLOG STATISTICS=15 on node 5 OK!
Executing CLUSTERLOG STATISTICS=15 on node 6 OK!
Executing CLUSTERLOG STATISTICS=15 on node 7 OK!
Executing CLUSTERLOG STATISTICS=15 on node 8 OK!
Executing CLUSTERLOG STATISTICS=15 on node 9 OK!
Executing CLUSTERLOG STATISTICS=15 on node 10 OK!
Executing CLUSTERLOG STATISTICS=15 on node 11 OK!
Executing CLUSTERLOG STATISTICS=15 on node 12 OK!
Executing CLUSTERLOG STATISTICS=15 on node 13 OK!
Executing CLUSTERLOG STATISTICS=15 on node 14 OK!

ndb_mgm> ALL CLUSTERLOG CHECKPOINT=15
Executing CLUSTERLOG CHECKPOINT=15 on node 1 OK!
Executing CLUSTERLOG CHECKPOINT=15 on node 2 OK!
Executing CLUSTERLOG CHECKPOINT=15 on node 3 OK!
Executing CLUSTERLOG CHECKPOINT=15 on node 4 OK!
Executing CLUSTERLOG CHECKPOINT=15 on node 5 OK!
Executing CLUSTERLOG CHECKPOINT=15 on node 6 OK!
Executing CLUSTERLOG CHECKPOINT=15 on node 7 OK!
Executing CLUSTERLOG CHECKPOINT=15 on node 8 OK!
Executing CLUSTERLOG CHECKPOINT=15 on node 9 OK!
Executing CLUSTERLOG CHECKPOINT=15 on node 10 OK!
Executing CLUSTERLOG CHECKPOINT=15 on node 11 OK!
Executing CLUSTERLOG CHECKPOINT=15 on node 12 OK!
Executing CLUSTERLOG CHECKPOINT=15 on node 13 OK!
Executing CLUSTERLOG CHECKPOINT=15 on node 14 OK!

ndb_mgm> ALL CLUSTERLOG NODERESTART=15
Executing CLUSTERLOG NODERESTART=15 on node 1 OK!
Executing CLUSTERLOG NODERESTART=15 on node 2 OK!
Executing CLUSTERLOG NODERESTART=15 on node 3 OK!
Executing CLUSTERLOG NODERESTART=15 on node 4 OK!
Executing CLUSTERLOG NODERESTART=15 on node 5 OK!
Executing CLUSTERLOG NODERESTART=15 on node 6 OK!
Executing CLUSTERLOG NODERESTART=15 on node 7 OK!
Executing CLUSTERLOG NODERESTART=15 on node 8 OK!
Executing CLUSTERLOG NODERESTART=15 on node 9 OK!
Executing CLUSTERLOG NODERESTART=15 on node 10 OK!
Executing CLUSTERLOG NODERESTART=15 on node 11 OK!
Executing CLUSTERLOG NODERESTART=15 on node 12 OK!
Executing CLUSTERLOG NODERESTART=15 on node 13 OK!
Executing CLUSTERLOG NODERESTART=15 on node 14 OK!

ndb_mgm> ALL CLUSTERLOG CONNECTION=15
Executing CLUSTERLOG CONNECTION=15 on node 1 OK!
Executing CLUSTERLOG CONNECTION=15 on node 2 OK!
Executing CLUSTERLOG CONNECTION=15 on node 3 OK!
Executing CLUSTERLOG CONNECTION=15 on node 4 OK!
Executing CLUSTERLOG CONNECTION=15 on node 5 OK!
Executing CLUSTERLOG CONNECTION=15 on node 6 OK!
Executing CLUSTERLOG CONNECTION=15 on node 7 OK!
Executing CLUSTERLOG CONNECTION=15 on node 8 OK!
Executing CLUSTERLOG CONNECTION=15 on node 9 OK!
Executing CLUSTERLOG CONNECTION=15 on node 10 OK!
Executing CLUSTERLOG CONNECTION=15 on node 11 OK!
Executing CLUSTERLOG CONNECTION=15 on node 12 OK!
Executing CLUSTERLOG CONNECTION=15 on node 13 OK!
Executing CLUSTERLOG CONNECTION=15 on node 14 OK!

ndb_mgm> ALL CLUSTERLOG ERROR=15
Executing CLUSTERLOG ERROR=15 on node 1 OK!
Executing CLUSTERLOG ERROR=15 on node 2 OK!
Executing CLUSTERLOG ERROR=15 on node 3 OK!
Executing CLUSTERLOG ERROR=15 on node 4 OK!
Executing CLUSTERLOG ERROR=15 on node 5 OK!
Executing CLUSTERLOG ERROR=15 on node 6 OK!
Executing CLUSTERLOG ERROR=15 on node 7 OK!
Executing CLUSTERLOG ERROR=15 on node 8 OK!
Executing CLUSTERLOG ERROR=15 on node 9 OK!
Executing CLUSTERLOG ERROR=15 on node 10 OK!
Executing CLUSTERLOG ERROR=15 on node 11 OK!
Executing CLUSTERLOG ERROR=15 on node 12 OK!
Executing CLUSTERLOG ERROR=15 on node 13 OK!
Executing CLUSTERLOG ERROR=15 on node 14 OK!

ndb_mgm> ALL CLUSTERLOG INFO=15
Executing CLUSTERLOG INFO=15 on node 1 OK!
Executing CLUSTERLOG INFO=15 on node 2 OK!
Executing CLUSTERLOG INFO=15 on node 3 OK!
Executing CLUSTERLOG INFO=15 on node 4 OK!
Executing CLUSTERLOG INFO=15 on node 5 OK!
Executing CLUSTERLOG INFO=15 on node 6 OK!
Executing CLUSTERLOG INFO=15 on node 7 OK!
Executing CLUSTERLOG INFO=15 on node 8 OK!
Executing CLUSTERLOG INFO=15 on node 9 OK!
Executing CLUSTERLOG INFO=15 on node 10 OK!
Executing CLUSTERLOG INFO=15 on node 11 OK!
Executing CLUSTERLOG INFO=15 on node 12 OK!
Executing CLUSTERLOG INFO=15 on node 13 OK!
Executing CLUSTERLOG INFO=15 on node 14 OK!

ndb_mgm> 


i onda startas data nodove
arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/
 
Odgovor na temu

boki
Boris Prpic
CTO
CodeZen, Cityexpert
Beograd

SuperModerator
Član broj: 2681
Poruke: 2442
95.180.36.*

Jabber: boki@elitesecurity.org
ICQ: 195245022
Sajt: www.goglasi.com


+34 Profil

icon Re: MySQL Cluster na Amazon EC227.01.2011. u 15:41 - pre 161 meseci
btw. najbolje je da koristis public dns za internu komunikaciju zato sto kad ga resolvujes sa ec2 on se resolvuje u internu adresu.
Goglasi! - Šta god da kupuješ, naći ćeš na Goglasima! Pretraga malih oglasa i eProdavnica, preko 10 milionda proizvoda.

Cityexpert.rs - Prva srpska onlajn agencija za nekretnine

ॐ
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.com
Via: [es] mailing liste

Sajt: mysql.rs


+2377 Profil

icon Re: MySQL Cluster na Amazon EC227.01.2011. u 15:54 - pre 161 meseci
moracu da se ne slozim - najbolje da koristi IP a ne imena
arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/
 
Odgovor na temu

nkrgovic
Nikola Krgović
Beograd

Član broj: 3534
Poruke: 2807

ICQ: 49345867
Sajt: https://www.twinstarsyste..


+655 Profil

icon Re: MySQL Cluster na Amazon EC227.01.2011. u 20:30 - pre 161 meseci
Koristim internet IP-ove, mreza radi, probao sa telnet. Nije do toga.

Kao sto sam rekao ovo je idiotska konfiguracija, ultra-prosta, napravljena samo da proradi. Sve optimizaciju cu raditi kad proradi ovo, to je ideja. Na zalost ne radi, a logovi mi nisu jasni... tj. lici mi da je mreza. Evo sta ima:

Code:
2011-01-27 15:26:08 [MgmtSrvr] INFO     -- Node 2: CM_REGREF from Node 2 to our Node 2. Cause = Election without selecting new candidate
2011-01-27 15:26:08 [MgmtSrvr] INFO     -- Node 2: Initial start, waiting for 3 to connect,  nodes [ all: 2 and 3 connected: 2 no-wait:  ]
2011-01-27 15:26:09 [MgmtSrvr] INFO     -- Node 3: CM_REGREF from Node 3 to our Node 3. Cause = Election without selecting new candidate
2011-01-27 15:26:09 [MgmtSrvr] INFO     -- Node 3: Initial start, waiting for 2 to connect,  nodes [ all: 2 and 3 connected: 3 no-wait:  ]
2011-01-27 15:26:11 [MgmtSrvr] INFO     -- Node 2: CM_REGREF from Node 2 to our Node 2. Cause = Election without selecting new candidate
2011-01-27 15:26:11 [MgmtSrvr] INFO     -- Node 2: Initial start, waiting for 3 to connect,  nodes [ all: 2 and 3 connected: 2 no-wait:  ]


I to je sve :(

Ovo je ndb_1_cluster.log fajl u /var/lib/mysql-cluster. Instalacija je default. Uradio ono sto je Bogdan predlozio, cekao par sati pa jos jednom - i nema nista sem ovoga.

Ideje? :D
Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs


+2377 Profil

icon Re: MySQL Cluster na Amazon EC227.01.2011. u 22:27 - pre 161 meseci
da li si mu povecao one filtere za log?

aj zameni tvoj ndbd_default ui tvoj tcp_default sa:

Code:


[NDBD DEFAULT]
NoOfReplicas=2
DataMemory=32M
IndexMemory=16M
MaxNoOfAttributes=3000
MaxNoOfOrderedIndexes=512
MaxNoOfTables=100
DataDir=/var/lib/mysql-cluster
RedoBuffer=8M
MaxNoOfConcurrentTransactions=1000
MaxNoOfConcurrentOperations=4000
CompressedLCP=1
CompressedBackup=1
NoOfFragmentLogFiles= 4
InitFragmentLogFiles=SPARSE
HeartbeatIntervalDbDb=60000
HeartbeatIntervalDbApi=60000
TimeBetweenWatchDogCheckInitial=60000
LogLevelStartup=15
LogLevelShutdown=15
LogLevelStatistic=15
LogLevelCheckpoint=15
LogLevelNodeRestart=15
LogLevelConnection=15
LogLevelError=15
LogLevelCongestion=15
LogLevelInfo=15
TcpBind_INADDR_ANY=1

[TCP DEFAULT]
SendBufferMemory=4M
ReceiveBufferMemory=4M



povecao sam ti znacajno timeoute kako bi mozda eventualno glupi EC2 pustio to kroz sebe i dodao sam ti u config loglevel-e tako da ne moras da kucas kroz konzolu .. startaj ndb_mgmd sa ovim (obrati paznju samo da mgmd kesira config pa ili obrisi kesh ili --reload ili --initial)

generalno kao sto rekoh, nece to raditi kroz EC2 al ajd vezbe radi ... u ovom logu ti kaze da se nodovi medjusobno ne vide ... mozes jos da povecas ove vrednosti u config-u sa 60000 na 600000 .. mada .. to vec postaje smesno .. imaces pateticno lose performanse .. kao sto rekoh, data nodovi moraju da sede na lan-u .. njima je i 100mbps mreza spora a ti to guras kroz pateticnu ec2 infrastrukturu koja je preopterecena ... (Da ne spominjem kad ti na kraju meseca stigne racun kada ti obracunaju bw posto i kad nista ne radi klaster pravi ogroman saobracaj na mrezi)
arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/
 
Odgovor na temu

nkrgovic
Nikola Krgović
Beograd

Član broj: 3534
Poruke: 2807

ICQ: 49345867
Sajt: https://www.twinstarsyste..


+655 Profil

icon Re: MySQL Cluster na Amazon EC228.01.2011. u 20:01 - pre 161 meseci
Experiment gotov. Posto je procitao ovo sto si napisao moj team leader je odlucio da, ako vec nema nikakve prakticne koristi, mogu to lepo i da batalim.

Kad budemo imali pravi hosting i prave servere, pa oteramo pravi mysql server (fizicki hardver) blizu limita - pa, ja sam malo testirao cluster i na par virtuelnih masina i znam to da podignem, probacemo tad.

Do tada, igram se sa particionisanjem tabela. To mi je jedino sto mogu na EC2 da radim za ubrzanje.

P.S. Ovo pisem, naravno - za sve ostale. Evo, i posle prakticnog experimenta je utvrdjeno - ne pokusavajte uopste mysql-cluster na Amazon EC2. Nije vredno truda. Bez obzira na cenu, performanse ce biti lose.
Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs


+2377 Profil

icon Re: MySQL Cluster na Amazon EC228.01.2011. u 20:34 - pre 161 meseci
sta da ti kazem .. ja zivim od tog klastera .. to je vrlo cudna zverka tako da je za neke stvari najbolje resenje na svetu (sta da ti kazem 90% instalacija mobilnih telefona HLR i SLR drze na mysql clusteru .. samo novije NSN instalacije ne koriste vise mysql cluster (nokia razvija nesto svoje) i prastare instalacije koje nisu upgradeovane 15+ godina mada takvih skoro da nigde nema) ... ali za neke stvari ja mnogo lose resenje .. i u idealno namestenom klasteru jedan prost

SELECT * FROM t1 JOIN t2 ON (t1.a = t2.a) JOIN t3 ON (t2.b=t3.c);

Je od 10 do 70 PUTA sporiji na klasteru nego na obicnom innodb-u ..

mysql cluster je generalno "nosql" baza sa sql interface-om .. tako da je vrlo specifican .. a sto se arhitekture tice, vrlo limitiran vezano za neke stavke .. jbg to mu omogucava da bez problema obezbedi pet devetki .. i da u proseku imamo manje od 0.5sec downtime-a godisnje a za sve to vreme se regularno rade bekapi, upgrade-i i slicno ... dakle nije samo da moze da ponudi pet devetki + planirani downtime .. sa njim prosto nema downtime .. cudoviste se upgradeuje online :D
arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs


+2377 Profil

icon Re: MySQL Cluster na Amazon EC228.01.2011. u 20:39 - pre 161 meseci
[digresija]
bezte s'amazona....
ja mislim da nama nije ostao nijedan klijent na amazonu, svi su na kraju morali da pobegnu ... to je po mom licnom misljenju prevara veka. dobro izracunaj sta placas a sta za to dobijas... racunaj da i7 sa 4 jezgra sa 8G rama - sve DEDICATED TVOJE kosta 50E mesecno + dzaba traffic!!! ... da ne spominjem da za 150E uzmes masinu sa SSD diskovima, 24G rama, 8 jezgara .. samo tvoja :D znas kako na tome radi baza :D ... onda se preracunas koliko te kosta taj amazon .. i uporedi sa onih 50E TVOJE DEDICATED masine ... 100% cpu-a te masine na EC2 bi kostalo min 4 cifre mesecno... da ne spominjemo IO overhead koji dodaje virtualizacija (posto EC2 nije nista drugo osim glorifikovani vmware
[/digresija]
arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/
 
Odgovor na temu

nkrgovic
Nikola Krgović
Beograd

Član broj: 3534
Poruke: 2807

ICQ: 49345867
Sajt: https://www.twinstarsyste..


+655 Profil

icon Re: MySQL Cluster na Amazon EC228.01.2011. u 20:44 - pre 161 meseci
Razlog za amazon je samo mogucnost da se dobije extra povoljan load balanser. OK, los im je balanser, ali radi - a jevtin je. A balanseri su SKUPI do zla boga.

Ja bi vrlo rado da uzmem par F5 sprava i da mi puca prsluk - ali ..... $$$$$$$
Please do not feed the Trolls!

Blasphemy? How can I blaspheme? I'm a god!'
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs


+2377 Profil

icon Re: MySQL Cluster na Amazon EC228.01.2011. u 20:54 - pre 161 meseci
Citat:
nkrgovic:  A balanseri su SKUPI do zla boga.


LVS !!!
arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/
 
Odgovor na temu

boki
Boris Prpic
CTO
CodeZen, Cityexpert
Beograd

SuperModerator
Član broj: 2681
Poruke: 2442
95.180.36.*

Jabber: boki@elitesecurity.org
ICQ: 195245022
Sajt: www.goglasi.com


+34 Profil

icon Re: MySQL Cluster na Amazon EC228.01.2011. u 23:14 - pre 161 meseci
Razlog za amazon je skaliranje.
Kada ne znate dal vam je za nesto potrebno 2 ili 20 servera.
Ili kad vam je na momente potrebno 20 a uglavnom 2.
Goglasi! - Šta god da kupuješ, naći ćeš na Goglasima! Pretraga malih oglasa i eProdavnica, preko 10 milionda proizvoda.

Cityexpert.rs - Prva srpska onlajn agencija za nekretnine

ॐ
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs


+2377 Profil

icon Re: MySQL Cluster na Amazon EC228.01.2011. u 23:35 - pre 161 meseci
boki - da to je teoretski - ali prakticno to NE RADI!

amazon ti daje virtualne servere koji se "skaliraju" unutar jednog servera ... ti uzmes "ceo" taj jedan server za 50E i boli te uvo - uvek imas 100% .. i platis na godinu 600E i imas extra kvalitet ... istom tom amazonu sa tim pikovima za taj server platis oko 3000E za godinu za isti taj "kvalitet" ...

ako ti nedaj boze zatreba da se skaliras u jednoj instanci "preko" tog jednog servera - onda si ga .... posto zahtev za novim serverom prolazi brzo - ali taj novi ce mozda biti u datacentru na karibima i veza do ovog prvog ce biti beskorisna ... jedini nacin koji ti on nudi za skaliranje je da imas sada potpunu kopiju svega na toj drugoj, trecoj, cetvrtoj instanci ... sto u startu znaci da si napravio pogresnu arhitekturu sistema ..

da ne idem u detalje, nije ni mesto ni vreme :D .. sve sto je "dobro" sa amazonom kosta previse para, i ceo EC2 koncept ima smisla ako uzmes u obzir da te jedan ozbiljan dedicated server kosta 1000-3000E mesecno (kao sto su kostali do pre dve godine) ... ali kako ti sada mozes da uzmes taj isti server koji je nekad kostao 3000E mesecno i koji amazon deli na vps-e i prodaje ti parce - za 50-150E mesecno, cela filozofija "ne znam koliko mi treba" nema smisla posto ako ti je skupo da kupis par servera po 50E mesecno - cime se bavis? ubogi programer te kosta danas 400E mesecno, malo bolji uzme hiljadarku ... teta koja dodje jednom nedeljno da usisa i opere stolove uzme vise nego sto kosta dedicated server ... a to "da ali ako me stigne digg i meni zatreba vise" - cela zezancija je bas u tome sto ti amazon tad NECE pomoci posto su kompletno nesposobni da ti daju vise od "jednog servera" ... da amazon tera te vps-ove na nekim mainframe-ovima sa 200 cpu-a, svaki na THz, 10T rama ... pa da mogu da te skaliraju "kad ti zatreba" ... ali ne, oni to teraju na ubogim xeonima i ubogim sparkovima koji su jaki koliko i prosecna zuta masina .. samo imaju malo siru magistralu i bolji storage subsistem .. (a neki cak ni to) ..

kao sto rekoh, ja mislim da nijedan klijent vise nije na amazonu .. a svi koji su bili su plakali koliko ih je "arhitekta" za*ebo sa odlukom da se ide na amazon ...

sto se "cloud" price tice, ono sto danas rackspace nudi kao cloud resenje je pravo resenje koje treba pogledati ... dakle DEDICATED serveri, administracija, load balanseri, redundantna mreza ... i dinamicki rast servera ... dakle ako ti zatreba - za 5min mozes da dobijes jos jedan server .. ili mozes da imas spremljen server u rezervi da uskoci ako zatreba ...sve to upakovano da ne kosta malo ali ni previse .. rackspace nije jedini, samo je najveci pa ga zato spominjem posto onda kao nije reklama :D ... a to kako to radi amazon - na zalost - slepo crevo / pogresna procena buducnosti biznisa .. pa se jos uvek vade na neznanje, ime i marketing ..
arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/
 
Odgovor na temu

boki
Boris Prpic
CTO
CodeZen, Cityexpert
Beograd

SuperModerator
Član broj: 2681
Poruke: 2442
95.180.36.*

Jabber: boki@elitesecurity.org
ICQ: 195245022
Sajt: www.goglasi.com


+34 Profil

icon Re: MySQL Cluster na Amazon EC228.01.2011. u 23:50 - pre 161 meseci
Koliko znam kad dizes nove instance uopste nema prioriteta da ces dobiti na istoj masini.
Ali sam biras u kom datacentru oces instancu. (imas da biras us-west, us-east, negde na istoku i jos negde)

I ja brzinu izmedju servera nisam primetio kao problem...

Doduse ne znam kako se ponasa za db load posto ja radim sa necim drugim (streaming)
Goglasi! - Šta god da kupuješ, naći ćeš na Goglasima! Pretraga malih oglasa i eProdavnica, preko 10 milionda proizvoda.

Cityexpert.rs - Prva srpska onlajn agencija za nekretnine

ॐ
 
Odgovor na temu

bogdan.kecman
Bogdan Kecman
"specialist"
Oracle
srbistan

Član broj: 201406
Poruke: 15887
*.31.24.217.adsl2.beograd.com.

Sajt: mysql.rs


+2377 Profil

icon Re: MySQL Cluster na Amazon EC229.01.2011. u 00:18 - pre 161 meseci
napisah reply i ne znam sta bi sa njim ... kad radim 5 stvari u isto vreme :( ...

elem .. opet - nije ni mesto ni vreme .. no .. "koliko si puta pravio novu instancu i koliko puta ti se desilo da ne moze da se kreira u datacentru koji hoces" - nemogucnost kreiranja u odredjenom datacentru je najcesci problem na koji se zale .. ostalo znaju da ne moze da se promeni ... ono sto ti imas je blizu hostovanja staticnih strana - eventualno zavisi kakav je stream mozda malo sisas cpu .. to je situacija u kojoj se ne nalazi skoro nijedan app service provider posto svi oni imaju velike potrebe za IO-m (posto imaju neku bazu) i imaju potrebe za CPU-om (posto te podatke obradjuju) a i neizostavno im treba RAM (da bi ponesto iskesirali) tako da sve ono gde amazon dere - vecini treba "mnogo" ... e sad, ako imas staticni kontent - da - stavis datu na S3, aplikaciju na EC2 i vozi misko - idealno resenje .. onih par kbps koliko ti IO-a treba da spucas u bazu ko je sta povukao ce ti i amazon omoguciti :) ... samo - sta mislis, da li op ima staticni content :D

sve u svemu, prevazisli smo i topic i forum .. amazon nema nikakve veze sa mysql-om .. postoji posebna optimizacija mysql-a za amazon (no uvek ide preporuka da se izbegava) i to je to ... cluster nece raditi posto zahteva lan, ne voli firewall etc etc .. dodatno bez obzira cak i ako se koriste samo 2 data noda, te svaki data nod ima full sve podatke, uvek ce podaci da se vuku sa oba data noda, dakle pola sa jednog a pola sa drugog posto svaki u tom slucaju od svake tabele ima jedan aktivni i jedan pasivni fragment a data uvek ide samo iz aktivnog fragmenta ... tako da je to zez koji nije svakome poznat ..

da prekinem seriju amazona ... ono sto bih ja savetovao op-u za resenje problema, posto kapiram da je 2 virtualca koji teraju iste podatke i istu aplikaciju - problem je da budu usinhronizovani .. posebno - ako je baza samo na jednom nije bas neko skaliranje :D ... SEMISINHRONA REPLIKACIJA - pa napravis master-master ... ja se bas nesto meracim da napisem kod mene na bljog jedan text o tome .. no zatrpali me ovi nekim treningom koji mora da bude gotov do kraja januara pa po ceo dan slusam neke cudne glasove kako pricaju neke cudne skracenice ...
arhimed
http://www.mysql.rs/ | http://elco.crsndoo.com/
 
Odgovor na temu

boki
Boris Prpic
CTO
CodeZen, Cityexpert
Beograd

SuperModerator
Član broj: 2681
Poruke: 2442
95.180.36.*

Jabber: boki@elitesecurity.org
ICQ: 195245022
Sajt: www.goglasi.com


+34 Profil

icon Re: MySQL Cluster na Amazon EC229.01.2011. u 00:28 - pre 161 meseci
nikad mi nije bio odbijen zahtev za instancom.

I nije mi bas statican content.
Ima vod sa s3-a al ima i live preko origin-edge konfiguracije...

sistem jos nije pusten ali testovi nisu pokazali probleme.. no videcemo :)
Goglasi! - Šta god da kupuješ, naći ćeš na Goglasima! Pretraga malih oglasa i eProdavnica, preko 10 milionda proizvoda.

Cityexpert.rs - Prva srpska onlajn agencija za nekretnine

ॐ
 
Odgovor na temu

[es] :: MySQL :: MySQL Cluster na Amazon EC2

Strane: 1 2

[ Pregleda: 3887 | Odgovora: 21 ] > FB > Twit

Postavi temu Odgovori

Srodne teme
Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.