Srodne teme

14.04.2024. Re: Gde je Kejt? (samo pogrešni odgovori)
08.10.2002. Konverzija Win1250 u UTF-8
22.05.2003. phpMyAdmin & utf-8
04.08.2003. UTF-8 --> win-1250 ???
26.09.2003. Latinica i utf-8 u asp.net-u
21.04.2004. UTF-8 encoding problem
22.10.2004. PHP/MySQL prebacivanje na server ISP-a
24.10.2004. phpBB i kodna strana
16.01.2006. Konverzija podataka 1250 u UTF-8
28.09.2005. Access konverzija u MySQL

Navigacija

Brisanje liste

Lista poslednjih: 16, 32, 64, 128 poruka.

Konverzija veelike mysql baze iz windows-1250 u utf-8

[es] :: PHP :: Konverzija veelike mysql baze iz windows-1250 u utf-8

Strane: 1 2

[ Pregleda: 8093 | Odgovora: 33 ] > FB > Twit

Autor

Sauron
Nemanja Pantoš
Administrator informacionih sistema u
Pokrajinskom sekretarijatu za
informacije Izvršnog Veća AP..
Futog

Član broj: 780
Poruke: 417
*.dialup.neobee.net.

Jabber: sauron@elitesecurity.org
Sajt: www.tolkien.rs

+1 Profil

Konverzija veelike mysql baze iz windows-1250 u utf-8

^{10.08.2006. u 20:49 - pre 215 meseci}

Baza na mom sajtu je veličine oko 1GB.
Kodni raspored je isti kao i pre 6 godina, znači windows-1250.
E sad, želja mi je da celokupnu bazu konvertujem u utf-8.
Znam za varijante exportovanja cele baze i konverzije u editoru.
Ali to je "malo" nemoguće sa ovolikom bazom.
Da li postoji neko lakše rešenje?
Forum mi je phpBB, a baza MySQL. Imam root pristup serveru.

10 SIN
20 GOTO HELL

Odgovor na temu

Not now, John!

Član broj: 231
Poruke: 1318
87.250.104.*

+4 Profil

Re: Konverzija veelike mysql baze iz windows-1250 u utf-8

^{10.08.2006. u 21:36 - pre 215 meseci}

Koju verziju MySQL imaš? Trebalo bi da sa novijom MySQL bazom i MySQLi ekstenzijama ne moraš raditi nikakvu konverziju, pošto će to MySQL da odradi automatski prilikom slanja rezultata upita (pod uslovom da su tabele definisane u odgovarajućem kodnom rasporedu).

"I'd take the awe of understanding over the awe of ignorance any day."
- Douglas Adams

Odgovor na temu

Sauron
Nemanja Pantoš
Administrator informacionih sistema u
Pokrajinskom sekretarijatu za
informacije Izvršnog Veća AP..
Futog

Član broj: 780
Poruke: 417
*.dialup.neobee.net.

Jabber: sauron@elitesecurity.org
Sajt: www.tolkien.rs

+1 Profil

Re: Konverzija veelike mysql baze iz windows-1250 u utf-8

^{10.08.2006. u 21:47 - pre 215 meseci}

MySQL - 4.1.19-standard

_{[Ovu poruku je menjao Sauron dana 10.08.2006. u 23:06 GMT+1]}

10 SIN
20 GOTO HELL

Odgovor na temu

Not now, John!

Član broj: 231
Poruke: 1318
87.250.104.*

+4 Profil

Re: Konverzija veelike mysql baze iz windows-1250 u utf-8

^{10.08.2006. u 22:12 - pre 215 meseci}

Pogledaj linkove:
http://dev.mysql.com/doc/refman/4.1/en/charset-connection.html
http://dev.mysql.com/doc/refman/4.1/en/alter-database.html

Uostalom, nisi rekao kakve imaš probleme. Da li si prebacio phpBB na UTF-8, pa poruke nisu dobro prikazane? Trebalo bi phpBB da radi konverziju, valjda.

"I'd take the awe of understanding over the awe of ignorance any day."
- Douglas Adams

Odgovor na temu

Sauron
Nemanja Pantoš
Administrator informacionih sistema u
Pokrajinskom sekretarijatu za
informacije Izvršnog Veća AP..
Futog

Član broj: 780
Poruke: 417
*.dialup.neobee.net.

Jabber: sauron@elitesecurity.org
Sajt: www.tolkien.rs

+1 Profil

Re: Konverzija veelike mysql baze iz windows-1250 u utf-8

^{10.08.2006. u 22:22 - pre 215 meseci}

Za sada nemam nikakve probleme, jer nisam ni počeo konverziju :)
Hoću prvo da se dobro informišem, pre nego što počnem išta da radim.
Neću da se negde zaglavim, pa da mi sajt ne radi :)
Bacam se sada na izučavanje ovih linkova što si mi dao.

10 SIN
20 GOTO HELL

Odgovor na temu

Gojko Vujovic
Amsterdam, NL

Administrator
Član broj: 1
Poruke: 13651

+165 Profil

Re: Konverzija veelike mysql baze iz windows-1250 u utf-8

^{11.08.2006. u 00:24 - pre 215 meseci}

1. dump baze, pa se igraj u lokalu; ne radi na živo ništa
2. ja sam odradio na ES-u ovako: dumpovao sve sa mysqldump, konvertovao u utf8 taj dumpovani sadržaj, promenio skripte da šalju utf8 charset za svaku stranicu i onda importovao nazad sadržaj baze iz konvertovanog dump fajla

To je na mysql 4.0 ili starijima koji nemaju podršku za utf8 na nivou tabele, jednostavno drže dvojbajtne karaktere u bazi nezavisno od charseta koji si izabrao a na tebi je da prikažeš to kako treba u aplikaciji.

Stvar izgleda malčice drugačija sa noviji mysqlovima u smislu da moraš da pročitaš dokumentaciju koja objašnjava proces migracije sa 4.0 na 4.1 pa sa 4.1 na sledeći, pošto je tu bilo nekih krupnih promena.

Odgovor na temu

Sauron
Nemanja Pantoš
Administrator informacionih sistema u
Pokrajinskom sekretarijatu za
informacije Izvršnog Veća AP..
Futog

Član broj: 780
Poruke: 417
*.neobee.net.

Jabber: sauron@elitesecurity.org
Sajt: www.tolkien.rs

+1 Profil

Re: Konverzija veelike mysql baze iz windows-1250 u utf-8

^{11.08.2006. u 12:18 - pre 215 meseci}

Pošto mi je server u americi... Radio bi direkt sve na serveru.
Koji linux program/skriptu mi preporučuješ za konverziju?

I da li si u dumpovanom sadržaju morao menjati i charset?
Kod mene trenutno stoji ovako:

Code:
CREATE TABLE IF NOT EXISTS `phpbb_forums` (
  `forum_id` smallint(5) unsigned NOT NULL default '0',
  `cat_id` mediumint(8) unsigned NOT NULL default '0',
  `forum_name` varchar(150) character set latin1 default NULL,
  `forum_desc` text character set latin1,
...
ENGINE=MyISAM DEFAULT CHARSET=latin1;

Da li da jednostavno zamenim sve latin1 za utf8?

10 SIN
20 GOTO HELL

Odgovor na temu

Not now, John!

Član broj: 231
Poruke: 1318
87.250.104.*

+4 Profil

Re: Konverzija veelike mysql baze iz windows-1250 u utf-8

^{11.08.2006. u 13:10 - pre 215 meseci}

Citat:

Sauron: Da li da jednostavno zamenim sve latin1 za utf8?

To treba da uradiš tek nakon korištenja iconv programa:
iconv -f latin1 -t utf8 baza.sql > nova_baza.sql

"I'd take the awe of understanding over the awe of ignorance any day."
- Douglas Adams

Odgovor na temu

Sauron
Nemanja Pantoš
Administrator informacionih sistema u
Pokrajinskom sekretarijatu za
informacije Izvršnog Veća AP..
Futog

Član broj: 780
Poruke: 417
*.vojvodina.sr.gov.yu.

Jabber: sauron@elitesecurity.org
Sajt: www.tolkien.rs

+1 Profil

Re: Konverzija veelike mysql baze iz windows-1250 u utf-8

^{11.08.2006. u 16:49 - pre 215 meseci}

Hjuston, ve hev a problem :)
Kao probu uradio sam konverziju na manjem forumu.
Išao sam mysql dump. Onda iconv. Editovao sam fajl. Zamenio sam svuda umesto latin1 utf8.
Exportovao u novu bazu (da staru ne sjebem)
Sve je lepo prošlo, samo što umesto č imam è, i umesto ć æ. Ostala naša slova se vide dobro.
Probao sam naknadno da editujem dump na serveru, ali editor u mc-u ne vidi dobro naša slova, kao ni ostali editori.
Šta predlažete?
Mogao bi skinuti dump na windows i editovati tamo, ali za veći forum gde će dump biti od 1gb, to baš ne bi mogao uraditi.

10 SIN
20 GOTO HELL

Odgovor na temu

Not now, John!

Član broj: 231
Poruke: 1318
87.250.104.*

+4 Profil

Re: Konverzija veelike mysql baze iz windows-1250 u utf-8

^{11.08.2006. u 17:30 - pre 215 meseci}

Nema potrebe. Dao sam ti pogrešnu komandu gledajući u SQL upit koji si stavio. Izvini.
Ako je tekst u bazi u windows-1250 kodnom rasporecu onda koristi:

Code:
$ iconv -f WINDOWS-1250 -t UTF8 input.sql > output.sql

Nakon toga izmijeni ono "latin1" u "utf-8" i trebalo bi da bude OK.

"I'd take the awe of understanding over the awe of ignorance any day."
- Douglas Adams

Odgovor na temu

Sauron
Nemanja Pantoš
Administrator informacionih sistema u
Pokrajinskom sekretarijatu za
informacije Izvršnog Veća AP..
Futog

Član broj: 780
Poruke: 417
*.vojvodina.sr.gov.yu.

Jabber: sauron@elitesecurity.org
Sajt: www.tolkien.rs

+1 Profil

Re: Konverzija veelike mysql baze iz windows-1250 u utf-8

^{11.08.2006. u 17:39 - pre 215 meseci}

iconv -f WINDOWS-1250 -t UTF8 sf.sql > sf2.sql
iconv: illegal input sequence at position 51675

10 SIN
20 GOTO HELL

Odgovor na temu

Not now, John!

Član broj: 231
Poruke: 1318
87.250.104.*

+4 Profil

Re: Konverzija veelike mysql baze iz windows-1250 u utf-8

^{11.08.2006. u 17:47 - pre 215 meseci}

Damn it! Izgleda da onda nije windows-1250 u pitanju.
Trebalo bi da je iconv ispisao posljednji red u kom je našao nepravilan znak.
Možeš li ovdje ispisati to? Da nije iso-8859-2 (Latin2) kodni raspored u pitanju?

"I'd take the awe of understanding over the awe of ignorance any day."
- Douglas Adams

Odgovor na temu

Not now, John!

Član broj: 231
Poruke: 1318
87.250.104.*

+4 Profil

Re: Konverzija veelike mysql baze iz windows-1250 u utf-8

^{11.08.2006. u 17:50 - pre 215 meseci}

Jeste, u pitanju je Latin2. Sad sam provjerio to č i ć.

Code:
ambra@eclipse:~$ iconv -f latin1 -t utf-8 proba.txt
èæ
ambra@eclipse:~$ iconv -f latin2 -t utf-8 proba.txt
čć

"I'd take the awe of understanding over the awe of ignorance any day."
- Douglas Adams

Odgovor na temu

Sauron
Nemanja Pantoš
Administrator informacionih sistema u
Pokrajinskom sekretarijatu za
informacije Izvršnog Veća AP..
Futog

Član broj: 780
Poruke: 417
*.vojvodina.sr.gov.yu.

Jabber: sauron@elitesecurity.org
Sajt: www.tolkien.rs

+1 Profil

Re: Konverzija veelike mysql baze iz windows-1250 u utf-8

^{11.08.2006. u 17:54 - pre 215 meseci}

Znači da kucam:
iconv -f latin2 -t UTF8 sf.sql > sf2.sql
?

10 SIN
20 GOTO HELL

Odgovor na temu

Not now, John!

Član broj: 231
Poruke: 1318
87.250.104.*

+4 Profil

Re: Konverzija veelike mysql baze iz windows-1250 u utf-8

^{11.08.2006. u 17:57 - pre 215 meseci}

Da, to bi trebalo da uspije, ako već ispisuje grešku sa windows-1250.

Ako ne uspije, stvarno ne znam šta je u pitanju... :-?

"I'd take the awe of understanding over the awe of ignorance any day."
- Douglas Adams

Odgovor na temu

Sauron
Nemanja Pantoš
Administrator informacionih sistema u
Pokrajinskom sekretarijatu za
informacije Izvršnog Veća AP..
Futog

Član broj: 780
Poruke: 417
*.vojvodina.sr.gov.yu.

Jabber: sauron@elitesecurity.org
Sajt: www.tolkien.rs

+1 Profil

Re: Konverzija veelike mysql baze iz windows-1250 u utf-8

^{11.08.2006. u 18:13 - pre 215 meseci}

Sada je još gore. Sad nemam ni ona slova koja sam imao :|
Da nije možda problem sa mysqldumpom?
Čini mi se da je on direktno .sql datoteku prebacio u utf-8.

10 SIN
20 GOTO HELL

Odgovor na temu

Gojko Vujovic
Amsterdam, NL

Administrator
Član broj: 1
Poruke: 13651

+165 Profil

Re: Konverzija veelike mysql baze iz windows-1250 u utf-8

^{11.08.2006. u 18:15 - pre 215 meseci}

Okači ovde na forum deo fajla koji je problematičan (sa tim slovom Č) pre i posle konverzije, pa da vidimo da li je sve po utf8 kako treba.

mysqldump je ok, samo kad uradiš dump pogledaj fajl (uradi hexdump makar ili koristi neki editor ili downloaduj deo fajla na svoj kompjuter, ne moraš ceo) i proveri o kom je charsetu reč, ako nisi siguran koji si charset dobio.

Odgovor na temu

Sauron
Nemanja Pantoš
Administrator informacionih sistema u
Pokrajinskom sekretarijatu za
informacije Izvršnog Veća AP..
Futog

Član broj: 780
Poruke: 417
*.vojvodina.sr.gov.yu.

Jabber: sauron@elitesecurity.org
Sajt: www.tolkien.rs

+1 Profil

Re: Konverzija veelike mysql baze iz windows-1250 u utf-8

^{11.08.2006. u 18:33 - pre 215 meseci}

Evo prikačio sam arhivu sa tri fajla.
sf_dump.sql - originalni fajl
sf_latin1_to_utf8.sql - fajl posle konverzije iz latin1 u utf8. Ovde je sve ok osim č i ć
sf_latin2_to_utf8.sql - fajl posle konverzije iz latin2 u utf8. Ovde nema ni jednog našeg slova.

10 SIN
20 GOTO HELL

Prikačeni fajlovi

sf.zip

sf.zip - 157.82k

Odgovor na temu

Not now, John!

Član broj: 231
Poruke: 1318
87.250.104.*

+4 Profil

Re: Konverzija veelike mysql baze iz windows-1250 u utf-8

^{11.08.2006. u 18:33 - pre 215 meseci}

Da li 100% znaš u kom charsetu je tekst u bazi?

Probaj:

Code:
$ echo $LANG

Ako je odgovor *.utf8, onda je najvjerovatnije mysql-dump odradio konverziju u utf-8.
Pretpostavljam da ako podesiš LANG varijablu na en_US.iso88591 pomoću

Code:
$ export LANG=en_US.iso88591

da tada mysql-dump neće raditi nikakvu konverziju.

"I'd take the awe of understanding over the awe of ignorance any day."
- Douglas Adams

Odgovor na temu

Sauron
Nemanja Pantoš
Administrator informacionih sistema u
Pokrajinskom sekretarijatu za
informacije Izvršnog Veća AP..
Futog

Član broj: 780
Poruke: 417
*.vojvodina.sr.gov.yu.

Jabber: sauron@elitesecurity.org
Sajt: www.tolkien.rs

+1 Profil

Re: Konverzija veelike mysql baze iz windows-1250 u utf-8

^{11.08.2006. u 18:40 - pre 215 meseci}

Na forumu je namešten kodni raspored Windows-1250.
Sva slova se uredno vide.
Za tabele stoji latin1_swedish_ci.

A za echo $lang sam dobijao odgovor C

Code:

echo $LANG
C

10 SIN
20 GOTO HELL

Odgovor na temu

[es] :: PHP :: Konverzija veelike mysql baze iz windows-1250 u utf-8

Strane: 1 2

[ Pregleda: 8093 | Odgovora: 33 ] > FB > Twit

Srodne teme

14.04.2024. Re: Gde je Kejt? (samo pogrešni odgovori)
08.10.2002. Konverzija Win1250 u UTF-8
22.05.2003. phpMyAdmin & utf-8
04.08.2003. UTF-8 --> win-1250 ???
26.09.2003. Latinica i utf-8 u asp.net-u
21.04.2004. UTF-8 encoding problem
22.10.2004. PHP/MySQL prebacivanje na server ISP-a
24.10.2004. phpBB i kodna strana
16.01.2006. Konverzija podataka 1250 u UTF-8
28.09.2005. Access konverzija u MySQL

Navigacija

Lista poslednjih: 16, 32, 64, 128 poruka.