pomoc za ucenje pythona

Ajde mi podeli na rečenice sledeći odlomak iz Kraljević Marko po drugi put među Srbima

Evo ga Kraljević Marko podeljen

Panto, ovo je super rešenje. Em što ostavi tačku, nema ni to jedno polje razmaka koje je ranije bilo na početku svake rečenice kad ih isecka.
Sad tekst izgleda savršeno.

Ostala je poslednja faza. Kako kad imam dva fajla iseckana na rečenice: engleski.txt i srpski.txt da učitam u Excel i to engleski.txt u prvu kolonu i srpski.txt u drugu kolonu tabele?

Isto kao što si čitao/pisao sa open('filename', 'rw'), tako isto i iz engleski/srpski i upiši u npr. englesko-spski.csv.

Na primer:

Sledeća stepenica:

Kada radi sa engleskim, sve lepo secka, kad krene srpski da secka, nešto mu ne prija.
Izgleda da windows 10 koji imam enkodira po cp1252.py, iako u skriptu lepo piše encoding=utf-8.

Malo sam gledao, svuda kaže da je utf-8 default za python 3.7 koji ja imam, ali windows ga ne zarezuje izgleda.
Kako da ih usaglasim?

A ovo je poruka koju mi šalje python:

Kakve veze ima Windows???

Lepo ti kaže da ne zna kako da kodira znak 010d. Ovo je malo slovo č u UTF16 i UTF32 enkodingu, ali ne postoji u UTF8. Uzmi lepo neki hex editor ili običan editor i pronađi koji su TAČNO bajtovi na toj poziciji, pa da krenemo dalje.

Ko zna po kom enkodingu je napisan tekst, da li Win1250 ili UTF8 ili UTF16 ili nešto deseto.
To šta piše u skriptu je isto kao i ono što piše na tarabi. Treba da staviš onaj enkoding koji je KORIŠĆEN, a ne onaj koji misliš da je korišćen.

Đoko, ti baš nisi za nastavnika. Nešto si mnogo napet. Opusti se, čoveče.
Nije pitanje života i smrti. Zabavljamo se i učimo.
Vidiš kako Panta ima strpljenja sa nama početnicima.

Elem, kad sam snimao tekst u fajl, uradio sam to sa običnim Notepadom i sačuvao ga sa utf-8 encoding.
tako da imam
engleski.txt - (utf-8)
srpski.txt - (utf-8)

Kada u srpskom skinem kuke i kvake od č,ć,š,đ i ž i pretvorim ih u c,s,d
sve radi kao sat.

Vidi ovde



Kontrole radi, učitao sam fajl i u Notepad++
i on kaže da je utf-8

Imao sam jednog programera (nije bio dugo programer kod mene), koji bi svaki put kada napravi sintaksnu grešku u kodu, prijavljivao da je našao Oracle bag.
Svaki put bih ga pitao - šta misliš da je verovatnije: da si prvi od 10 miliona programera koji rade u Oraclu koji je otkrio bag, ili da si ti napravio grešku?

Ti si odmah pretpostavio, ili da je Windows zabrljao, ili da je Python pogrešio, samo na sebe ne sumnjaš.
Ne znaš ni da protumaćiš tekst greške koji ti je Python javio.

Ovde sam desetinama puta pisao - pogrešno je pitati koji programski jezik je najbolje da se uči. Pravo pitanje je kako naučiti da programiraš.
Uzeo si da praviš nešto komplikovano, a da nemaš nikakvo iskustvo u programiranju.
Umesto toga, napiši 100 jednostavnih programa u Pythonu, napravi 500 grešaka u tom procesu i iz svake greške nešto nauči.
Nemoj na svakoj grešci da staneš i pitaš forum šta dalje.

Ja, da sam na tvom mestu, kako bih razmišlajo:

1. moj program ima problema sa tekstom i to sa slovom koje se nalayi na 35. poziciji, daj da vidim koje je to slovo
2. to slovo je č - očigledno, ja ne znam da radim sa tekstom koji ima malo slovo č, ajde da zamenim na tom mestu slovo č sa cx, pa da vidim da li radi.
3. PROŠLO JE! Ali sada mi javlja grešku na slovu ć.
4. očigledno je da ne znam šta da radim sa našim slovima, daj da zamenim sva naša slova čćšđž ČĆŠĐŽ nekim drugim slovima, pa da ponovo probam program.
5. USPEH!!! Notiraj: prouči razlog greške. Koja slova očekuje moj program? Koja slova se nalaze u tekstu? Da li promenom enkodinga mogu da nateram program da radi? Da li izmenom programa mogu da obradim tekst sa postojećim enkodingom?

Evo ti uputstvo kako da u Notepad++ instaliraš HEX editor
https://superuser.com/question...-the-notepad-hex-editor-plugin

SVAKO ko radi sa tekstom MORA da ima opciju u svom editoru da pogleda kako ZAISTA izgleda tekst. Ako si na Linuxu, možeš da koristiš "od", na Windowsu ti treba dodatak za HEX view.

1. Objasnio sam ti da sam bio siguran da je encding mog fajla utf-8.
S druge strane poruka interpretera je:

Traceback (most recent call last):
File "C:/FAJLOVI/Python_School/CSV/proba2.py", line 5, in <module>
content = infile.read().replace('\n', '')
File "C:\Users\ja_sa\AppData\Local\Programs\Python\Python37-32\lib\encodings\cp1252.py", line 23, in decode
return codecs.charmap_decode(input,self.errors,decoding_table)[0]
UnicodeDecodeError: 'charmap' codec can't decode byte 0x8d in position 36: character maps to <undefined>

Dakle iz ovog boldovanog vidim da python ne koristi utf-8, iako kažu da mu je to default, već cp1252. I to me je bunilo.
Onda pročitam ovo i vidim da u stvari windows ima problem sa utf-8
vidi ovde

2. Upravo sam to uradio što si predložio. Skinuo kvake i program radi. Izgleda da nisi moju poslednju poruku pročitao do kraja.

3. Ovo oko 100 jednostavnih programa. Išao po knjizi i nisam baš 100 ali sigurno 30-40 sam napisao, ali to su sve programi matematičkog tipa. Zabole me za fibonačijev niz ili da simuliram rulet. Meni treba rad sa textom, a to sam u knjizi slabo našao. Zato i pitam ovde.

4. Sve ovo je dobrovoljno, tako da nema potrebe da se nerviraš. Zanemari moja pitanja, ako su ti suviše banalna. Velik je forum, naći ćeš druga koja su na tvom nivou.

5. Da zaključim. Najlakše je popljuvati nekog. Najteže prepoznati svoj ego.

Svako dobro ti želim.

Pretpostavljam da znaš engleski. Bilo bi dobro da pročitaš sledeći članak: http://catb.org/~esr/faqs/smart-questions.html

Evo nekih delova:

Izgleda ni ti nečitaš moje poruke do kraja :)))

Upravo sam stavio screeshot notepada++ koji kaže da je encoding utf-8

Na win 10 sam i imam hex plugin instaliran za Notepad++. Python stane kod prvog našeg slova, a to je č (c48d). Ne zna šta da radi sa njim.

"codec can't decode byte 0x8d in position 36"
Ne razumem doduše zašto kaže 0x8d, a ne c48d, kako ja vidim u hex editoru da je č dva bajta.

[quote]djoka_l:
Pretpostavljam da znaš engleski. Bilo bi dobro da pročitaš sledeći članak: http://catb.org/~esr/faqs/smart-questions.html

Evo nekih delova:



Znam engleski i prvo što uradim je da guglam. Uglavnom pogledam hitove koji upućuju na Stack Overflow.
Kad mi to ne pomaže, pređem na savet broj 6 :))

Ako je problem što pitam, kaži, neću više dosađivati.
Ali ne vidim da je ovde baš neka navala sa pitanjima, pa ste smoreni.
Ili ste sve razjurili ili nema ovakvih početnika kao ja. :)))

Već sam pisao o tome. Krenuo sam sa knjigom i posle sto strana shvatim da se bakćem sa nekim matematičkim problemima koji mi nikada neće trebati. Onda rešim da probam drugi metod. Zadam sebi zadatak, šta bih to voleo da radi taj moj novi program? To me ond amotiviše, jer sam stvarno zainteresovan. I pojavim se ovde, jer u svojoj okolini nemam koga da pitam. Mislim da sam na taj način, naravno zahvaljujući Panto tebi, više naučio iz tih nekoliko postova, nego iz onih 100 strana knjige.

Python zna, ali ti ne znaš.

Prvo, c48d JESTE UTF8 kod za malo slovo č
Drugo, Python ISPRAVNO prepoznaje to slovo kao \u010d (interno konvertuje u UTF16)
Treće, Python ti kaže da ne zna kako da \u010d konvertuje u CP1252.

Očigledno je da pokušavaš da UTF8 tekst PIŠEŠ kao CP1252.

Kada imaš grešku u programu OBAVEZNO postuj taj deo program koji greši.

@a1234567

Da li imaš naveden encoding kada upisuješ u fajl ( open('fajl.txt', 'w', encoding='utf-8') ), na Windowsu moraš da navedeš i prilikom čitanja i pisanja pošto je podrazumevani cp1252. Na Linuxu ili Mac OS Xu nije potrbno zato što je podrazumevani UTF-8, pa je dovoljno samo open('fajl.txt') za čitanje ili open('fajl.txt', 'w') za upisivnje.

Ukoliko ne znaš file encoding, možeš u open funkciji da nevedeš errors='ignore' (ignoriše greške) ili errors='replace' (zameniće č i ć sa ?).

Panto, ovo je kod koji imam do sada:



Dakle, kod otvaranja oba fajla piše utf-8, u tom sam encodingu i sačuvao text, ali windows to ne zarezuje.
Prijavi grešku

Traceback (most recent call last):
File "C:\FAJLOVI\Python_School\CSV\najnoviji.py", line 17, in <module>
srp_red.write(f'{sr}\n')
File "C:\Users\ja_sa\AppData\Local\Programs\Python\Python37-32\lib\encodings\cp1252.py", line 19, in encode
return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode character '\u010d' in position 35: character maps to <undefined>

Na position 35 je prvo naše slovo u tekstu sa kukom, a to je č.

Dakle, kad pokrenem skript, na ekranu izlista ovo:


Naravno, ne odgovara mi da mi naša slova zameni sa ? :((

Ne, piše u cp1252 a čita utf-8. Ni jedan open('w') nema definisan encoding, a na Windowsu je podrazumevano cp1252, tako da kada upisuje u fajl engleski_redovi.txt to prolazi, dok kad upisuje ( srp_red.write(f'{sr}\n'), linija 17 ) u srpski_redovi.txt tu izbacuje UnicodeEncodeError grešku. Na primer:


Takođe ova liija: for en, ser in zip(engleski, srpski), gde su ti engleski i srpski u navedenom kodu?

Nema potrebe ni da toliko puta koristiš with, na primer:

Panto, hvala još jednom na hintovima.
Sad sam ispeglao kod i RADI!!!
Izgleda da sam ipak nešto naučio.

Baš lep osećaj kad bacim pogled na tabelu :))



Jedina sitna začkoljica je da u svakoj ćeliji tabele na kraju teksta ima jedan LF viška. Jel mu to csv.writer ubacuje? Jer kad gledam prethodni fajl srpski_redovi.txt, tu je sve u redu. Dobro, to mogu lako da rešim u tabeli sa nađi/zameni, ali me zanima u čemu je stvar. Koliko sam guglao, kaže da bi newline='' trebalo da to reši, ali eto ne rešava. Ili nešto nisam dobro razumeo :)

Dakle, program Panta_konvertor ver. 1.0 spreman za distribuciju!

Sad ću morati da smišljam kako da ga apgrejdujem. Treba se održati na tržištu :)))

Evo i krajni kod:

Znas kako se to zove? Bloat ;)