To nazubljivanje je "normalno" za Canvas zato što on ne podržava anti-aliasing. Povećavanje DPI ti neće pomoći ako pričamo o iscrtavanju po ekranu, zato što je DPI ekrana direktno proporcionalan rezoluciji koju trenutno koristiš. Jedino što ti može pomoći je da koristiš GDI+. To je napredan sistem za rad sa bitmapiranom i vektorskom grafikom koji koristi hardversku akceleraciju (ukoliko je dostupna), čime se drastično ubrzava iscrtavanje i omogućavaju se određene kompleksne operacije nad onime što se crta (kao što je anti-aliasing svih linija).
Evo nekoliko linkova sa informacijama o GDI+, najpoznatijim Delphi GDI+ implementacijama, kao i par biblioteka koje ne koriste GDI+ ali su jednako dobre:
http://msdn.microsoft.com/en-us/library/ms533797(v=vs.85).aspx
http://msdn.microsoft.com/en-us/library/ms533798(v=vs.85).aspx
http://en.wikipedia.org/wiki/Graphics_Device_Interface
http://www.bilsen.com/gdiplus/index.shtml
http://www.progdigy.com/?page_id=7
http://www.antigrain.com/about/
http://graphics32.org/wiki/
http://angusj.com/delphi/gr32_lines.php
http://www.imagemagick.org/script/index.php
Ja lično nisam radio sa GDI+ niti sa nekom od navedenih biblioteka pa ne mogu da dam više informacija ili primera, ali siguran sam da ovde ima takvih, pa ako treba još informacija, slobodno pitaj dalje.
"There is a theory which states that if ever anybody discovers exactly what the
Universe is for and why it is here, it will instantly disappear and be replaced by
something even more bizarre and inexplicable. There is another theory which states
that this has already happened."
-- Douglas Adams