Trazi po netu 'multiprecision library'. sigurno ce se neki moc kompajlirati u DLL. GNU MP je dobar, ali ne znam da li podrzava buildanje na win32.
Pogledaj
http://libtomcrypt.org/
covjek se hvali portabilnim kodom. imas gotove simetricne/asimetricne/hash algoritme kao i multiprecision library...