Verovatno je najstabilniji onaj kod koga na zvanicnom sajtu pise "latest stable". :)
Stabilnost je sirok pojam. Za kucnu varijantu koji god da stavis bice OK. Naravno treba ici na apache 2.0 i preko.
Apache 1.3 serija je stablinija od 2.0.x. Provereno :)
PHP najnoviji uvek stavi.
MySQL trenutno 4.0.x koji je poslednji, standardnu verziju (ne one MAX itd).
Mada ako već imaš Windows, treba razmisliti i o microsoftovim rešenjima, dobijaš puno toga. .NET na primer.