čisto da kažem da sam našao privremeno rešenje pre nego što leka da the-ultimate-rich-text-regexp :)
$tekst = preg_replace("#\n*\[\*\](.*?)\[/\*\]#si", "<li>\\1</li>", $tekst);
pa tek onda:
$tekst = nl2br($tekst);
znači, ispred [*] briše sve new line karaktere pre konverzije... jedino što trenutno od korisnika zahtevam da napravi i [/*] mada bi mogao da stavim
$tekst = preg_replace("#\n*\[\*\](.*?)\n#si", "<li>\\1</li>", $tekst);
ali onda nije lepo svaka opcija u jednom redu...