Ça vient pas des logiciels mais de ton proc trop faiblard et du wifi.
Essaye de remuxer ton mkv dans un m2ts ou un ts, déjà il n'y aura pas besoin de transcodage ça soulagera le proc (la PS3 lit le m2ts et le ts en natif). Pour ça tu peux utiliser TSmuxerGUI. C'est juste un ré-encapsulage, pas un ré-encodage, donc ça prend 5 min.
SmartLabs - SmartLabs tsMuxeR
Sinon, pour ce genre d'utilisation, rien ne vaut un bon réseau câblé. Avec ça et un ordi correct, tout passe sans problème.
PS3 Media Server FTW