Si c'est pour brancher direct à la TV, je dirais HDMI (inutile d'encombrer toutes les entrées de ta TV), après, si tu comptes passer par un ampli externe ou kit d'enceintes, il y a de fortes chances que tu n'aies que l'optique ou le coaxial comme choix...
Dans tous les cas, s'il y a une différence de performance, à moins d'avoir un ancêtre chauve-souris, tu l'entendras pas... le seul critère finalement, c'est quel format passe ou ne passe pas, et là, à priori, tout ce que peut sortir la PS3 sort aussi bien en optique qu'en HDMI...
Pour ma part, je suis en optique sur un kit 5.1 (décodeur + enceintes) Logitech Z5500, et je n'ai rien à redire