Il y a confusion
H.264, aussi appelé AVC, est un algorithme normalisé, c'est un standard pondu par le groupe de travail MPEG (Pas vraiment de notion de libre intervient ici).
x264 est une
implémentation (et non pas une "version") de cet algorithme, au même titre que ipv3, neroencode, et j'en passe. Il se trouve que x264 est une implémentation libre et open source de H.264, c'est tout bon.
Le paquet x264 dans edgy est buggué et ne produit pas des fichier mp4 suffisamment "carrés" pour que le décodeur psp (hardware il me semble) puisse le décoder. Compiler libx264 dans sa version svn (en dev.) résoud ce problème. C'est celle que j'utilise d'ailleurs, avec le muxer ffmpeg (team vlc).