Stéréovision : obtenir une image 3D avec 2 webcam

[Hamato]

J'ai un petit souci, oh 3 fois rien
J'ai un projet qui consiste à mapper une texture (damier, rayures, dessin ... ...) sur un modèle (=objet) 3D.

Voilà comment il faut que je procède :
(en vert ce que j'ai fait ou ce que je sais )
en rouge : le souci

- Placer 2 webcams qui seront en chargent de prendre les photos : Distance des objectifs : environ 3-4 cm
- Calibrer les caméras avec une mire et donc récupérer leurs petits paramètres intrinsèques (interne à chaque cam (focale...) et extrinsèques(position de l'une par rapport à l'autre)
- Prendre un objet quelconque en photo (1 photo par cam)
*- Mettre en relief (3D) cette objet en 1 seule et même photo à partir des 2 photos
- Transposer cette objet en 2D : pas encore fait, mais j'ai mes matrices de calculs qui n'attendent que de chauffer
- Traiter l'image pour y appliquer la texture
- Utiliser mes matrices mais à l'envers pour reconstruire l'objet en 3D (en réalité ca sera la texture)




Mais en fait :

- Mettre en relief (3D) cette objet en 1 seule et même photo à partir des 2 photos

j'ai décomposé en 3 parties : je n'ai pas encore réalisé les 2 premières et la 3ème c'est là où je bloque...
- Trouver les points significatifs de chacune des 2 images : algo SIFT, Harris ...
- Vérifier que les points trouvés appartiennent aux 2 images, que ce ne sont pas des points merdiques : vérifier une zone
*- Une fois que j'ai les zones de trouvées. Je ne sais pas trop quoi en faire


Faut-il trouver un vecteur entre les 2 points et créé un point moyenneur ?
Faut-il trouver la matrice qui superpose les points trouvés : ce qui donne en fait une image panoramique.
Faut-il ... autre ? ^^


Les règles du jeu sont :
- Je peux demander à mes profs ... si ce que je pense n'ai pas HS, mais pas la réponse Donc je sais que ce que j'ai fait est bon, reste plus qu'à le coder.
- Je n'ai encore eu aucun cours de 3D, d'où le souci de créer une image 2D avec de la 3D volumique (si je ne dis pas de connerie)
- Interdit au soft, faut que je crée ce petit monde avec mes doigts sous MATLAB : Mais si y'a un soft qui explique comment il fait, je suis preneur



Here the problem
Merci (/me croise les doigts)


Edit : voilà une illustration pour ceux qui ne comprennent pas.

Spoiler

Je dois obtenir avec mes cameras une image comme celle du haut à gauche, sachant que j'ai pris un cube, mais que la manip est la même pour toute sorte ^^

[the_real_slim_jesus]

Alors là je n'y connais rien du tout. mais ca a l'air un jolie bout de projet.
Du coup je post ce ptit n'importe quoi (tu m'en excuseras) pour suivre le projet.

Peut etre en section création 3D ? (mais il n'y a jamais beaucoup de passage reconnaissons le).

Drapal quoi.

[Hamato]

Merci slim_jesus faut juste que je mette au point le bordel , ca me ferait chier maintenant que j'ai quasi tout de fait que je n'arrive pas à terminer

Lors de la calibration de mes caméras, j'ai récupérer la matrice de rotation-translation qui me permet de passer de la caméra2 à la caméra1 (en position).
Comme on le voit la dessus :

on voit ce qui est blanc, + ce qu'on voit en fermant un oeil : je viens de le faire avec ma bouteille de coca sur le bureau
Donc je compte faire ca :
- Remettre la vue2 en postion de la vue 1
- Fusionner les deux ^.^ à partir de leur points communs

[djsteph974]

Salut Hamato , je ne sais pas si ça va t'aider , je suis dans le même cas , sur la 3D mais en mode vidéoprojecteur. J'ai pigé comment la stéréoscopie (comme dans les cinémas) fonctionne et je compte m'y mettre dès que je peux !!!

Je suis souvent sur le site Allinbox , tu doit peut être déjà connaitre ?

Jte met un des liens concernant la stéréoscopie.

Stereobox -- Projection En Relief [INFO] - 3D-Stéréoscopie - Projets en cours - FORUM Allinbox

A+

[Hamato]

Nope pas ce lien
Mais je vais finter. Car il faut recontruire les points par triangulation. Triangulation qui se retrouve grâce aux paramètres des matrices de calibrage de caméra.
Donc je vais selectionner manuellement les points à reconstuire, sur l'image référence.

Donc je vais m'abandonner à la partie : corrélation des deux images pour savoir les points et le faire manuellement.

Pour résumer :
je passe de

- Trouver les points significatifs de chacune des 2 images : algo SIFT, Harris ...
- Vérifier que les points trouvés appartiennent aux 2 images, que ce ne sont pas des points merdiques : vérifier une zone
*- Une fois que j'ai les zones de trouvées. Je ne sais pas trop quoi en faire

à
- Selectionner manuellement les points à reconstuire (évite de trouver les zones communes)
- Reconstruire ses points à partir de l'image référence pour éviter de faire des calculs

C'est de la salowprie mais on fait comme on peut quand on ne sait pas :p

[Hamato]

Y'a bon j'ai obtenu ma reconstruction 3D \o/

C'est tout moche mais y'a bon (enfin j'espère) J'posterai mes résultats, ma méthode et tenterai de faire un .exe pour que vous puissiez tester le petit bordel

[djsteph974]

Salut Hamato !!! Alors ce projet ça avance ?

Je ne sais pas si tu connais ce petit logiciel tout simple que je me suis servi pour mes tests de stéréovision, StéréoMovie Maker

Il est très pratique , je ne saisp as si ça peut t'aider.

Tu peux mettre deux vidéos différentes ou identiques , décalé ces images , décalé le temps de l'image, et même ajouter d'autres effets.

Moi, je m'en servirai certainement pour mon vidéoprojecteur DIY.

A+

[Hamato]

Le truc c'est que je dois créer de mes petites mains le programme ^^
de toute facon maintenant ma soutenance est passée ^.^

mais quand j'aurai le temps j'essaierai de me pencher dessus

[gegaweb]

slt hamato;

chui en stage et mon projet ressemble un petit peu à votre ancien projet.

j'espère que vous pouvez m'aider

j'ai du mal à calibrer mes 2 webcams,

est ce que vous avez une documentation qui peut m'aider à faire ça.

ps: je travaille sur matlab.


merci a+

[Hamato]

No problemo, ca sera avec plaisir

Pour la calibration, y'a une Toolbox qui existe.
Mais je te propose de commencer avec ce soft pour commencer et capter le processus de calibrage.
Camera Calibration Tools
(il est basé sur la toolbox)

Ensuite quand tu auras bien capté tout ^^ tu te lanceras avec l'utilisation de la Toolbox (si tu veux ^^)
Camera Calibration Toolbox for Matlab


Tu connais les différents paramètres de la calibration : intrinsèques et extrinsèques ?


edit : J'upload mon rapport (baclé)
http://www.megaupload.com/?d=QFG8XXPL