Corrélation de 2 images

[louisrr]

Bonjour,

Je suis en train de faire un code python où j'aimerai pouvoir être capable à partir de 2 images (dont l'une est une partie de l'autre, un coin par ex) et pouvoir situer sur l'image de départ d'où vient l'autre morceau.

Est-ce que la méthode de "cross-correlation" convient pour faire cela ? Ou plutôt méthode Sift ?

Merci
-----

[GBo]

Bonjour, l'embarras du choix, par exemple avec la cross-correlation ça se fait en effet :
https://en.wikipedia.org/wiki/Templa...te_differences
Mais il faut savoir si l'objet dans ton morceau à situer présente un facteur d'échelle ou pas par rapport au même objet dans l'image de départ, et autres déformations.

[louisrr]

Bonjour, merci tout d'abord!
Ok il vaut mieux donc que les 2 images aient la même taille ? en nombre de pixels de veux dire ?

[GBo]

Si le détail dans l'imagette (par exemple un visage) a la même taille en pixel que dans la grande image où il faut le situer, c'est sera facile de trouver une méthode et à prototyper, mais ce sera moins universel, ça dépend du cas d'usage pratique donc.

[A voir en vidéo sur Futura]

[louisrr]

Ok très bien. Je voulais aussi savoir le résultat obtenu, le "peak" ou maximum d'intensité sur la figure de cross-correlation correspond à quoi ? Au point de ressemblance maximal ?

[GBo]

Le peak c'est là ou le crop se superpose le mieux dans l'image dont il est tiré.
Sur Matlab il y a un exemple détaillé:
https://nl.mathworks.com/help/images...ormxcorr2.html
La fonction normxcorr2 utilise en fait la formule détaillée sur ce papier en (2):
http://scribblethink.org/Work/nvisionInterface/nip.pdf
Il n'y a plus qu'à transposer tout ça en Python.

[louisrr]

Ok d'accord et le peak se place sur une image de quelle dimension si jamais l'image et l'imagette n'ont pas la même?

Merci pour les liens!

[GBo]

L'imagette (onion) et l'image (peppers) n'ont pas la même dimension dans le cas de l'exemple Matlab puisque l'imagette est un crop (découpe d'un rectangle sans resampling) de l'image globale.
Je te les envoie pour que tu joues avec, ne pas oublier de les transformer en noir et blanc avant tout.
Le but du jeu est de situer l'imagette de l'oignon parmi l'image globale des poivrons
peppers.png
onion.png
Dans le cas ou l'image de l'oignon est grossie, rapetissée, de travers, juste ressemblante, partiellement cachée etc... ce n'est pas la bonne méthode à mon avis, l'article wikipédia au-dessus évoque d'autres méthodes.

[louisrr]

Ok oui car sinon en couleur c'est 3 dimension.
J'avais fait ce code en python et voila ce que j'avais obtenu avec notre dame, la cross-correlation (correlate2d) ne me semble pas bonne, qu'en pensez vous ?

[GBo]

Tu peux partager tes png ?

[louisrr]

Comment je fais ? Vous n'arrivez pas à voir ?

[GBo]

J'aimerais essayer sur Matlab, mais il me faut les fichiers image exacts, celui de l'image de Notre Dame et celle de ton "crop" (en png ou jpg, il faut envoyé ce que tu as utilisé dans ton programme sans rien modifier).
En mode avancé de réponse, c'est le bouton image -> choisir un fichier from computer etc...

Alternativement, tu peux essayer ton programme sur onion.png / peppers.png que j'ai partagés ci-dessus, là au moins je suis sûr que le crop a la bonne dimension.

[louisrr]

Voilà ce que j'ai obtenu!

[louisrr]

c'est vrai qu'en regardant mieux on voit un point blanc très clair au niveau du crop!

[louisrr]

Je voulais aussi savoir si vous connaissiez d'autres méthodes comme celle de cross-correlation qui sont plus efficaces ?

[GBo]

Ce n'est pas bon du tout, on doit avoir un pic, que dis-je un pic ? ...c'est une méthode on ne peut plus fiable pour un simple crop. D'ailleurs dans le cas de Notre Dame on devrait avoir deux pics puisque les 2 tours se ressemblent.

[louisrr]

On voit tout de même un pic même si il est très faible.
Pour notre dame je suis d'accord que cela n'a pas du tout marché et c'est d'ailleurs pour ça que j'avais posé cette question!
Voici le lien de la fonction que j'utilise : https://docs.scipy.org/doc/scipy/ref...rrelate2d.html

[GBo]

Voilà ce que ça donne en Matlab avec Notre Dame, on a bien 2 pics de corrélation (cf. figure2 ci-dessous) puisque le crop de la tour gauche ressemble aussi à la tour de droite - mais un pic est plus haut que l'autre : c'est lui qui donne la bonne position bien sûr).

crop = rgb2gray(imread('Notre-Dame_crop.jpg'));
ND = rgb2gray(imread('Notre-Dame.jpg'));
imshowpair(ND,crop,'montage')

c = normxcorr2(crop,ND);
figure, surf(c), shading flat

[ypeak, xpeak] = find(c==max(c(:)));

yoffSet = ypeak-size(crop,1);
xoffSet = xpeak-size(crop,2);

figure
imshow(ND);
imrect(gca, [xoffSet+1, yoffSet+1, size(crop,2), size(crop,1)]);

Avec les résultats suivants:
figure1.jpg
figure2.jpg
figure3.jpg

La figure3 représente le rectangle localisant automatiquement le crop dans l'image grâce aux opérations précédentes.

[GBo]

C'est juste pour dire que c'est la bonne méthode, inutile d'en chercher une autre, c'est ton programme qui doit avoir un souci

[louisrr]

OK d'accord merci, peut être qu'en prenant comme 2ème imagette comme vous la partie cropée+le noir autour ?
Est-ce difficile de faire apparaître le rectangle? j'essaierai d'implémenter ça car ça en jette

[louisrr]

Avez vous une image de la cross corrélation "pure" comme j'avais en noir et blanc ?

[GBo]

Non le noir c'est juste à l'affichage du "montage", il n'y a pas de noir, voici l'image suivie de l'imagette:
Notre-Dame.jpg
Notre-Dame_crop.jpg

[louisrr]

Vous connaissez bien python ? Savoir si je vous envoie le code car pourtant je ne fais qu'utiliser "correlate2d" comme vous "xcorr2d" sur Matlab

[GBo]

Moi non pas trop, mais il y a d'autres forumeurs qui connaissent sûrement.
Par contre, si c'est un exercice scolaire, un programme ça se met au point en pas en pas en regardant bien l'évolution des variables, tu l'as fait ?

[louisrr]

que pensez vous de ce test? avec vos images! je trouve que c'est déjà mieux (rien changé au code pourtant)

[louisrr]

là on vient bien que c'est celle de gauche qui est au dessus!