TRAITEMENT D'IMAGES SUR GPU

Algorithmes rapides pour le filtrage et la segmentation des images bruitées sur GPU.

Gilles Perrot

17 avril 2014

Université de Franche-Comté, Institut FEMTO-ST

Département DISC - équipe AND

Direction : R. Couturier & S. Domas

FILTRAGE

Réduire le bruit.

les bruits dégradent l'image de la scène idéale et peuvent en fausser ou compliquer l'interprétation.
Les capteurs numériques et les conditions d'acquisition sont à l'origine de perturbations (bruits).
Les hautes résolutions sont souvent obtenues à faible flux de photons, dont les variations engendrent du bruit.

SEGMENTATION

Distinguer les zones statistiquement homogènes d'une image bruitée.

on recense plus de 4000 algorithmes de segmentation
La segmentation intervient dans beaucoup d'applications : du tracking à la détection ou à l'extraction de caractéristiques diverses.
Mais aujourd'hui encore, une bonne segmentation est celle qui permet d'extraire ce que l'on attend => l'algorithme dépend du problème.

SEGMENTATION

Deux approches

PLAN DE LA PRÉSENTATION

Introduction
- Les GPUs ou Graphical Processing Units.
- Objectifs.
La segmentation des images
- Travaux de référence.
- Parallélisation GPU d'un algorithme de segmentation de type snake.
Le filtrage des images
- Travaux de référence.
- Optimisation GPU des filtres médian et de convolution.
- Conception d'un algorithme GPU de débruitage par recherche des lignes de niveaux.
Conclusion et perspectives

INTRODUCTION

Les GPUs ou Processeurs graphiques.

Processeurs classiques CPU : exécution séquentielle
- Quelques unités de calcul ( les cœurs).
Processeurs graphiques GPU : exécution massivement parallèle
- Des centaines, voire milliers, d'unités de calcul, regroupées en SMs (Streaming Multiprocessors).

La multiplication des cœurs dans les GPUs se fait au détriment des fonctions de contrôle et de cache.
Seule la mémoire globale est accessible par l'ensemble des fils d'exécution (les threads) et ses performances sont faibles.
AU sein de la RAM il y a différents canaux vers différents types de mémoires.
L'accès efficace aux mémoires est contraignant.
Les échanges de données entre le GPU et son hôte CPU sont pénalisants.
Il est important de concevoir un partage équilibré des ressources au sein de chaque SM, pour permettre un niveau de parallélisme élevé, et donc d'envisager de bonnes performances.
La mise au point n'est pas aisée lorsque des centaines de milliers de threads concourent à l'exécution d'une tâche.
L'accroissement des capacités de calcul a suivi l'augmentation des résolutions d'images.
Les traitements envisagés sur les images sont de plus en plus évolués ( traitements de haut niveau ) et requièrent souvent un temps de calcul accru.
L'architecture parallèle particulière des GPUs a permis d'améliorer considérablement les performances de certaines classes d'algorithme et fait espérer par ailleurs des accélérations importantes.

INTRODUCTION

Ojectif : accélérer

Segmentation

Algorithme par contours actifs, classe des snakes.
Implémentation CPU optimisée existante.
Conception de l'implémentation GPU.

Filtrage

Filtres médians, filtres de convolution
Opérateurs mathématiques,
Conception d'une implémentation optimisée.
Filtre par lignes de niveaux
Conception d'un algorithme dédié GPU.

SEGMENTATION

Travaux de référence

Level-set ( Roberts et al., 2010)

Images d'IRM de 256x256x256 pixels (16 millions),
Temps sur GTX280 : 11 s.

Snake GVF (Smistad et al., 2012)

Images d'IRM de 256x256x256 pixels (16 millions),
Temps sur C2070 : 7 s.

Le domaine médical recèle la quasi totalité des implémentations GPU d'algorithmes de segmentation.
Nombre d'entre elles concernent des traitements effectués en 3D par nécessité, où l'emploi du GPU s'impose assez naturellement.
Les algorithmes level-set sont les plus implémentés sur GPU :
Les algorithmes snakes sont très peu implémentée sur GPU :

SEGMENTATION

Snake polygonal orienté région (principe)

Objectif : déterminer le contour le plus vraisemblable.
Le critère de vraisemblance généralisée est, dans le cas gaussien :$$GL = \frac{1}{2}\left[ n_B.log\left(\sigma_B^2\right) + n_T.log\left(\sigma_T^2\right)\right]$$

Calcul des variances $\sigma^2$ pour chaque contour :

Méthode de Chesnaud et al. (1999) : sommes sur le contour.
Implique le pré-calcul de 3 images cumulées.

Cela permet d'extraire des formes aux contours mal définis, en raison d'un fort niveau de bruit par exemple.

SEGMENTATION

Snake polygonal orienté région (algo CPU)

Le contour initial est rectangulaire ( 4 nœuds )
On déplace successivement les 4 nœuds jusqu'à ce que plus aucun nouveau déplacement ne provoque l'amélioration du critère.

SEGMENTATION

Snake polygonal orienté région (algo CPU)

CONVERGENCE RAPIDE

SEGMENTATION

Parallélisation du Snake polygonal sur GPU

Identification des fonctions coûteuses

SEGMENTATION

Parallélisation du Snake polygonal sur GPU

Calcul du critère GL (1 pixel/thread)

SEGMENTATION

Parallélisation du Snake polygonal sur GPU

Pour un nœud et un pas de déplacement donnés, on évalue en parallèle 8 positions voisines, soit 16 segments distincts.
Pour éviter les oscillations et coller à l'algorithme séquentiel, on distingue les nœuds d'indices pairs et impairs.
On évalue en parallèle l'ensemble des déplacements éventuels de tous les nœuds de même parité.

SEGMENTATION

Parallélisation du Snake polygonal sur GPU

1 thread par pixel.
Concaténation dans un vecteur de tous les pixels composant l'ensemble des contours évalués.
- ex : 2x 256000 éléments à l'étape 1 de l'image 100 MP.
Sommes des contributions des pixels : opérations de réduction.
- opérations mal adaptées à l'architecture GPU,
- en mémoire partagée : accélération par rapport au CPU.

les réduction consistent à sommer, pour chaque segment les contributions partielles par bloc calculées au 1

SEGMENTATION

Parallélisation du Snake polygonal sur GPU

Points positifs :

Conservation des données en mémoire GPU.
Images cumulées (pré-calculs) effectuées en parallèle.
Discrétisation des segments en parallèle (1 thread/pixel).
Respect de l'algorithme original.

Points négatifs :

Trop peu de calculs à effectuer.
Segments de tailles et orientations variables :
motifs d'accès à la mémoire globale irréguliers,
nombreux threads inactifs.

Un seul entier est échangé entre le CPU et le GPU à chaque itération.
image cumulées par une adaptation de la méthode des sommes de préfixes.
Abandon Bresenham Possible car parcours unidirectionnel du contour.
Trop peu de calculs ne permet pas de masquer les latences.
Pas de coalescence possible dans les accès à la mémoire globale car la géométrie des segments varie.
mémoire partagée à cause des réductions.

SEGMENTATION

Parallélisation du Snake polygonal sur GPU

Performances de l'implémentation

SEGMENTATION

Parallélisation du Snake polygonal sur GPU

Conclusion

Première et seule implémentation connue à ce jour.
Performances intéressantes pour les grandes images.
Image 10000x10000 en moins de 0,6 seconde.
Emploi non optimal du GPU : réductions, irrégularités.
Temps de calcul très dépendant du contenu de l'image.
Proposition d'une méthode d'initialisation alternative :
- Recherche du contour rectangle le plus vraisemblable.
- Accélération jusqu'à x15 avec de petites cibles.

Publication

G. Perrot, S. Domas, R. Couturier, and N. Bertaux. Gpu implementation of a region based algorithm for large images segmentation. In Computer and Information Technology (CIT), 2011 IEEE 11th International Conference on, pages 291–298.

LE FILTRAGE DES IMAGES

Filtre médian,
Filtres de convolution,
Filtre par recherche des lignes de niveaux.

LE FILTRAGE DES IMAGES

Filtre médian : principe

La valeur de sortie d'un pixel est la médiane des valeurs de son voisinage.

Bonne réduction du bruit poivre & sel.
Assez bonne préservation des contours.
Usages fréquents avec des petites fenêtres (de 3x3 à 7x7).
Quelques applications avec de grandes fenêtres.
Opération de sélection coûteuse (tri).

LE FILTRAGE DES IMAGES

Filtre médian : exemple


Bruit poivre & sel 25%	Médian 5x5

LE FILTRAGE DES IMAGES

Filtre médian GPU : travaux de référence

Comparaison des implémentations GPU de référence :

PCMF, Sanchez et al. (2013), débit max. 80 MP/s,
ArrayFire, commerciale (2013), débit max. 185 MP/s,
BVM parallélisé par Chen et al. (2009), débit max. 110 MP/s.

PCMF : Parallel (Complementary Cumulative Derivative Function) Median Filter (histogrammes cumulatifs)
CTMF : CPU à temps constant

LE FILTRAGE DES IMAGES

Filtre médian GPU : Travaux de référence

Emploi de la mémoire partagée (exemple médian 5x5)

recouvrement pose problème à cause accès concurrents à la mémoire partagée.

LE FILTRAGE DES IMAGES

Optimisation du filtre médian GPU

On gagne de 13 à 43 % sur les temps de transfert.

LE FILTRAGE DES IMAGES

Optimisation du filtre médian GPU

Débits maximums effectifs, en MP/s, sur C2070.

Rappel : PCMF : 80 MP/s - BVM : 110 MP/s - ArrayFire : 185 MP/s

ça laisse environ 80ms pour faire un tri de 9 valeurs sur une image de 4096x4096

LE FILTRAGE DES IMAGES

Optimisation du filtre médian GPU

Sélection de la médiane

Emploi exclusif des registres pour charger les valeurs utiles
mémoires individuelles au cœur du GPU,
non indexables dans un tableau.
maximum de 63 registres par thread et 32 K par bloc de threads.
Pour les petites tailles : max. 7x7 avec 1 pixel/thread.
Exploitation des recouvrements entre fenêtres voisines.

LE FILTRAGE DES IMAGES

Optimisation du filtre médian GPU

Sélection de la médiane (par oubli)

Avantages :

Évite le tri complet : performances en hausse,
Économie de registres : $\lceil \frac{n}{2}\rceil +1$ au lieu de $n$,
Permet de plus grandes tailles : max 11x11.

LE FILTRAGE DES IMAGES

Optimisation du filtre médian GPU

Exploitation des recouvrements : 2 pixels par thread (médian 5x5).

7+2x5 = 17 étapes de sélection au lieu de 2x12 = 24.
Les plus coûteuses sont communes.
À 4 pixels/thread, zone commune = 10 pixels < 14.

chaque thread utilise plus de registres
mais sur un bloc, en adaptant la taille du bloc, on économise k+1 registres par paire de pixels.

LE FILTRAGE DES IMAGES

Performances du médian GPU proposé (PRMF)

Rappels :

débit crête de la plateforme = 2444 MP/s.
débit maximum des implémentations de référence = 185 MP/s.

LE FILTRAGE DES IMAGES

Performances du filtre médian GPU proposé (PRMF)

Image 512x512

Image 4096x4096

débit décroit linéairement en fonction de n

LE FILTRAGE DES IMAGES

Le filtre médian GPU

Conclusion

Pas d'utilisation de la mémoire partagée.
Accès optimaux : 1 lecture par pixel.
Débit global amélioré de x7 à x10, proche du maximum.
Débit de calcul max. 5,3 GP/s.
Médian jusqu'au 11x11 sur C2070, 21x21 sur K40.
Création d'une application web générant les codes sources.
Utilisé sur images de cristallographie au synchrotron SPring-8.

Publications

Gilles Perrot. Image processing. In Designing Scientific Applications on GPUs, pages 28-70. CRC Press, 2013.
Gilles Perrot, Stéphane Domas, and Raphaël Couturier. Fine-tuned high-speed implementation of a gpu-based median filter. Journal of Signal Processing Systems, pages 1–6, 2013.

LE FILTRAGE DES IMAGES

Les filtres de convolution

Principe

$$I_{out}(x, y) = \left(I_{in} * h\right) = \sum_{(i < H)} \sum_{(j < L)}I_{in}(x-j, y-i)h(j,i)$$

Selon les valeurs du masque h

Réduction de bruit, détection de bords,...
Potentiellement séparable en deux convolutions 1D.

LE FILTRAGE DES IMAGES

Les filtres de convolution GPU

Extension des méthodes appliquées au filtre médian :

Un seul accès mémoire par pixel.
Mémorisation et calculs en registre.
Optimum à 8 pixels/thread.

Implémentations de référence (C2070) :

Nvidia atteint un débit de calcul maximum de 6,00 GP/s.

LE FILTRAGE DES IMAGES

Les filtres de convolution GPU

Résultats

Amélioration sensible des débits de calcul en 2D : 16 à 35 %.
Débit de la convolution 1D horizontale jusqu'à 54% plus élevé.
Débit maximum de 8,54 GP/s.
Application à d'autres familles de signaux 1D (audio,...).

LE FILTRAGE DES IMAGES

Filtre par recherche des lignes de niveaux

Motivations :

Les algorithmes qui débruitent le mieux sont lents (BM3D).
Les images naturelles sont décomposables en un ensemble de lignes de niveaux ( iso-niveau de gris ).
Concevoir un algorithme GPU original et son implémentation.

LE FILTRAGE DES IMAGES

Filtre par recherche des lignes de niveaux

Principe - modèle

Estimation locale, par maximum de vraisemblance.
Réduction de bruit par moyennage le long de la ligne estimée.
Modèle de ligne de niveaux retenu : isoline
= ligne brisée composée de segments.
Segments choisis parmi 32 motifs pré-calculés.
Les 8 premiers motifs pour des segments de 6 pixels :

LE FILTRAGE DES IMAGES

Filtre par recherche des lignes de niveaux

Étape 1 (1 pixel/thread)

En chaque pixel, recherche du motif maximisant la log-vraisemblance ( exemple $n=6$)
$$-\frac{n}{2}log\left(2\pi\right) - \frac{n}{2}log\left(\sigma^2\right) - \frac{n}{2}$$
Mémorisation des paramètres du motif sélectionné dans deux matrices $I_{\Theta}$ (indice) et $I_{\Sigma}$ (moyenne, variance).

LE FILTRAGE DES IMAGES

Filtre par recherche des lignes de niveaux

Étape 2 (1 pixel/thread)

Isoline validée de $n_{prec}$ pixels.
Segment candidat de $n_s$ pixels.
Allongement de l'isoline sous condition GLRT ?
$$GLRT=T-\scriptstyle (n_{prec}+n_s)\left[log\left(\widehat{\sigma_{prec+s}}^2\right) - log\left(\widehat{\sigma_{prec}}^2\right) - log\left(\widehat{\sigma_{s}}^2\right) \right]$$

LE FILTRAGE DES IMAGES

Filtre par recherche des lignes de niveaux

Étape 3 (optionnelle)

Compensation de la non robustesse de sélection des motifs dans les zones homogènes.
Conception d'un détecteur de zones homogènes.
Identification des zones homogènes avec ce détecteur.
Application d'un filtre moyenneur dans les zones identifiées comme homogènes (convolution).

Sous-ensembles de pixels n'ayant pas d'intersection --> MV
Utilisation des motifs des segments pour gain de temps.

LE FILTRAGE DES IMAGES

Filtre par recherche des lignes de niveaux

Résultats

Ensemble d'images de S. Lansel (DenoiseLab, Université Stanford), filtre proposé (PI-PD)
Amélioration moyenne du rapport Signal sur bruit: +7,1 dB,
Indice de similarité structurelle : +30%,
Temps de calcul (C2070, avec détecteur) : 7 ms.
Algorithme de référence BM3D
Amélioration moyenne du rapport Signal sur bruit: +9,5 dB,
Indice de similarité structurelle : +36%,
Temps de calcul : 4300 ms.

2,4 dB d'écart, soit réduction de 43% de la puissance de bruit

LE FILTRAGE DES IMAGES

Filtre par recherche des lignes de niveaux


Bruit gaussien $\sigma=25$		Moyennage 5x5

PI-PD		BM3D

LE FILTRAGE DES IMAGES

Filtre par recherche des lignes de niveaux

Synthèse - conclusion

Rapport qualité/temps élevé.
Traitement d'images HD à 20 fps.
Artefacts en marche d'escalier.
Parallélisation de la méthode de Buades et al. (2006) :
gain +1 dB en +0,2 ms pour 512x512.
Algorithme dédié GPU, sans implémentation séquentielle de référence.

Publication

Gilles Perrot, Stéphane Domas, Raphaël Couturier, and Nicolas Bertaux. Fast gpu-based denoising filter using isoline levels. Journal of Real-Time Image Processing, pages 1–12, 2013.

CONCLUSION GÉNÉRALE

Trois types de conception mis en œuvre :
- Parallélisation GPU d'une implémentation CPU (snake).
- Implémentations optimisées pour GPU d'opérateurs mathématiques (médian, convolution).
- Algorithme dédié GPU et son implémentation (isolines).
Le portage efficace d'algorithme sur GPU s'avère très complexe.
Certains algorithmes ne se prêtent pas à la parallélisation GPU.
L'emploi de la mémoire partagée n'apporte pas les meilleures performances en cas de recouvrements.
Filtrage à des débits inégalés, proches des performances crête.
Filtres utilisables par tout programmeur grâce au générateur de code.

PERSPECTIVES

Extension des filtres aux images couleurs et autres types de bruits (multiplicatif).
Extension aux pseudo-médians de grandes tailles (microscopie).
Beaucoup de traitements et domaines peuvent bénéficier des techniques proposées (audio, imagerie 3D, BM3D).
Les évolutions de l'architecture laissent entrevoir de nouvelles possibilités (parallélisme dynamique, kernels concurrents).

certaines ardeurs ont été refroidies

ANNEXE 1

Parallélisation du Snake polygonal sur GPU

Structure des données (nœuds pairs)

règle 1 thread par pixel

Space	Forward
Left, Down, Page Down	Next slide
Right, Up, Page Up	Previous slide
P	Open presenter console
H	Toggle this help