Tout est dans le détail: Impressionnant nouvelle approche de la super-résolution de traitement mis au point

0
38

Tout est dans le détail Impressionnant nouvelle approche de la super-résolution de traitement mis au point

Jamais pris une photo numérique, puis découvert que vous aviez raté les détails les plus fins qui ont fait la scène de manière impressionnante visuellement? L’application d’un filtre de netteté Photoshop peut faire la photo plus nette, mais ces filtres sont à perte – ils réellement réduire la quantité de menus détails dans l’image. Jusqu’à récemment, il y avait très peu, vous pourriez faire pour améliorer l’image après la prise de vue. Des chercheurs de l’Institut Weizmann des Sciences ont mis au point un processus de super-résolution qui tire plus de détails invisibles à partir des coins et recoins d’une seule photographie numérique. Leur processus peut capter détail vrai, qui ne peut pas être vu dans l’image originale – la “killer app” à côté?

Super-résolution est un ensemble de techniques de traitement d’image qui extraient une image haute résolution à partir de plusieurs images basse résolution d’un même sujet. Une image haute résolution récupère détails de l’image n’est pas visible dans toute seule image à faible résolution, même en principe.

Lorsque vous convertissez une image optique en une image numérique, les erreurs inévitables se produisent à travers la conversion d’une intensité variant de façon continue la lumière en un ensemble de pixels de chaque mesure (environ) le montant moyen de la lumière sur la petite zone de chaque pixel. L’image numérique fait un excellent travail de reproduction d’images dont l’intensité optique varie lentement. Toutefois, si l’image contient des fonctions qui varient rapidement (bords, coins, zig-zags), ces caractéristiques seront modifiées par aliasing – par exemple par l’introduction de franges moirées sur l’image.

Repliement est le pliage d’information d’image à haute résolution en arrière sur l’information à faible résolution avec précision capturée par un réseau de capteurs dans un appareil photo numérique. Il est utile de penser à la meilleure résolution d’une image en termes de fréquence spatiale de tant de lignes par pouce. Pour enregistrer une information d’image numérique contenant d’une fréquence spatiale particulière nécessite pixels moins de la moitié de la longueur d’onde spatiale de cette information. Une centaine de lignes par la résolution pouces exigerait pixels inférieure à 0,005 pouces de large. C’est la condition de Nyquist.

Ok, donc ce qui se passe si les pixels sont plus gros que demandé par de Nyquist? Des pixels plus grands ont deux effets principaux sur l’image numérique. Tout d’abord, seuls des détails plus grands de l’image optique apparaîtra clairement dans l’image numérique. Plus important encore, l’information à haute résolution de l’image optique sera «se replier sur” sur l’image numérique basse résolution. La figure ci-dessous explique comment cela se passe.

n ce chiffre, une caméra numérique qui est de dix pixels de large prend une image numérique d’une image optique avec une longueur d’onde spatiale de 10 pixels, et ensuite une deuxième image numérique d’une image optique avec une longueur d’onde spatiale de 1.111 pixels. Les deux images numériques sont ensuite superposées sur le graphique. La caractéristique remarquable est que ces images très différentes optiques identiques produisent des images numériques. En général, les informations d’image trop belle pour être correctement représentée par la matrice de pixels va se coucher plus – dans ce cas produire des artefacts comme les franges moirées ou d’autres distorsions avec une longueur d’onde spatiale de 10 pixels.

Retour à la super-résolution. Nous avons vu que les informations à haute résolution de l’image optique n’est pas totalement absente dans l’image numérique – elle est incomplète et encodé en distorsion, mais pas complètement disparu. Super-résolution des techniques d’exploiter ces informations codées pour recréer détails vrais ne sont pas visibles dans une image numérique de l’original. L’approche originale de restaurer les données à haute résolution est appelée multi-image de superposition.

Un exemple peut rendre cela plus clair. Dans le schéma ci-dessous, la première ligne présente l’intensité d’une image optique en fonction de la position. L’image est d’une ligne pointillée blanche avec une tache blanche et brillante au milieu de chaque tableau de bord blanc. La fréquence spatiale du signal global (soit la période dans laquelle le motif se répète) est de 11 en unités arbitraires.

Nous avons maintenant prendre une photo de l’image optique avec un appareil photo numérique, en utilisant la matrice de pixels étiquetés “Pixels 1” de prendre l’image numérique “1 du signal”. Les pixels sont 4 unités arbitraires de largeur, et sont trop grandes pour saisir directement les données à haute fréquence de l’image optique (les données à haute fréquence est essentiellement la tache lumineuse et les bords des tirets). Ce qui est capturé est un signal qui a assez clairement une série de bosses correspondant aux tirets blancs, et chaque bosse quatrième montre la preuve de quelque chose ayant une intensité différente. En substance, nous avons capturé un point lumineux sur quatre.

Maintenant, nous allons prendre une autre photo, faire en sorte que la matrice de pixels est décalée par 1/4 de la taille du pixel vers la droite. Cette fois, nous utilisons des pixels 2 “de prendre l’image numérique” Signal 2 “. Nous avons de nouveau voir des tirets blancs comme des bosses, mais cette fois une bosse différente montre la tache. À nouveau, chaque bosse quatrième montre une intensité différente, mais sur des bosses différents. Effectuer cette procédure à deux fois plus pour obtenir l’ensemble des quatre images numériques, chaque mal alignées par un quart de pixel.

Maintenant ajouter les intensités des images numériques pour obtenir le composite image numérique “Somme des signaux”. Chaque tableau de bord blanc a désormais un niveau plus élevé de l’intensité, quelque part en lui-même. L’image numérique finale comprend la composante basse fréquence spatiale qui rend les taches lumineuses périodiques se démarquer des tirets blancs. L’image résultante est loin d’être parfait, mais comporte des informations sur l’image vraie ne figurent pas dans l’une quelconque des images numériques seuls. Multi-image de superposition illustre les principes de la super-résolution, mais est assez limité dans son application. Dans la plupart des cas, elle est limitée à doubler la résolution d’une image numérique unique.

Une autre approche pour générer des images de super-résolution est “Exemple basé sur la super-résolution.” En bref, les techniques par exemple à base d’utiliser une base de données de comparaisons entre les dernières images en basse résolution et haute résolution. Les mappages de faible à haute résolution sont approchées pour une large gamme de plaques d’image d’échantillon. Ces données de cartographie est ensuite utilisée pour construire les plus susceptibles de haute-résolution de l’image qui se traduirait par l’image basse résolution à affûter. Exemple de traitement à base de super-résolution fournit des détails plus fins que sont possibles en utilisant la superposition d’images multi-, mais la précision des générées à haute résolution de détails est moindre que prévu pour les multi-images techniques. En fait, l’exemple des méthodes basées sur les appelle souvent «l’hallucination image” parce que les haute résolution (halluciné) les détails sont cohérents avec l’image à faible résolution numérique, mais en général ne montrent pas les vrais détails de l’image optique étant représentés.

Une nouvelle approche

Des chercheurs de l’Institut Weizmann de Rehovot, en Israël, ont découvert comment créer des images à haute résolution à partir d’une seule image à faible résolution. Ils ont accompli en observant que les images du monde naturel ont tendance à inclure répétitions approchées d’une partie de l’image, à la fois à près de l’échelle même taille et à des échelles différentes tailles. Considérons un instant une photo d’un crocodile. Les écailles sur la peau sont tous très similaires dans la forme, mais varient en taille selon le lieu où sur la peau, ils apparaissent, et sur la façon dont cet endroit est éloigné de la caméra. De même, les dents sont semblables les uns aux autres, sens il ya des taches d’image de nombreux contenant des bords des dents ayant des orientations différentes et de tailles.

Ce type de approximative auto-similarité dans les images naturelles est la base pour la compréhension de nombreux multi-longueur de l’échelle des processus physiques. Appliqué à la netteté d’image, les jeux de correctifs qui sont semblables fournissent de nombreux exemples de la façon dont les bords (par exemple) apparaissent. Les différents bords ne seront pas alignés sur la matrice de pixels de la même manière – et non, il y aura des variations sous-pixels dans leur inscription avec les pixels. En conséquence, résumant les zones similaires au sein d’une seule image à faible résolution numérique régénère une partie de l’information à haute résolution de l’image originale optique d’une manière assez semblable à celle de multi-image de superposition.

Ce seul fait ne suffit pas pour la haute performance, le multi-image de superposition est limitée à doubler la résolution de l’image numérique. Il s’avère que les correctifs image des objets similaires à des échelles différentes tailles au sein de l’image numérique permettent une forme d’exemple à base de super-résolution de traitement. L’idée est que un patch grande image qui ressemble à une version grand d’un patch d’image plus petite peut être utilisée pour élaborer une cartographie de la basse résolution (moins de pixels) patch pour la haute résolution (plus de pixels) patch. Une fois mis au point pour tous les exemples, ces cartes peuvent être utilisées pour générer une image haute résolution de la même manière que celui utilisé dans l’exemple un traitement basé sur de très haute résolution.

Dans la pratique, les scientifiques de Weizmann utiliser un mélange optimisé de ces deux techniques, en utilisant uniquement de l’intérieur d’une seule image numérique. Les deux approches de génération de l’information à haute résolution de restreindre les uns des autres de faire des choix stupides. Globalement, le processus tente de récupérer à chaque pixel de son augmentation de meilleure résolution possible sur la base de comparaison avec des sous-images similaires de tailles similaires et disparates.

Cela semble facile, mais le diable est dans les détails – il ya une grande quantité de mathématiques délicate (jamais entendu parler de jeux près de?) Et la programmation informatique impliquée dans la fabrication de leur nouvelle approche de la super-résolution travaux de traitement d’image correctement. Alors que, en principe, l’Institut Weizmann de super-résolution approche peut être appliquée à des films, la charge de calcul qui risque de retarder cette demande, sauf pour les grands studios et maisons de post-traitement.

Aucun mot sur quand ces techniques va frapper les mises à jour de traitement d’image, mais les exemples ci-dessous et dans la galerie d’exposition d’image qui super-résolution de traitement est ici pour rester.

Source : http://www.gizmag.com