Visible + NIR pour la reconnaissance faciale par CNN
Et si on rendait la caméra sensible au proche infrarouge pour mieux reconnaître les visages ? J'ai monté un dataset original VNIR (52 identités, 3 poses), entraîné deux architectures CNN, et comparé leur performance face au RGB classique. La conclusion m'a surprise : les images full-spectrum 3 canaux battent les 4 canaux RGB + I.
Le NIR perdu en silence
Les capteurs CCD/CMOS de toutes les caméras numériques sont sensibles à la fois au visible (400-700 nm) ET au proche infrarouge (700-1200 nm). Mais un filtre interne — l'ICF (Infrared Cut-off Filter) — bloque l'IR pour que les couleurs paraissent naturelles à l'œil.
En retirant ce filtre, on récupère l'information NIR « gratuitement », mêlée aux trois canaux RGB. La peau, les yeux, les os réagissent différemment dans le NIR : la peau y est plus uniforme (moins de défauts de surface), les vaisseaux et structures sub-cutanées y deviennent visibles. Peut-on exploiter ce signal pour reconnaître un visage de façon plus robuste ?
Trois images par pose, une seule caméra
Capture : 52 identités · 3 poses · avec / sans lunettes · 2048 × 1536 JPEG
Le setup, le dataset, les deux CNN
Hack hardware : SONY F717 équipé d'un mode « night shot » où l'ICF est mécaniquement rétractable. Trépied + 4 LEDs IR pour compenser l'absence de NIR ambiant en intérieur. Filtre Kodak Wratten 87 monté en façade pour les captures NIR-pur.
- Dataset original VNIR : 52 identités, 3 poses (face / quart-droit / quart-gauche), avec et sans lunettes pour les porteurs.
- 3 versions par pose : RGB classique (ICF en place), full-spectrum (ICF retiré, stocké comme RGB par la caméra), NIR pur (filtre Wratten 87, canal vert extrait en monochrome).
- Résolution : 2048 × 1536 JPEG, recadrage en haute résolution sur la zone visage.
- Deux architectures CNN comparées : (a) CNN classique 3 canaux entraîné sur RGB, testé aussi sur full-spectrum ; (b) CNN 4 canaux R, G, B, I avec I = image NIR pure.
Ce qui marche, ce qui ne marche pas
Le full-spectrum 3 canaux : surprise
Un CNN entraîné sur RGB classique généralise correctement à des images full-spectrum, sans réentraînement. Le mélange visible + NIR dans les trois canaux ne perturbe pas la reconnaissance — au contraire, le taux monte.
Le RGB + I 4 canaux : déception
Ajouter le NIR comme quatrième canal séparé dégrade la performance par rapport au full-spectrum 3 canaux. L'architecture ne sait pas exploiter ce canal isolé aussi bien qu'un NIR « fondu » dans le RGB.
Le canal bleu, grand bénéficiaire
Quand on injecte du NIR dans les canaux RGB, le canal bleu est celui qui s'améliore le plus. Le signal bleu est habituellement le plus faible (capteurs moins sensibles), donc le ratio signal/bruit y bénéficie le plus de l'apport NIR.
Robustesse à la lumière
Le full-spectrum est plus stable que le RGB face aux variations d'éclairage indoor — le NIR ambiant rattrape ce que le visible perd quand la lumière baisse.
Ce que cette publication apporte
- Premier dataset VNIR public dédié à la reconnaissance faciale. Les bases existantes (type CASIA NIR-VIS 2.0) contiennent RGB et NIR séparés, pas du full-spectrum.
- Démonstration empirique qu'on n'a pas besoin d'une architecture multi-canal sur-mesure pour exploiter le NIR : un CNN classique sur du full-spectrum suffit, et fait même mieux.
- Méthodologie de capture reproductible : caméra grand public + LEDs IR + filtre Wratten. Pas d'équipement de labo coûteux.
- Recommandation pratique pour les applications de reconnaissance faciale en conditions de luminosité variables : retirer l'ICF plutôt que d'ajouter un capteur NIR dédié.
Conférence & contexte
- Publié à IEEE EUVIP 2018 (European Workshop on Visual Information Processing).
- Travail mené pendant mon Master Recherche, MIA Laboratory · Université de La Rochelle.
- Mots-clés : CNN, face recognition, NIR imaging, multispectral, full-spectrum, dataset.