Coloriser de vraies photos d'archive : palette globale + scribbles ciblés
Les CNN de colorisation sont entraînés sur des photos couleur converties en N&B. Mais les vraies photos d'archive (silver halide) n'ont pas les mêmes sensibilités spectrales — le réseau échoue sur les drapeaux, les monuments, les objets « connus ». J'améliore le résultat en combinant deux types d'indices : une palette automatisée + des scribbles manuels là où ça compte.
Quand le dataset trahit le réseau
Le décalage des sensibilités spectrales : les datasets d'entraînement (ImageNet, Places…) sont des photos numériques RGB converties en grayscale par une moyenne pondérée des canaux. Les vraies photos N&B argentiques répondent différemment à la lumière : silver halide ≠ luminance Y'CbCr. Les niveaux de gris ne mappent pas aux mêmes couleurs.
Conséquence pratique : pour une vraie photo d'archive, les couleurs prédites peuvent être plausibles mais fausses. Un drapeau tricolore peint en uni. Un monument peint avec la mauvaise pierre. Un uniforme militaire reconnu dans la mauvaise armée.
Le suivi de MCNA 2020 : ma publi précédente proposait une palette globale comme hint. Bonne intuition, mais insuffisante seule pour les cas extrêmes (objets uniques, identifiables, sensibles aux erreurs).
Deux indices, un colorisateur
Palette globale + scribbles ciblés
L'idée : combiner deux types d'indices complémentaires. La palette globale couvre la majorité du cadre. Les scribbles manuels ne servent que sur les objets résiduels où la palette ne suffit pas.
- Palette globale automatisée (hérité de MCNA 2020) : palette saillante calculée par scène. Bien pour la colorisation de films, automatisable, suffisamment précis pour la plupart des scènes.
- Scribbles manuels ciblés : pour les zones où la palette globale ne suffit pas (drapeaux, monuments, objets uniques), l'utilisateur dépose quelques taches de couleur localisées — quelques pixels suffisent.
- Aucune modification de l'architecture : les hints (palette + scribbles) sont injectés en input additionnel au réseau pré-entraîné. Plug-in sur les colorisateurs existants.
- Stratégie d'usage : 80 % de la colorisation est gérée par la palette, les scribbles ne sont nécessaires que sur 15 % de la surface. Le ratio bascule selon la complexité de la scène.
Ce que cette méthode permet
Qualité visiblement améliorée
Sur photos d'archive vs colorisateur seul : ciel, feuillages, persons restent corrects, MAIS aussi drapeaux, monuments, uniformes, qui étaient échoués avant.
Coût d'interaction maîtrisé
La palette gère la majorité du cadre automatiquement ; les scribbles ne sont nécessaires que sur les objets uniques. Quelques minutes de scribbles pour une scène, au lieu de plusieurs heures pour une approche pixel-par-pixel.
Compatible open-source
Méthode testée sur les colorisateurs open-source les plus cités (Zhang/Isola/Efros, Iizuka/Simo-Serra/Ishikawa). Pas de modèle propriétaire requis.
Adapté aux silver halide
Le pipeline traite explicitement le domain shift entre photos numériques converties et photos N&B argentiques — souvent ignoré dans la littérature.
Ce que cette publication apporte
- Identification claire du domain shift entre datasets d'entraînement (RGB → grayscale) et photos d'archive (silver halide). C'est un trou de la littérature classique colorisation : on assume la grayscale comme proxy universelle, ce qui est faux pour l'archive.
- Méthodologie hybride palette + scribbles : meilleur compromis entre automatisation (palette) et qualité ciblée (scribbles). Pas un choix binaire entre les deux.
- Pipeline pratique pour restaurer des photos historiques sans devoir ré-entraîner un colorisateur dédié — applicable par des restaurateurs avec un colorisateur open-source du commerce.
- Aboutissement de la série : EUVIP 2018 (face recognition NIR), EUVIP 2019 (anomaly detection écriture), MCNA 2020 (palette colorisation), IPAS 2020 (palette + scribbles). Un fil rouge : guider les réseaux profonds avec des hints structurés.
Conférence & contexte
- Publié à IEEE IPAS 2020 (International Conference on Image Processing, Applications and Systems).
- Travail mené pendant mon Master Recherche, MIA Laboratory · Université de La Rochelle.
- Mots-clés : CNN, colorization, archival photography, interactive colorization, domain shift.