Avec notre série "Expert Talks", nous donnons la parole aux talents de Fittingbox !
Ils partagent des savoirs exclusifs, les challenges qu'ils relèvent au quotidien et discutent de leur domaine d'expertise. De la Réalité Augmentée (AR) à la Réalité Diminuée (DR), en passant par l'apprentissage automatique et la vision par ordinateur, obtenez un aperçu de ce qui se cache derrière les innovations de Fittingbox !
On donne la parole à Xavier Naturel, Machine Learning Researcher chez Fittingbox. Il a fortement contribué à la recherche technologique pour la conception de notre innovation « Frame Removal ». Quel rôle joue le « Machine Learning » dans cette l’expérience digitale ? Xavier décrypte cela.
A propos de Xavier Naturel, Machine Learning Researcher chez Fittingbox
Arrivé chez Fittingbox en 2019 en tant que Machine Learning Researcher, Xavier et son équipe travaillent sur plusieurs méthodes de Machine Learning qui détectent les points de repère sur les visages et sur la segmentation des images. Ces recherches sont à la base du fonctionnement de l’expérience en Réalité Diminuée « Frame Removal » qui, contrairement à la Réalité Augmentée, supprime virtuellement un élément du monde réel.
Le Frame Removal, une vraie expérience immersive !
Lancé en 2021, Frame Removal est une première mondiale. Il s’agit d’une option exclusive de l’Essayage Virtuel Fittingbox, qui facilite la vie des porteurs de lunettes. Dès que l’utilisateur.ice lance une session d’Essayage Virtuel, cette technologie innovante détecte en temps réel les repères correspondant à la paire de lunettes physique portée, afin de l’effacer à l’écran et de la remplacer par la monture numérisée en 3D qu’il.elle souhaite essayer. Le but : y voir nettement lorsque l’on choisit sa prochaine paire de lunettes, en pouvant enfin garder sur son nez ses verres correcteurs lors de l’essayage.
Comment fonctionne le Frame Removal?
Pour assurer le fonctionnement du Frame Removal, Xavier et son équipe exploitent l’Intelligence Artificielle et ses sous-domaines, plus particulièrement le Machine Learning et le Deep Learning. Ce dernier est essentiel pour la détection de chaque pixel appartenant aux lunettes portées par l’utilisateur.ice. Ce processus de détection est plus connu sous le nom de « segmentation sémantique ».
En bref, chaque pixel est détecté par un algorithme de Deep Learning (le DeepLabv3+), puis répertorié selon 3 catégories : arrière-plan, verres et monture. Une fois les pixels labellisés dans une de ces catégories, l’étape d’essayage peut s’effectuer comme si l’utilisateur.ice ne portait pas de lunettes.
En conclusion, en quoi le Machine Learning joue un rôle fondamental dans le fonctionnement du Frame Removal ?
Le Machine Learning, comme expliqué au début de cet article, est un sous-domaine de l’Intelligence Artificielle. Il s’agit d’un algorithme qui apprend à interpréter le contenu d'images, en partant d’un ensemble d’images connues.
L’ensemble de données dans lequel l'algorithme du Frame Removal puise ses information est issu de notre Essayage Virtuel. Il s’agit d’un ensemble de données semi-synthétiques. La technologie d’Essayage Virtuel de Fittingbox est utilisée pour générer des lunettes numérisées sur un visage réel, ainsi que des masques, des points de repère et des informations sur la visibilité, ce que l’on appelle la « ground truth » ou vérité-terrain.
C’est justement en ayant appris à discerner et analyser séparément ces 3 éléments - arrière-plan, verres et monture - que notre Frame Removal est capable de reconnaître la partie correspondante à la monture lorsque l’utilisateur.ice démarre une expérience d'Essayage Virtuel avec de vraies lunettes sur le visage. A ce moment-là, le réseau neuronal profond fournit l'emplacement des lunettes pour qu’elles soient effacées et remplacées par la paire digitalisée en 3D à essayer.
