Des chercheurs américains dévoilent comment extraire l’audio des médias visuels
Il est désormais possible d’entendre l’audio des photos et des vidéos silencieuses. Une chose qui semblait auparavant impossible. Des universitaires de quatre universités américaines se sont associés pour développer une technique appelée Side Eye, capable d’extraire l’audio de photos statiques et de vidéos silencieuses. Tout ceci grâce à l’intelligence artificielle (IA) et à l’apprentissage automatique.
La technique cible la technologie de stabilisation d’image qui est désormais pratiquement standard sur la plupart des smartphones modernes. Pour éviter les photos floues, les appareils photo sont équipés de petits ressorts qui maintiennent l’objectif en suspension dans un liquide, et un électro-aimant et des capteurs poussent ensuite l’objectif dans des directions égales et opposées pour réduire le bougé de l’appareil photo. Side Eye analyse la façon dont les objectifs de l’appareil photo s’ajustent aux mouvements provoqués par les ondes sonores et extrait ces informations de la photo ou de la vidéo enregistrée pour reproduire le son original.
En effet, chaque fois que quelqu’un parle près de l’objectif d’un appareil photo, cela provoque de minuscules vibrations dans les ressorts et déforme légèrement la lumière. L’angle change presque imperceptiblement, mais il est tout à fait possible de les détecter, ont déclaré les chercheurs. La précision de la reconstruction audio de la technique Side Eye varie de 80 % à 99 % en fonction de la quantité et de la complexité du son reconstruit, a déclaré Kevin Fu, professeur de génie électrique et informatique et d’informatique à la Northeastern University.
Les chercheurs affirment que Side Eye ne fonctionne actuellement pas avec la parole provenant de voix humaines et n’a été testé qu’avec le son de haut-parleurs puissants. Mais il n’est bien sûr pas difficile d’imaginer que cela soit possible à l’avenir et du point de vue de la cybersécurité, c’est assez dangereux. “Notre analyse et nos expériences avec dix smartphones démontrent comment des parties malveillantes connaissant la structure matérielle des caméras peuvent extraire des informations acoustiques fines à partir de vidéos enregistrées, obtenant ainsi la reconnaissance des chiffres, du locuteur et du sexe“, ont déclaré les chercheurs.
C’est pourquoi leur article s’intitule « Side Eye : Caractérisation des limites de l’écoute acoustique POV à partir des caméras de smartphones avec volets roulants et objectifs mobiles ».
L’attente générale des utilisateurs de smartphones est qu’aucune information ne puisse être volée par le son lorsque l’accès au microphone du smartphone est désactivé – mais ils accordent facilement l’accès à la caméra aux applications simplement parce qu’ils ne sont pas conscients de la possibilité d’une écoute acoustique. Mais si l’application est malveillante et il y en a beaucoup, des problèmes l’attendent, affirment les chercheurs. Oui, le son est très étouffé, mais l’apprentissage automatique et l’IA peuvent aider à le clarifier et à le transformer en une information utile. Les contre-mesures incluent l’utilisation de caméras de qualité inférieure et l’éloignement des appareils des haut-parleurs. L’ajout de matériaux d’amortissement des vibrations est également conseillé, et les fabricants désireux de sécuriser les futurs appareils photo devraient se concentrer sur l’amélioration de la conception des caméras, indique le journal.
Cependant, il est important de noter que cette technologie pourrait soulever également des questions éthiques et de confidentialité. La possibilité de récupérer l’audio à partir d’images et de vidéos soulève des préoccupations concernant la vie privée et la surveillance. Il est donc essentiel que cette technologie soit utilisée de manière responsable et conforme aux réglementations en matière de protection de la vie privée.
Source: Cybernews.com
