Une IA reconstitue ce que voient les participants avec moins de données d’imagerie cérébrale

Un système d’IA développé à l’Institut Weizmann des sciences, en Israël, a reconstitué des images détaillées de ce que regardaient des participants à partir de leurs examens d’imagerie cérébrale. Selon les chercheurs, il restitue mieux les couleurs, la disposition des éléments et le contenu que les méthodes antérieures.

Baptisé Brain-IT, il nécessite aussi beaucoup moins de données enregistrées auprès d’un nouveau participant. L’équipe indique qu’une heure d’examens a suffi pour égaler les résultats obtenus par d’autres méthodes entraînées sur 40 heures d’enregistrements.

Les chercheurs sont partis d’un jeu de données public provenant de huit volontaires qui avaient regardé des milliers d’images dans un appareil d’IRM fonctionnelle, lequel suit l’activité cérébrale grâce aux variations du débit sanguin et de l’oxygénation. Ils ont ensuite entraîné un autre modèle d’IA à prédire l’activité cérébrale qu’une image produirait. Ces données d’imagerie simulées ont fourni des données d’entraînement supplémentaires sans obliger les participants à passer davantage d’heures dans l’appareil.

Les scènes reconstituées comprenaient des matchs de baseball, des oiseaux et des plages. Mais le système commet encore des erreurs : dans un exemple, il a transformé un chien dans une baignoire en une chèvre dans une baignoire.

Pour l’instant, il reste un outil de laboratoire nécessitant un appareil d’IRM et un participant volontaire. La capacité démontrée consiste à reconstituer les images que les participants regardent, et non à lire leurs pensées intimes, leurs souvenirs ou leurs rêves.