🖼️+🤖 Comment nous avons créé un générateur d’expositions artistiques en 3D (grâce à l’IA)
Le challenge. Au départ de cette idée folle, il y a la Fondation KADIST et sa collection de 2 000 œuvres d’art contemporain, très bien documentées, mais ne disposant pas de lieu d’exposition. Et si les IA aidaient à faire connaître plus largement cet ensemble artistique original ? Bienvenue dans les backstages de notre générateur d’expositions artistiques (démonstration sur demande).
La botte IA secrète. Un des principes-clés des LLMs est la transformation de texte en vecteur de hautes dimensions (1 536 dans notre cas) : on parle d’“embeddings”. Quel intérêt me direz-vous ? Identifier des textes similaires qui auront des vecteurs pointant dans les mêmes directions, comme le schématise le dessin ci-dessous. C’est cette propriété que nous utilisons pour identifier des œuvres d’art traitant d’un sujet commun. Après un travail d’harmonisation, la documentation des œuvres en notre possession a ainsi été vectorisée : c’est le cœur du réacteur de notre générateur d’expositions.
Dis-moi un thème, je te créerai ton expo.
L’utilisateur·rice choisit librement le thème de l’exposition dont il rêve : par exemple, “la crise de la démocratie en Occident”. Sa requête est alors vectorisée et 12 œuvres pointant sensiblement dans la même direction sont récupérées. À partir de là, nous utilisons une autre IA, la “completion” d’OpenAI, pour créer une description générale de cette exposition sur-mesure 📝 en se basant sur les textes des œuvres, puis encore une autre IA, le “text-to-speech” d’OpenAI, pour transcrire les textes 📃 en audio 🔊.
L’accrochage virtuel des œuvres. Dans un espace en 3D (conçu avec le logiciel Blender et la librairie Three.js), les œuvres sont disposées selon l’ordre proposé par l’IA. L’utilisateur·rice peut alors évoluer dans son exposition 100% personnalisée, passer sa souris sur chacune des œuvres, écouter ou lire les descriptions. Et lorsqu’il termine sa visite virtuelle, il peut même repartir avec un PDF où il gardera une trace des textes générés et des œuvres sélectionnées sur mesure.
Last but no least. Un grand bravo à Benjamin Grillet, développeur de génie avec qui nous avons la chance de collaborer, et un grand merci à la Fondation KADIST qui nous a fait confiance et ouvert sa collection pour en explorer les possibles.
POUR ALLER ENCORE PLUS LOIN
- Une vidéo efficace de 5 min pour mieux comprendre les embeddings
- Un exemple pour utiliser les embeddings en Python
