Surprise Machines : Revealing Harvard Art Museums’ image collection.

- Dario Rodighiero.

Dario Rodighiero est maître de conférences en Sciences et Technologies à l’Université de Groningen.
Dario Rodighiero is an Assistant Professor of Sciences and Technology Studies at the University of Groningen.

[Version française en dessous de la version anglaise]

Surprise Machines is a project of experimental museology aiming at visualizing Harvard Art Museums’ image collection, opening up unexpected vistas on 200,000 inaccessible objects. Part of the exhibition Curatorial A(i)gents organized by metaLAB, the project explores the limits of artificial intelligence to display a large set of images and create surprise among visitors. To achieve such a feeling of surprise, a choreographic interface was designed to connect the audience’s movement with several unique views of the collection.

Surprise Machines est un projet de muséologie expérimentale visant à visualiser la collection d'images du Musée D'Art d'Harvard, ouvrant des perspectives inattendues sur 200 000 objets inaccessibles en réel au public. Dans le cadre de l'exposition Curatorial A(i)gents organisée par le metaLAB, le projet explore les limites de l'intelligence artificielle pour afficher un grand nombre d'images et créer la surprise chez les visiteurs. Pour obtenir un tel sentiment de surprise, une interface chorégraphique a été conçue pour connecter le mouvement du public avec plusieurs vues uniques de la collection.

Metalab joined in 2019.

> Are machines capable of replacing the experts in a museum ? 

Metalab is a collective lab. Surprise Machines is a project that comes from this collaboration.

> How can we apply this technology related to Artificial Intelligence to the collection of a museum ? What can we do ? 

Visual arrangements of elements. The metric is up to you.

This is one of the tools we can use with the collection of imagenet (the largest collection of images targeted by people, used to train this system because AI is the result of an operation performed by humans). This is a way for libraries and museums to provide external documentation. 

The Harvard Art Museum is one of the richest with an accessible collection.

> Idea of surprise : Ada Lovelace and Alan Turing, who are the creators of artificial intelligence.

Turing was always surprised by machines. If a machine is intelligent, then you are too : because without us, the machine can’t exist, or won’t be created.

That’s why the project is called « Surprise Machines ». They wanted to generate a sense of surprise amongst the visitors.

The idea is to dispose of all these images (like a nebula) in which the sense of these images is given by the simulacrum of these images. The computer is able to classify the images in a meaningful way. For example : all the portraits done by hand are on one side ; the Japanese artwork on another side ; the blue prints are also in another area… You can select a specific area, zoom on it and then you can see what the AI has put together, and it will more likely make sense. The idea of the AI is that you have classes for the images that are more helpful to find something.

There are patterns, like the mountains or a specific color. 

It is a different way to access and show the collection of the museum.

This is a digital place on a laptop, but there is also a physical space. This is just a part of the developpement. 

Metalab a rejoint le projet en 2019.

> Les machines sont-elles capables de remplacer les experts d'un musée ?

Metalab est un laboratoire collectif. Surprise Machines est un projet issu de cette collaboration.

> Comment appliquer cette technologie liée à l'Intelligence Artificielle à la collection d'un musée ? Que pouvons-nous faire ?

Dispositions visuelles des éléments... La métrique dépend de vous.

C'est l'un des outils que nous pouvons utiliser avec la collection d'imagenet (la plus grande collection d'images ciblées par des personnes, utilisée pour former ce système car l'IA est le résultat d'une opération effectuée par des humains). C'est un moyen pour les bibliothèques et les musées de fournir une documentation externe.

Le Musée d'Art d'Harvard est l'un des plus riches musées avec une collection accessible.

> L'idée de « surprise » : Ada Lovelace et Alan Turing, qui sont les créateurs de l'intelligence artificielle.

Turing a toujours été surpris, émerveillé par les machines. Si une machine est intelligente, alors vous l'êtes aussi : car sans nous, la machine ne peut pas exister, ou ne se créera pas.

C'est pourquoi le projet s'appelle « Surprise Machines ». Ils voulaient créer un sentiment de surprise parmi les visiteurs.

L'idée est de disposer de toutes ces images (comme une nébuleuse) dans laquelle le sens de ces représentations est donné par le simulacre de ces images. L'ordinateur est capable de classer les données de manière significative. Par exemple : tous les portraits faits à la main sont mis d'un seul côté ; l'art japonais d'un autre côté ; les plans sont également dans une autre zone… Vous pouvez sélectionner une zone spécifique, zoomer dessus et ensuite vous pouvez voir ce que l'IA a mis en place, quelles images ont été regroupées ensemble, et cela aura vraisemblablement du sens. L'idée de l'IA est que vous avez des classes pour les images qui sont plus utiles pour trouver quelque chose.

Il y a des motifs, comme les montagnes ou une couleur spécifique.

C'est une manière différente d'accéder et de montrer la collection du musée.

C'est un lieu numérique sur un ordinateur portable, mais il y a aussi un espace physique. Ce n'est qu'une partie du développement.

Métadonnées, description et mise en ligne de la vidéo par Alicia Balasso