Die leeren Rahmen im Isabella Stewart Gardner Museums erinnern an den größten ungelösten Kunstraub der Welt. Während die ursprünglichen Meisterwerke vielleicht nie wiedergefunden werden können, hat nun ein Team des MIT-Labors für Informatik und Künstliche Intelligenz (CSAIL) um Liang Shi ein System zur Gestaltung von Reproduktionen von Gemälden entwickelt, das möglicherweise in dieser Angelegenheit behilflich sein könnte.
Die Motivation
Mike Foshey, RePaint-Entwickler:
„Der Wert der bildenden Kunst hat in den letzten Jahren rasant zugenommen, so dass die Tendenz zunimmt, sie in Lagerhallen außerhalb der Öffentlichkeit einzuschließen. Wir entwickeln eine Technologie, um diesen Trend umzukehren und preiswerte und genaue Reproduktionen zu erstellen, die für alle zugänglich sind.“
Das Reproduktions-Tool
Das Tool des CSAIL-Teams nennt sich RePaint und nutzt eine Kombination aus 3D-Druck und Deep Learning, um Lieblingsbilder authentisch nachzubilden – unabhängig von unterschiedlichen Lichtverhältnissen oder Platzierungen. RePaint kann verwendet werden, um Kunstwerke für ein Zuhause neu zu gestalten, Originale vor Abnutzung in Museen zu schützen oder sogar Unternehmen bei der Erstellung von Drucken und Postkarten von historischen Gegenständen zu unterstützen.
Erfolgreiche Testläufe
Um RePaint zu testen reproduzierte das Team eine Reihe von Ölbildern, die von einem Künstlerkollegen erstellt wurden. Das Team stellte fest, dass RePaint mehr als viermal genauer war als modernste physikalische Modelle, um die exakten Farbtöne für verschiedene Kunstwerke zu erzeugen.
2D-Druck vs. 3D-Druck
2D-Drucker werden zwar am häufigsten für die Reproduktion von Gemälden verwendet, haben aber nur einen festen Satz von vier Tinten (Cyan, Magenta, Gelb und Schwarz). Die Forscher fanden einen besseren Weg, um ein vollständigeres Spektrum von Degas und Dali zu erfassen. Sie verwendeten eine spezielle Technik, die sie „Color-Contoning“ nennen, bei der ein 3D-Drucker eingesetzt wird und 10 verschiedene transparente Tinten in sehr dünnen Schichten übereinandergestapelt werden, ähnlich wie die Waffeln und Schokolade in einem Kit-Kat-Riegel. Sie kombinierten ihre Methode mit einer jahrzehntealten Technik namens Halbtonung, bei der ein Bild eher durch viele kleine farbige Punkte als durch kontinuierliche Töne erzeugt wird. Diese Kombination habe die Nuancen der Farben besser erfasst.
Welche Farben für welches Bild
Mit der größeren Farbpalette war aber immer noch nicht geklärt, welche Farben für welche Gemälde genommen werden sollten. Anstatt aufwändigere physische Ansätze zu verwenden, trainierte das Team ein Deep-Learning-Modell, um optimale Farbpaletten vorhersagen zu können. Als dies funktionierte wurde das System anschließend mit Bildern von Gemälden gefüttert, um damit bestimmen zu können, welche Farben in welchen Bereichen für bestimmte Gemälde verwendet werden sollten.
Changil Kim, RePaint–Entwickler:
„Wenn Sie nur die Farbe eines Gemäldes so reproduzieren, wie es in der Galerie aussieht, könnte es in Ihrem Haus anders aussehen. Unser System funktioniert bei allen Lichtverhältnissen, die eine weitaus höhere Farbwiedergabefähigkeit aufweisen als fast alle anderen bisherigen Arbeiten.“
Derzeitiger Stand und Ausblick
Trotz der bisherigen Fortschritte müsse das Team weiterhin Verbesserungen vornehmen, bevor sie ein fulminantes Duplikat von Vincent van Goghs „Sternennacht“ zaubern können. So sagte beispielsweise Mike Foshey, dass sie bestimmte Farben wie Kobaltblau aufgrund einer begrenzten Tintenbibliothek nicht vollständig reproduzieren könnten. In Zukunft planen sie, diese Bibliothek zu erweitern und einen Malerei-spezifischen Algorithmus zur Auswahl der Farben zu entwickeln. Auch an der Oberflächenstruktur und Reflektierung müsse noch gearbeitet werden, um Effekte, wie glänzende oder matte Oberflächen, erzielen zu können.
Zur Zeit sind die Reproduktionen nur etwa so groß wie eine Visitenkarte, da der Druck zeitaufwändig ist. In Zukunft hofft das Team, dass fortgeschrittenere, kommerzielle 3D-Drucker dazu beitragen können, größere Gemälde effizienter zu gestalten.
Quelle: MIT
