Usan inteligencia artificial para reconstruir dibujos deteriorados de Van Gogh
Investigadores de la Universidad Técnica de Delft en los Países Bajos han desarrollado recientemente un modelo basado en la red neuronal convolucional (CNN) para reconstruir dibujos que se han deteriorado con el tiempo. En su estudio, publicado en la revista Springer's Machine Vision and Applications , utilizaron específicamente el modelo para reconstruir algunos de los dibujos de Vincent Van Gogh que se arruinaron con el paso de los años debido a la decoloración y decoloración de la tinta.
"Los Países Bajos tienen una reputación internacional con respecto a las artes, con artistas famosos como Rembrandt, Mondrian y Van Gogh", dijo Jan van der Lubbe, uno de los investigadores que llevó a cabo el estudio, a TechXplore. "Por lo tanto, la investigación histórica del arte y la investigación de cómo preservar el patrimonio cultural juegan un papel importante en los Países Bajos.
En los últimos años, un número creciente de investigadores ha intentado desarrollar técnicas de aprendizaje automático, como las CNN, para el análisis de obras de arte. Hasta ahora, estas herramientas se han utilizado principalmente para identificar al artista que creó obras de arte específicas o para determinar si las pinturas son reales o falsas.
En contraste con investigaciones anteriores, van der Lubbe y sus colegas se propusieron investigar el uso de técnicas de aprendizaje automático para la reconstrucción de pinturas deterioradas por píxeles. Cuando se trata de la preservación del arte, el deterioro de las pinturas y los dibujos es un desafío clave, por lo que las herramientas que pueden reconstruir automáticamente obras de arte incompletas o arruinadas simplificarían enormemente la obra de los historiadores del arte.
El equipo de investigadores de TU Delft entrenó a su modelo basado en CNN en reproducciones de dibujos deteriorados del pintor post-impresionista Van Gogh. De hecho, algunos de los dibujos a tinta de Van Gogh se han deteriorado significativamente en el último siglo, y los historiadores del arte han intentado a menudo reproducirlos.
Estos dibujos no pueden ser exhibidos en la actualidad, y en pocas décadas pueden deteriorarse por completo. Con esto en mente, Van der Lubbe y sus colegas querían desarrollar un modelo que pudiera reconstruir automáticamente estas valiosas obras de arte con el fin de preservarlas y hacerlas accesibles al público.
"Uno de los principales objetivos de nuestra investigación era predecir el aspecto original, pasado y futuro de las obras de arte sobre papel mediante métodos de aprendizaje automático que integraran los resultados de estudios en profundidad de los colores utilizados y su decoloración a lo largo del tiempo", dijo van der Lubbe. "Esto podría ayudar a imaginar cómo, por ejemplo, un dibujo de Van Gogh podría haberse visto en el momento de su creación."
El enfoque ideado por van der Lubbe y sus colegas combina técnicas para el análisis de imágenes de resolución múltiple y CNNs profundas para predecir las apariciones en el pasado de dibujos con respecto a los píxeles. Las CNN son algoritmos inspirados en redes neuronales biológicas, como las del cerebro humano, que se pueden entrenar para completar tareas específicas mediante el análisis de grandes cantidades de datos.
"A nuestro leal saber y entender, no existen o son muy pocos los estudios previos sobre el uso de métodos de aprendizaje por máquina para la reconstrucción digital de obras de arte", dijo van der Lubbe. "Esa es la idea clave que impulsa nuestra investigación y el uso de la máquina de aprendizaje para reconstruir obras de arte. De estudios anteriores en los que hemos considerado diferentes algoritmos de aprendizaje automático, los enfoques de la red neural convolucional (CNN) parecían más prometedores".
En su estudio, los investigadores entrenaron específicamente a una CNN para reconstruir digitalmente los descoloridos dibujos de Van Gogh sobre papel. El algoritmo se basó en un conjunto de datos que contenía reproducciones de los dibujos originales de diversa calidad, realizados en diferentes momentos del siglo pasado.
"Los ejemplos que utilizamos en nuestro estudio son reproducciones de dibujos de Van Gogh en los que el contenido y el color se han desteñido menos severamente, por lo que se acercan más al dibujo original hecho por Van Gogh", dijo van der Lubbe. "Obtuvimos los dibujos y reproducciones originales de la colección del Museo Van Gogh."
Además de revelar cómo se veían los dibujos en el pasado, el enfoque propuesto por van der Lubbe y sus colegas podría ayudar a los historiadores de arte a identificar estrategias apropiadas de conservación y restauración de obras de arte, así como prácticas efectivas para la preservación y exhibición de obras de arte.
Los investigadores evaluaron su modelo en una serie de experimentos y encontraron que logró resultados notables. Sus hallazgos destacan la viabilidad de utilizar el aprendizaje automático para la reconstrucción predictiva de imágenes, documentos y obras de arte degradadas. Aunque los investigadores utilizaron específicamente su modelo para reconstruir los dibujos de Van Gogh, también podría aplicarse a otras obras de arte deterioradas sobre papel o a manuscritos del siglo XIX.
"Obtuvimos mejores resultados para la reconstrucción digital de los dibujos de Van Gogh que los obtenidos hasta ahora utilizando otros métodos", dijo van der Lubbe. "Por supuesto, Van Gogh era sólo una prueba o un ejemplo. Nuestra técnica también podría extenderse más allá de los dibujos de Van Gogh a dibujos de otros artistas, pinturas y documentos antiguos".
En el futuro, la herramienta desarrollada por van der Lubbe y sus colegas podría ayudar a los historiadores de arte a crear reconstrucciones realistas de obras de arte que de otro modo podrían deteriorarse completamente. En su estudio reciente, los investigadores se enfocaron en un dibujo a la vez, entrenando a su CNN en un número limitado de reproducciones. Sin embargo, el modelo también podría utilizarse para predecir cómo era el dibujo original basándose en una cantidad mucho mayor de reproducciones.
Además, esta técnica funciona actualmente mediante el análisis de información visual. En sus próximos estudios, a los investigadores les gustaría investigar si el análisis de información visual y química (por ejemplo, la composición de la tinta y su tasa de degradación) puede mejorar el rendimiento del modelo.
"En el presente estudio, tuvimos un dibujo actual degradado", dijo van der Lubbe. "Creemos que también sería un gran desafío reconstruir el dibujo original, especialmente en los casos en que el original no está disponible o ha desaparecido, por lo que sólo tenemos reproducciones del pasado".
