잃어버린 걸작이 공개되다

고대 두루마리에서 네덜란드 황금 시대 그림에 이르기까지 기술은 세계 최고의 예술 작품에 대한 새로운 단서를 발견하고 있습니다.  예술의 역사는 손실된 걸작, 그림 및 공예품으로 가득 차 있습니다. 이 예술품은 파괴, 변경 또는 페인트칠을 하여 수세기 후에 발견되었습니다. 서기 79년에 베수비오 산의 파괴적인 폭발 이후, 고대 두루마리의 전체 도서관은 숯으로 변해버렸고 이제는 너무 약해져서 펼쳐질 수 없게 되었습니다. 렘브란트의 가장 위대한 걸작 중 하나인 The Night Watch (1642)는 1715년에 설치된 암스테르담 시청의 문을 통과하기 위해 양쪽 패널을 잘랐습니다. 우리에게 알려져 있지만 최근 몇 년 동안 이 가정은 뒤집혔습니다. AI 또는 기계 학습 이 우리 일상의 나머지 부분에 짜여진 것처럼 이제는 시간의 흐름에 따라 잃어버린 귀중한 문화 공예품을 되살리기 위해 노력하고 있습니다 . 대부분의 역사에서 예술가가 캔버스를 재사용하는 것은 드문 일이 아니었습니다. 최근 몇 년 동안 헤드라인을 장식한 한 프로젝트는 Oxia Palus 라는 이름으로 일하는 두 명의 과학 박사 과정 학생인 George Cann과 Anthony Bourached가 이끄는 프로젝트 로 현재 우리에게 X-선을 통해서만 알려진 일부 작업을 부활시키려는 시도를 했습니다. 그들의 AI 렌더링 이미지(2019년에 처음 공개됨)는 잃어버린 그림의 원래 색상과 질감에 대한 아이디어를 되돌려 주는 것을 목표로 합니다.

존재하지만 아무도 끌을 꺼내 수백만 파운드의 그림의 일부를 긁어내지 않을 것이기 때문에 결코 볼 수 없는 이 모든 걸작을 보는 것은 놀라운 일일 것입니다 - Anthony Bourached

한 예로, Modigliani의 Portrait of a Girl (c 1917)은 예술가가 한때 숨기려 했던 한 여성을 밝혀냈습니다. 그녀는 영국 작가 베아트리체 헤이스팅스(Beatrice Hastings)와 악명 높은 폭풍우 같은 관계를 가졌던 전 연인으로 여겨진다. 1916년에 그들의 관계가 끝난 후 그는 그녀의 기억을 지우려고 노력했을 것입니다(그녀의 초상화는 여러 개 남아 있지만).

두 연구원은 재구성한 것을 NeoMasters라는 이름으로 판매되는 3D 프린트로 변환했습니다. Burached는 BBC Culture에 "새로운 것을 좋아하기 때문에 사람들이 관심을 가지고 있다고 생각합니다."라고 말했습니다. "이 모든 걸작을 보는 것은 놀라운 일일 것입니다. 존재하지만 아무도 끌을 꺼내 수백만 파운드의 그림의 일부를 긁어내지 않을 것이기 때문에 결코 볼 수 없을 것입니다."

Oxia Palus는 Modigliani의 Portrait of a Girl(c 1917)에서 한 여성의 존재를 드러냈는데, 이는 예술가가 한때 숨기려 했던 것입니다(Credit: Oxia Palus).

그러나 두 사람은 뉴스 헤드라인이 작업을 지나치게 단순화할 수 있다고 경계합니다. Burached는 "주목을 끄는 이야기는 'AI가 그림을 재구성한다'는 것입니다. 마치 우리가 누르는 버튼이 있으면 전체 프로세스가 완료되는 것 같습니다."라고 Burached가 말했습니다. 이것은 과학자들이 기계에 완전한 권한을 넘겨주고 있다는 인상을 줄 수 있습니다. 사실 그는 "그 과정에서 많은 인간의 입력이 있습니다"라고 말합니다.

인간의 기여에는 기계가 스타일을 학습하도록 아티스트의 작업 데이터 세트를 수집하고 표면 페인팅에서 요소를 제거하기 위해 X선 이미지를 정리하는 작업이 포함됩니다. 결과 X-선 이미지는 "아래에 있는 것에 대한 우리의 해석"이라고 Cann은 BBC Culture에 말했습니다. 두 사람은 이를 "조잡한 과정"으로 설명하며 자금 지원 없이 여가 시간에 만들어진 실험에 불과합니다. "우리가 하고자 하는 요점 중 하나는 비교적 순진한 접근 방식으로도 이것이 가능하다는 것입니다."라고 Burached가 덧붙입니다. "나는 다른 사람들이 이 초기 분야를 가지고 더 나은 일을 하기를 바랍니다."

 

예술과 과학의 만남

 

그들이 직면한 한 가지 장벽은 19세기에 그림에 처음 사용된 전통적인 X선이 제공하는 제한된 정보였습니다. 보존자는 또한 재료, 안료 및 손상 가능성에 대해 자세히 알아보기 위해 캔버스에서 샘플을 취하지만 최신 스캐닝 기술을 사용하면 작업을 건드리지 않고도 이 모든 정보를 얻을 수 있습니다.

5년 전, 런던의 국립 미술관은 대부분의 문화 단체가 이를 충분히 활용할 수 있는 장비가 제대로 갖춰져 있지 않은 단일 그림에 대한 너무 많은 데이터를 캡처할 수 있는 새로운 최첨단 스캐닝 장비를 구입했습니다. 일부는 현재 우수한 컴퓨팅 시설과 광범위한 전문 지식을 제공할 수 있는 대학과 부문 간 협력을 시작하고 있습니다. ICT 렌즈를 통한 예술(Art Through ICT Lens, ARTICT )이라고 불리는 University College London 및 Imperial College London과의 최근 파트너십의 일환으로 내셔널 갤러리는 세련된 젊은이인 Francisco de Goya의 Doña Isabel de Porcel(c 1805)의 훨씬 선명한 이미지를 제작하고 있습니다. 검은 만틸라 를 입은 여성(스카프). 1980년, 양복 조끼와 재킷을 입은 남자의 신비한 두 번째 초상화가 아래에서 발견되었습니다. 사람에 대한 더 명확한 이미지를 얻으려면 전자기 스펙트럼의 여러 영역에서 여러 스캔을 결합해야 하며, 그 중 일부는 다른 영역보다 그림의 특정 측면을 더 잘 나타냅니다. 처음에는 이 과정을 수동으로 해야 했지만 이번 연구 덕분에 이제는 컴퓨터로 이양되었습니다.

1980년에 고야의 Doña Isabel de Porcel(c 1805) 아래에서 신비한 두 번째 초상화가 발견되어 이제 훨씬 더 명확하게 볼 수 있습니다(Credit: Francisco de Goya).

Miguel Rodrigues 박사가 이끄는 UCL 연구원들은 이전에 Van Eyck의 Ghent Altarpiece (1432) 복원을 위한 유사한 프로젝트에 참여했습니다. 대규모 작업은 많은 패널로 구성되며 일부는 양면으로 열고 닫을 수 있습니다. 성모 영보 대축일과 한 줄의 후원자와 성인을 보여주는 외부 패널은 일년 내내 대부분 볼 수 있었지만 제단화는 특별한 축일에 다른 종교 인물과 신비한 어린 양의 경배 를 나타내기 위해 열렸습니다. 양면 패널은 특히 해석하기 까다로운 층이 있는 X선을 생성했는데, 이는 그림의 다른 층을 연구하기를 원하는 관리인에게 문제입니다. Rodrigues와 그의 팀이 개발한 알고리즘은 두 이미지를 분리하는 데 성공했습니다.

UCL 연구원들은 신비한 어린 양의 숭배(Credit: Jan van Eyck)를 특징으로 하는 많은 패널로 구성된 작품인 Van Eyck의 Ghent Altarpiece(1432)를 복원하고 있습니다.

고야의 흐릿한 엑스레이로 이것을 달성하는 것은 더 큰 도전입니다. 연구원들은 아래 그림이 어떤 모습일지 아직 알지 못했기 때문입니다. 대신 그들은 알고리즘이 그것들을 분리하는 법을 배울 수 있는지 알아보기 위해 다른 그림의 X선을 혼합했습니다. 이 경우 알고리즘을 "블랙박스"라고 하며 좋은 결과를 얻을 수 있지만 방법이 항상 명확하지는 않습니다. 이를 더 잘 이해하기 위해 팀은 학습 프로세스의 여러 지점에서 출력을 살펴보고 다양한 방식으로 머신 데이터를 제공하여 출력을 향상시킬 수 있는 방법을 실험했습니다.

내셔널 갤러리의 수석 과학 책임자인 캐서린 히깃(Catherine Higgitt)은 BBC 컬처에 이렇게 말했습니다. "우리는 이미지를 두 개의 가상 이미지로 분리하고 있습니다. 하지만 우리가 얻고자 하는 것은 무엇입니까? 손상, 균열 및 표면 아래 세부 사항에 관심이 있는 보존자에게 유용한 것입니까 아니면 가능한 한 표면?"

알고리즘은 그 자체로 질문에 답하는 것이 아닙니다. 그들은 프로세스에 영향을 미치고 있습니다 - Catherine Higgitt

이와 같은 질문은 유용한 방향으로 연구를 안내하는 컴퓨터 과학자와 예술 전문가 간의 협력의 힘을 보여줍니다. 내가 이야기하는 모든 사람들은 인간이 AI를 자신의 장치에 맡기지 않고 AI와 긴밀하게 협력하고 있다고 강조합니다. "알고리즘은 그 자체로 질문에 답하는 것이 아니라 프로세스에 영향을 미치고 있습니다."라고 Higgitt는 말합니다.

일부 학자들은 고야의 초상화가 예술가의 것으로 정확하게 귀속되었는지에 대해 논쟁을 벌였습니다. Higgitt는 "아래 초상화를 이해하면 어느 손이 관련되어 있는지 절대적으로 말할 수 없더라도 그것이 Goya의 것인지 또는 적기의 것인지를 보다 확실하게 말하는 데 도움이 될 수 있습니다."라고 말합니다. 예를 들어, 미술사가는 아래에 있는 남자가 무엇을 입고 있고 어떤 재료가 사용되었는지 확인하기를 희망할 수 있습니다. 지금까지는 남성의 얼굴이 여성의 목과 머리 장식에서 훨씬 더 명확하게 분리되어 어두운 눈썹 아래 진지한 표정이 드러났습니다. 

국립 미술관의 보존 책임자인 Larry Keith는 "보존은 항상 사용 가능한 기술을 사진 처리에 적용해 왔습니다. "지금 기술 발전을 보는 것은 그렇게 큰 변화가 아닙니다. 적어도 150년 전으로 거슬러 올라가는 연속체의 일부입니다."

 

고대 두루마리 '풀기'

 

희망은 유산 부문 전반에 걸쳐 다른 연구 문제에 적용할 수 있는 도구를 생산하는 것입니다. 또 다른 유망한 개발은 너무 섬세해서 침략적으로 열 수 없는 고대 두루마리를 스캔하고 "가상 풀기"하는 것입니다. 이 경우 일반적으로 의료 분야에서 사용되는 CAT 스캔은 다른 각도에서 촬영한 X선 이미지를 결합하여 두루마리의 단면 이미지를 제공할 수 있습니다. 미국 켄터키 대학의 팀은 Herculaneum에서 발견되고 Vesuvius에 의해 탄화 된 파피루스 두루마리를 연구하고 있습니다.

스캔에서 파피루스의 섹션은 세그먼트로 분리되어 현재 수동으로 수행되고 있는 프로세스인 병합 및 병합됩니다. 스크롤의 작가가 탄소 잉크를 사용한 것으로 보이기 때문에 잉크의 금속 요소가 스캔에 나타날 것이라는 희망은 좌절되었습니다. 대신 팀은 이 잉크를 사용하여 프록시 롤업 원고를 만들고 스캔의 위치를 ​​예측하는 알고리즘을 가르쳤습니다. 이 기술은 여전히 ​​완성되고 있지만 팀은 고대부터 읽히지 않은 채로 남아 있는 거의 포장되지 않은 Herculaneum 두루마리에 이를 적용하는 초기 단계에 있습니다.

미국의 한 팀이 Herculaneum에서 발견되고 Vesuvius에 의해 탄화된 읽지 않은 파피루스 두루마리를 스캔하는 작업을 하고 있습니다(제공: Emmanuel Brun 및 Vito Mocella)

19세기에 몇 개의 두루마리가 기계로 열리면서 무엇이 기다리고 있었는지에 대한 힌트를 제공했습니다. 이것들은 주로 시인 필로데모스 에 의해 에피쿠로스 철학과 관련된 고대 그리스 및 라틴어 텍스트를 포함하는 것으로 밝혀졌습니다 . 문서학자이자 컴퓨터 과학자인 James Brusuelas는 이것이 현존하는 가장 오래된 사본일 수 있다고 제안합니다. 오늘날 중세 버전에서 많은 고전 텍스트가 알려져 있지만 Brusuelas에 따르면 "손으로 일을 할 때 사람들은 실수를 하고 로마인은 변경하는 것이 반드시 끔찍한 생각이라고 생각하지 않았습니다"라고 합니다. 두루마리를 읽을 수 있다면 위대한 철학자들이 실제로 쓴 것에 한 걸음 더 다가갈 수 있을 것입니다. "나는 우리가 새로운 것을 얻을 수 있는 가능성이 상당히 높다고 생각합니다. 아마도 우리가 전에 들어본 적이 없는 것일 수도 있습니다."라고 그는 덧붙입니다.

이러한 연구 노력 중 일부는 여전히 존재하지만 숨겨져 있는 것이 무엇인지 알려줄 수 있는 반면, 다른 사람들은 잃어버린 것을 유추하기를 희망합니다. 2021년 암스테르담 국립미술관은 렘브란트의 The Night Watch에서 잃어버린 패널의 AI 재구성을 볼 수 있도록 대중을 초대했습니다. 잘려지기 전에 운 좋게도 다른 예술가 Gerrit Lundens가 전체 작품을 복사했습니다. 잃어버린 세부 사항은 고맙게도 작지만 완전한 버전에서 검은 옷을 입고 주변 시민 경비원에게 명령을 내리는 캡틴은 중앙에 서 있지 않고 대신 오른쪽에 있습니다.

이것은 컴퓨터에게 셰익스피어 스타일로 글을 쓰도록 가르치는 것과는 다릅니다. 여기에는 창의성과 창의성, 그리고 인간이 어떤 것인지 아는 것이 포함됩니다. 이것은 번역 엔진과 비슷합니다 – Rob Erdmann

두 작품 사이의 많은 차이점으로 인해 재구성이 복잡했습니다. "팔레트와 스타일에 변화가 있으며 Lundens의 사본은 전체 크기의 20% 미만입니다."라고 Rijksmuseum의 수석 과학자 Rob Erdmann은 말합니다. 그는 사본이 패널에 있는 반면 Rembrandt의 사본은 캔버스에 있다고 언급했습니다. 그의 임무는 Lundens 스타일을 Rembrandt 스타일로 변환하는 알고리즘을 가르쳐 이러한 효과를 역전시키는 것이었습니다. "예를 들어, 그가 잘 알려진 chiaroscuro 조명이나 그의 얼굴이 빛난다는 개념이 있습니다."라고 그는 말합니다.

"네트워크는 페인트의 craquelure[작은 균열]을 모방하기까지 하므로 가능한 한 과학적이라고 말하고 싶습니다. 그렇다고 완벽하다는 것은 아닙니다. 기술은 항상 개선될 것입니다." Erdmann은 "이것은 컴퓨터에게 셰익스피어 스타일로 글을 쓰도록 가르치는 것과는 다릅니다. 여기에는 창의성과 창의성이 포함되며 인간이 어떤 것인지 아는 것이 포함됩니다. 이것은 번역 엔진에 가깝습니다."라고 덧붙였습니다.

2021년, 암스테르담 국립미술관은 렘브란트의 <야경>에서 잃어버린 패널의 AI 재구성을 볼 수 있도록 대중을 초대했습니다(제공: 암스테르담에서 대여)

그럼에도 불구하고 일부 사람들은 정확성에 대한 주장이나 가치가 있는지에 대해 의문을 제기하면서 이와 같은 프로젝트에 대한 반발이 있었습니다. 화재로 소실되어 흑백 사진으로만 알려진 클림트의 교수 그림을 다시 칠하기 위한 Google Arts & Culture의 한 계획은 일부 비평가들에 의해 과도한 예술적 라이선스 를 표시하고 작품을 "만화"로 축소하는 것으로 생각됩니다.

룬덴스 자신의 예술적 감각을 보정하기 위해 이미 작업한 Erdmann은 인간의 미적 입력을 제한하는 것을 목표로 했으며, 최종 재구성된 이미지는 전문 큐레이터의 승인을 받았지만 여러 전문가가 직접 선택한 것이 아니라 알고리즘에 의해 선택되었습니다. 옵션. Erdmann은 "여기서 우리가 하려고 했던 것은 이것이 누락된 조각이 어떻게 생겼는지 결정적으로 말하지 않는다는 것입니다."라고 말합니다. "오히려 좋은 소설이나 영화가 불신을 멈추라고 하듯이, 조각이 잘려지면 의미 있는 구성으로 바뀌고 대중이 일시적으로 불신을 정지시킬 수 있기를 바랍니다."

Keith는 "팩시밀리는 사람들이 예술 작품의 내용이나 원래의 모습에 관심을 갖도록 돕습니다."라고 말합니다. 그는 수십 년 전에 비슷한 목적으로 프로젝터를 사용했던 전시회를 방문했던 것을 기억합니다. 국립 미술관의 훨씬 더 이른 예는 Francesco Pesellino의 Pistoia Santa Trinità 제단화로 1793년에 분해되었습니다. 갤러리에서 점차적으로 인수한 후 재조립할 때 누락된 부분을 다시 칠하여 구성을 완성했습니다.

Keith는 "이제 우리는 누락된 구성 요소를 보다 확실하게 재현할 수 있는 능력을 갖게 되었고 해석에 대해 생각할 수 있는 더 많은 큐레이터 기회를 제공합니다"라고 말합니다. "사진을 어떻게 제시할 것인가에 대한 질문은 변함이 없으며, 새로운 기술이 도입되었을 뿐입니다."

그들의 방법에 대해 솔직하고 알려진 작업이 어디에서 끝나고 인간이나 컴퓨터의 해석이 시작되는지에 대한 명확한 이러한 프로젝트는 잃어버린 걸작이 한때 어떻게 보였을지 탐구하는 기회를 제공합니다. 이러한 노력은 역사적 재구성의 오랜 전통의 일부이지만 최근 몇 년 동안 디지털 방식으로 만들어지고 종종 경험되어 살아남은 작품을 변경할 필요가 없습니다. 최선의 시도는 공개적으로 결정적이지 않으며 주로 우리 자신의 상상력이 공백을 채우기 위한 출발점으로 작용합니다.