똑똑하고 얄미운 Aedi

[모자이크 제거]저해상도 이미지를 고해상도로 복원 해주는 인공지능 기술 3가지 본문

IT/뉴스

[모자이크 제거]저해상도 이미지를 고해상도로 복원 해주는 인공지능 기술 3가지

Aedi_ 2017. 12. 14. 23:12

영화에서 흔히 볼 수 있는 형사들이 범인을 잡기위해 CCTV를 분석하는 장면에는 누구나 예측할 수 있는 대사들이 나옵니다. '야 뒤로 돌려봐, 그래 그 부분 확대해봐!' 영화에서는 키보드만 몇번 두드리면 깍두기 같았던 사진이 초고해상도 이미지로 변신을 하게되는데요. 이게 현실에서는 전혀 불가능한 이야기인것은 다들 아실겁니다. 하지만 기술의 발전은 우리가 불가능 하다고 여겼던 일들을 가능하게 바꾸고 있습니다. 영화에서나 가능하리라고 믿었던 일들이 실제로 벌어지고 있는데요. 오늘은 저해상도 이미지를 고해상도로 바꿔주는 인공지능 기술들에 대해서 알아보도록 하겠습니다.

영화에서나 볼 수 있었던 이 일을 현실로 만들어 가는 노력은 여러 업체에서 진행되고 있습니다. 대표적으로 구글과 카네기 멜론대학 그리고 Gfycat을 들 수 있습니다. 이들은 각각 고유의 기술력으로 이미지를 복원하고 있는데요. 각 업체별 특징에 대해서 알아보겠습니다.

1.  구글 브레인

IT관련 신기술 특히 인공지능 관련해서는 안하는 것이 없다는 구글, 아니나 다를까 그들은 구글 브레인 이란 이름으로 이 영화같은 기술을 완성시켜 가고 있습니다. 이들은 8X8 픽셀의 깍두기 이미지를 거의 원형에 가까 복원하는 기술을 개발하고 있습니다. ‘Pixel Recursive Super Resolution’라 불리는 이 기술은 2개의 신경망을 이용해서 이미지를 복원합니다.

google brain


첫번째 신경망은 8X8 픽셀의 이미지를 분석 어떻게 더 높은 해상도의 이미지로 변환 될 가능성이 있는지를 분석하는 역할을 하는 'Conditioning network'이며 두번째 신경망은 'Prior network'라 불리는 유사한 사진을 분석 해당 사진이 보다 디테일하게 복원될 수 있도록 지원하는 네트워크라고 합니다.

구글 브레인


2.  PixelNN

PixelNN은 미국의 카네기-멜론대학에서 개발한 이미지 복원 기술로 이웃 보간법(nearest neighbor interpolation)과 신경망을 활용해 저해상도 이미지를 고해상도 이미지로 변환해주는 기술 입니다.

카네기멜론대학교

이 기술을 통해서 복원한 이미지들을 보면 스케치만 남은 이미지나, 거의 사람눈으로는 형체를 분간할 수 없게 변환한 이미지도 거의 원본이미지와 비슷하게 복원을 해내는 것을 볼 수 있습니다.

pixelNN


3.  Gfycat

Gfycat은 사실 앞서 말씀 드린 업체들 보다 인지도나 기술력 면에서 아직 좀 떨어진다고 할 수 있는데요. 이 업체는 Gif 움짤을 만들어 주는 사이트를 운영하는 업체입니다. 이미지 복원 기술과 전혀 무관해 보이는 이 회사는 하지만 이 기술을 확보하기 위해 전력을 다하고 있다고 합니다.

Gfycat 개발팀


이들은 사람들이 공유하는 대부분은 GIF 움짤 이미지는 해상도가 매우 낮다는 문제를 개선하기 위해 노력하고 있습니다. 이들은 사람들이 업로드한 GIF 이미지를 인공지능 기술을 이용해서 고퀄리티로 바꿔주는 기술을 개발하고 있다고 합니다. 이들은 기본적으로 사람들이 공유하는 GIF를 이미지인식 기술로 분석하고 GIF에 붙어 있는 태그를 분석 GIF에 등장하는 인물을 추정하고 그와 관련된 유튜브 영상이나 고해상도 GIF 파일을 자동으로 찾는다고 합니다.

gif 자막 분석

하지만 모든 사람이 GIF에 태그를 다는 것이 아니기 때문에 이 작업은 상당히 고난도의 기술이 필요하다고 합니다. 이들은 사용자가 태그를 달지 않았을 경우를 대비 GIF 파일에 나오는 자막까지 인식하고 분석하여 GIF 원본을 찾는 기술을 개발중이라고 합니다.

gfycat

지금 까지 저해상도 이미지를 고해상도 이미지로 바꿔주는 기술들에 대해서 알아봤는데요. 앞으로는 사진을 대충 흔들리게 찍어도 이를 완벽하게 보정해주거나, 수십년전 찍었던 흐릿한 사진을 고해상도로 복원해 주는 서비스들도 등장할 것으로 보입니다.

인공지능 웹툰

인공지능 보이스피싱

이미지 인식