희미한 기억 속 얼굴 '3D 몽타주'로 나이까지 구현한다

김익재 KIST 영상미디어연구단 단장팀, 얼굴인식 및 3D 모델링 기술 개발
측면 얼굴 인식, 나이 변환 등 기존 몽타주 기술 한계 극복
김익재 KIST 영상미디어연구단 단장은 3D 몽타주를 비롯해 정교한 얼굴인식 기술로 많은 사람들에게 도움을 주고싶다는 뜻을 밝혔다. <사진=이원희 기자>김익재 KIST 영상미디어연구단 단장은 3D 몽타주를 비롯해 정교한 얼굴인식 기술로 많은 사람들에게 도움을 주고싶다는 뜻을 밝혔다. <사진=이원희 기자>

#1.늦은 밤 회식을 끝내고 귀가하던 회사원 A씨는 집 근처 골목에서 지갑과 가방을 소매치기 당했다. A씨는 경찰에 신고했지만 해당 골목은 CCTV가 설치된 장소가 아니었고, 이동경로에 있던 CCTV에 찍힌 범인의 얼굴은 화면은 너무 어둡고 작게 나와 확인이 어렵다는 답변을 받았다.

#2.6.25 전쟁 당시 피난행렬 속에 동생과 이별하게 된 B씨. 어릴 적 동생 사진을 소중하게 보관하고 있지만, 시간이 너무 오래 지나 노인이 되어 대조가 어려워 정보 확인에 애를 먹고 있다.


과학기술이 발전함에 따라 고화질의 CCTV와 영상장비가 보급되며 범죄수사나 실종사건 등을 해결에 많은 기여를 했다. 하지만 아직도 보이지 않는 사각(死角)이 존재하고, 주변 환경에 따라 제대로 촬영되지 않는 등의 문제가 남아있다.

이 경우 피해자나 목격자의 기억을 토대로 얼굴형부터 이목구비 하나하나의 특징을 조합해 만드는 몽타주가 중요한 단서로 작용한다. 하지만 사람의 기억은 시간이 지남에 따라 정확도가 낮아지며, 개인의 주관적 기준이 작용해 몽타주를 만드는데 어려움이 있다.

자칫 단서가 흐릿해질 수 있는 상황, KIST 김익재 영상미디어연구단장 연구팀이 얼굴 인식 기술과 3D 분석 모델링 기술로 기존 2D 몽타주의 한계를 넘는 '3D 몽타주' 개발에 박차를 가하고 있다.

◆함께 나이를 먹는 몽타주?

연구팀이 개발한 3D 몽타주의 특징은 크게 측면인식, 인상변환, 나이변환이 있다.

측면인식은 대상의 얼굴 정보가 측면일 경우 측면 정보를 기반으로 3D 모델링을 통해 정면 몽타주를 구현하는 기술이다. 김 단장은 "실제 찍히는 대상의 얼굴은 정면이 아닌 경우도 많다"며 "한국인 얼굴 데이터를 기반으로 측면 정보에서 정면 정보를 유추할 수 있다"고 설명했다.

몽타주는 정확한 얼굴이 구현되는 것이 아니기에 인상변환 과정에서 수정 및 보완을 통해 최대한 비슷하게 바꿔나간다. 하지만 문제는 사람들이 '눈썹 길이가 0.5cm 더 길었어요'라거나 '입술 끝이 15˚정도 더 올라가야 해요'와 같은 정량적 증언을 하지 않고 '눈매가 좀 더 사나웠어요', '볼이 좀 더 갸름했던 것 같아요'와 같이 개인 기준에 따른 정성적 증언을 한다는 점이다.


정성적 평가기준을 척도로 반영한 예시(위)와 동일 인물의 나이별 예상 몽타주 예시(아래). <사진=한국과학기술연구원 제공>정성적 평가기준을 척도로 반영한 예시(위)와 동일 인물의 나이별 예상 몽타주 예시(아래). <사진=한국과학기술연구원 제공>

연구팀은 이를 객관적 지표로 만들기 위해 약 900명의 사람을 대상으로 척도평가를 실시했다. 그리고 234개의 결과 값을 벡터 값으로 삼아 사람들이 보편적으로 인식하는 얼굴 포인트별 점수를 구분했다. 즉 '매력적으로', '비열하게' 등을 기준으로 선택에 따라 전반적인 몽타주가 일차적으로 만들어지고, 세부적인 부분별 수정이 이루어지기에 각각 조합했던 기존 몽타주에 비해 효율적이다.

또 하나의 특징은 나이에 따른 변화요소를 반영할 수 있다는 점이다. 김 단장은 "장기미제사건이나 실종사건의 경우 사건 발생 시점에서 오랜 시간이 지나 실제 얼굴과 차이가 존재한다"며 "얼굴형의 변화나 생성되는 주름, 색소 침착 등을 반영해 나이에 따른 얼굴 변화를 한 살 단위로 조정, 유추할 수 있다"고 설명했다.

획기적인 연구팀의 기술엔 데이터가 있었다. 과거 미국의 몽타주 생성 프로그램을 수입해서 사용했을 당시 생성 기술 자체는 우수했지만, 결과물이 실제와 차이가 있는 경우가 발생했다. 김 단장은 "미국인의 얼굴 데이터를 기반으로 한국인의 얼굴을 만들다보니 적합하지 않은 요소들이 있었다"며 "한국인의 몽타주를 만들기 위해선 한국인의 얼굴 데이터가 필요했다"고 말했다.

연구팀은 기술 개발과 동시에 연구용 데이터로써 한국인의 얼굴 데이터를 수집하기 시작했고, 이를 기반으로 프로그램의 척도를 구분하고 조합함으로써 몽타주의 완성도를 높였다. 김 단장은 "한국인의 얼굴 데이터베이스를 정교하게 구축해 일관성을 확보함과 동시에 이질감을 줄여나갈 것"이라고 말했다.

김익재 KIST 영상미디어연구단장이 몽타주 제작 과정을 설명하고 있다. <사진=이원희 기자>김익재 KIST 영상미디어연구단장이 몽타주 제작 과정을 설명하고 있다. <사진=이원희 기자>

보완해야할 점도 있다. 김 단장은 "나이변환의 경우 데이터를 통한 기본적인 변화는 가능하지만, 실제 성장하는 환경이나 외부요인에 따른 변화는 완벽히 구현이 어렵다"며 "발생할 수 있는 다양한 경우를 옵션으로 추가하며 완성도를 높여나갈 것"이라고 말했다.
그리고, “작성된 몽타주로 현재에는 공개를 통해 제보를 기다리고 있지만, 향후에는 몽타주와 얼굴 사진과의 비교를 통해 용의자 후보를 자동 검색할 수 있도록 해 나갈 것” 이라고 했다.

몽타주는 주로 범죄수사와 연관성이 높지만, 연구팀의 핵심기술은 다른 산업 분야에서도 응용력이 높다.

대표적으로 3D 모델링 활용이 많은 게임 산업이 있다. 특히 아바타 생성의 경우 단순 커스터마이징(customizing)이 아닌 모델의 외형을 정교하게 반영한 실물 아바타가 만들어지고 있다. 김 단장은 "VR·AR이 발전하며 플레이어와 아바타 사이에 거리가 줄어들었다"며 "함께 나이가 드는 아바타가 만들어진다면 현실감을 더할 수 있을것"이라고 설명했다.

나이에 따라 얼굴형이 변하거나 주름이 생길 경우 사용하는 화장품이나 화장법이 달라진다는 점에서 미용 산업의 응용력도 높다. 기업의 경우 미리 나이가 들었을 경우를 예측해 맞춤 상품을 내놓을 수 있고, 소비자의 경우 자신에 맞는 적절한 소비계획을 준비할 수 있다. 즉 에이징(aging)으로 안티 에이징(anti-aging)을 할 수 있다.

김 단장은 "앞으로도 3D 몽타주를 비롯해 인공지능 기술을 기반으로 보다 신뢰도 높은 얼굴인식 기술을 연구해 사람들에게 혜택을 줄 수 있도록 노력하겠다"는 뜻을 밝혔다.
이원희 기자의 다른 기사 더보기
독자의견
로그인 독자분들의 소중한 의견은 과학과 국민을 잇는 밑거름이 됩니다
0/ 300자