건축음향 전문가 전진용 한양대 교수, 가상공간에 '현실성' 더한다
원격 사용자 간 동적 상호작용을 위한 입체음향 실시간 모델링 및 렌더링 기술 개발
6개 마이크로폰으로 입체음향 수집, 2방향 헤드폰으로 입체음향 생성

눈을 감고 헤드폰으로 들려오는 소리에 집중해본다. 바닥에 공이 부딪치며 튀어 오르는 소리가 들린다. 텅텅~ 오래 울려 퍼지는 것이 천장이 높은 실내체육관에 있는 것 같다. 튕김 소리가 둔탁하면서도 힘 있는 것을 보아 농구공으로 짐작된다. 드리블 소리와 농구화가 바닥에 마찰하는 파열음이 점점 커지며 누군가 나에게 빠르게 다가오는 것이 느껴진다. 나도 모르게 몸을 뒤로 살짝 피하려는 순간, 소리는 내 주변을 한 바퀴 크게 돌아 오른쪽으로 멀어진다. 문득 미국 만화의 맹인영웅 '데어데블(Daredevil)'이 떠오른다. 어린 시절 시력을 잃은 데어데블은 뛰어난 무술실력과 다른 감각, 특히 청력을 이용해 각종 위치와 거리 등의 정보를 파악, 악당들과의 싸움을 유리하게 이끌어간다. 소리에 집중하니 눈을 감고 있어도 보고 있는 것 같다.

전진용 한양대학교 건축공학과 교수의 '건축음향 연구실'은 최근 입체 음향 연구를 통해 가상과 현실의 경계를 '소리'로 허물고 있다. 6채널 마이크로폰(microphone)으로 실시간 동적방향성을 갖춘 음향을 수집, 단 2개의 채널을 사용하는 헤드폰(headphone)으로 입체음향을 구현해낸다.

실제로 연구실에서 체험해보니 소리가 주는 공간감은 대단했다. 헤드폰 너머로 들려오는 소리는 현재 있는 공간을 다른 곳으로 착각하게 만들었고, 눈을 감아도 방향과 거리를 느낄 수 있게 했다. 원거리에 있는 6채널 마이크로폰과 연동해서 들어보니 멀리 떨어진 회의실에서 진행되는 대화를 바로 옆에서 듣고 있는 듯 착각이 들었다.

전진용 교수는 "연구팀에서 개발한 6채널 마이크로폰은 32개로 되어있는 기존 제품의 1/20 가격으로 같은 수준의 기능을 구현하고 있다"며 "해당 마이크로폰을 사용하면 다수의 원격사용자들에게 소리가 잘 들리게 하는 것을 넘어 방향과 거리 정보를 담은 소리를 전달함으로써 사용자에게 공간감을 느낄 수 있도록 한다"고 설명했다.

인간의 정보 습득 의존도에서 청각이 차지하는 비중은 20% 남짓으로 70%에 달하는 시각에 비하면 크지 않다. 그러나 '소리'가 주는 영향력을 따져보면 청각의 위상은 달라진다. 연구에 따르면 아이들은 시각정보보다 청각정보를 더 선호하며, 여러 연구에서 잔향기억(echoic memory:청각적 자극)은 영상기억(iconic memory:시각적 자극)보다 지속력이 더 긴 것으로 나타난다. 공포영화에서 긴장감을 고조시키는 것은 '효과음'이며, 광고에서는 중독성 있는 CM송(commercial song)이나 감각적인 배경음악이 필수다.

가상 세계에서 생동감 넘치는 현실을 구현하기 위해 가장 중요한 부분 중의 하나도 '음향'이다. HMD(Head-Mounted Display)를 통해 입체감 있는 3D 동영상을 보고 있는데 소리가 일방향이라면 몰입감이 확 떨어진다.

그러나 디스플레이(display)가 UHD(Ultra-HD) 수준의 초고화질 입체 영상을 지원하며 소비자들의 눈높이를 높여가는 동안, 음향은 여전히 2채널 방식이 주류를 이룰 만큼 매우 더디게 발전해왔다. 물론 극장 상영 영화의 경우 사물의 움직임과 위치에 따라 11개의 방향에서 소리가 전달되는 11.1채널, 가정용 홈씨어터에선 5.1채널 입체음향을 구현할 수 있지만, 최근 콘텐츠를 소비하는 방식이 극장이나 TV가 아닌 PC와 스마트폰으로 변화하면서 다수의 소비자가 사용하는 헤드폰과 이어폰을 대상으로 한 입체음향 기술들이 필요해 졌다.

때문에 최근 가상현실 분야의 주요 과제 중 하나는 물리적 사운드 소스(sound source)가 2개인 헤드폰에서 입체음향을 구현하는 것. 

국내 건축음향 분야 최고 권위자인 전진용 교수는 실감교류인체감응솔루션연구단의 '원격 사용자 간 동적 상호작용을 위한 입체음향 실시간 모델링 및 렌더링 기술 개발' 과제를 통해 '사용자들에게 입체음향을 들려주는 것'에 도전장을 냈다.
 
해당 과제의 경우 크게 2가지의 기술을 개발하는 것이 목표다. 첫 번째는 실제 음향이 갖고 있는 방향·거리·공간·입체 정보를 그대로 수집·전달하는 기술이고, 두 번째는 가상의 공간에서 발생하는 소리를 현실감 있게 생성해주는 기술이다.

연구팀은 먼저 실제음향의 실감나는 전달을 위해 전 방향에서 나는 소리를 수집하는 6채널 마이크로폰을 개발하고, 현실세계에서 발생하는 소리의 동적 방향성을 실시간으로 '캡쳐링(capturing)-모델링(modeling)-렌더링(rendering)' 하는 소프트웨어 시스템을 구축했다. 즉 원거리에 위치한 두 사람이 해당 시스템을 이용해 화상회의를 할 경우, 목소리만 듣고도 이야기를 하는 사람의 위치를 알 수 있는 것은 물론, 머리를 돌리거나 자리를 이동할 경우에도 자연스럽게 소리가 전달돼 마치 한 공간에 있는 것처럼 느껴진다.

전진용 교수는 "대여섯 명이 사용하는 규모의 사무실 공간이면 마이크로폰 하나로 충분하다"며 "방향, 거리, 위치, 동적 변화 등의 정보를 담은 소리를 전달함으로써 원격의 사용자가 서로 공간감을 공유할 수 있다"고 덧붙였다.

전방향 소리의 수집 및 전달이 가능한 6채널 마이크로폰과 시스템. <사진=정윤하 기자>
전방향 소리의 수집 및 전달이 가능한 6채널 마이크로폰과 시스템. <사진=정윤하 기자>

다음으로 가상음향 부분은 2채널 헤드폰에서도 여러 개의 외부 스피커를 통해 듣는 것처럼 입체음향을 즐길 수 있도록 하는 기술이다. 좌우, 상하 변화에 대한 3차원 동적 음원이 구현됨으로써 가상공간을 실재하는 것처럼 느끼게 한다. HMD와 헤드폰을 착용하고 연구팀이 구현한 가상의 거리를 걷다보면 다양한 음악이 들려오는데, 피아노 앨범 근처로 걸어가면 앞쪽으로 점점 크게 연주소리가 들려오고 반대로 걸으면 뒤쪽으로 연주소리가 작아진다.

연구팀의 장형석 연구원은 "우리의 귀는 양쪽의 주파수대역이나 소리의 미세한 차이를 통해 방향과 거리를 인식하는데 이 원리를 이용해 입체감 있는 음향을 만들어낼 수 있다"며 "기존에 갖고 있는 음향에 대한 이해가 이번 프로젝트에도 큰 도움이 되고 있다"고 말했다.

전진용 교수의 건축음향 연구실은 인천아트센터의 콘서트홀과 오페라홀, 세종문화회관의 체임버홀과 M씨어터 등 공연장 설계에 참여했으며, 건축물 소음 및 진동, 환경소음, 실내음향 등의 분야에서 다양한 연구를 진행해 왔다. 최근에는 심리음향학을 기반으로 음질(Sound Quality)과 음풍경(Soundscape) 분야로 연구 범위가 확대되며 건축을 넘어 공간과 관련한 음향 분야의 최고 권위자로 통하고 있다.

이번 실감교류인체감응솔루션연구단 과제를 통해 가상공간의 음향 연구를 진행하는 것은 연구팀에게도 새로운 기회다.

장 연구원은 "실감교류인체감응솔루션연구단은 참여하는 각 연구팀의 요소기술들이 최종적으로 하나로 통합되기 때문에 다양한 분야와 전공의 연구팀이 서로 교류하는 기회가 많다"며 "다른 팀과의 만남에서 시너지를 얻을 수 있는 아이디어들이 나오고 있다"고 피력했다.

연구실 내에서 가상음향 프로젝트를 주도하고 있는 장형석 연구원(왼쪽)과 전진용 교수가 연구진행에 대해 이야기 하고 있다. <사진=정윤하 기자>
연구실 내에서 가상음향 프로젝트를 주도하고 있는 장형석 연구원(왼쪽)과 전진용 교수가 연구진행에 대해 이야기 하고 있다. <사진=정윤하 기자>

현재 연구팀의 기술은 엔터테인먼트 분야에서 먼저 관심을 보이고 있다. 3D영상을 제작하는 업체에서 좀 더 현실감과 입체감을 주기 위해 음향 관련 기술을 접목시키려는 것이다.

전진용 교수는 "실내체육관과 야외에서 같은 소리가 다르게 들리는 것과 같이 특정 공간과 물체별 고유음의 특성을 바탕으로 가상공간의 음향을 생성해내는 연구도 진행 중"이라며 "해당 기술이 적용되면 가상공간에서 물체가 부딪칠 때 위치와 강도에 따라 다른 소리를 내게 함으로써 현실감을 줄 수 있을 것"이라고 설명했다.

이어 전 교수는 "연구팀의 가상음향 기술이 HMD 등 착용형 디스플레이와 결합되면 가상공간의 공존감을 크게 높일 수 있다"며 "나아가 가상물체와 손의 상호작용이 가능한 현실감 있는 가상음향을 생성하는 원천기술을 개발해 해당 분야를 선도할 것"이라고 향후 목표를 밝혔다.

저작권자 © 헬로디디 무단전재 및 재배포 금지