[별난현장]실력파 음악가 모인 이교구 서울대 교수팀
음악, 오디오 신호로 분석…음악추천·표절분석 등 활용

이교구 교수팀은 실력파 음악가들로 구성되어있다. DJ, 작곡가, 인디밴드 등이 모여 음악과 과학기술을 융합하고 있어 연구실 분위기가 독특하다.<사진=김지영 기자>
이교구 교수팀은 실력파 음악가들로 구성되어있다. DJ, 작곡가, 인디밴드 등이 모여 음악과 과학기술을 융합하고 있어 연구실 분위기가 독특하다.<사진=김지영 기자>

지난해 연말 홍대 클럽에서 한 밴드의 무대가 열렸다. 무대 위 조명이 비춰지고 연주가 시작되자 클럽 안 열기가 뜨거워졌다. 너 나 할 것 없이 음악으로 하나가 된 무대. 이 무대를 꾸민 사람들은 다름 아닌 공학도들, 이교구 서울대학교 융합과학기술대학원 교수팀이다.

이교구 교수팀은 대부분 실력파 음악가들이다. DJ, 작곡가, 밴드, 싱어가 모여 있으며, 인디밴드계의 아이돌로 불리는 '술탄 오브 더 디스코'의 한 멤버도 이 교수팀의 연구원 중 한명이다.

이교구 교수팀의 연구실을 찾았다. 스냅백을 쓴 힙합 청년부터 커다란 헤드폰을 끼고 한창 작업 중인 연구원들, 디제잉 장비와 기타, 베이스, 추억의 레코드판 등이 여기저기 놓여있는 독특한 공간에서 어떤 연구가 이뤄지는지 궁금증을 자아낸다.

◆ 보컬출신 공학도의 꿈 "과학기술과 음악, 함께 하고 싶었다"

이교구 교수는 대학생 시절 밴드에서 보컬로 활동하며 음악과 연구를 병행해왔다. 두 분야의 융합을 고민하던 그는 현재 음악을 분석하는 연구를 진행 중이다. <사진=김지영 기자>
이교구 교수는 대학생 시절 밴드에서 보컬로 활동하며 음악과 연구를 병행해왔다. 두 분야의 융합을 고민하던 그는 현재 음악을 분석하는 연구를 진행 중이다. <사진=김지영 기자>

"우리는 음악을 들으면 어떤 것이 목소리인지, 드럼소리인지, 베이스소리인지 알 수 있지만 기계로는 분석이 어렵습니다. 멜로디, 화성, 리듬, 템포 등을 오디오 신호로 분석해 수치화하는 연구를 하고 있습니다."

이교구 교수는 전자과 출신으로 음악분석 관련 연구를 하고 있다. 유년시절부터 음악에 대한 관심이 많아 대학시절에는 밴드 보컬로 활동하며 여러 무대에 서기도 했다. 음악을 좋아하지만 과학기술에도 관심이 많아 막연하게 두 분야를 같이 할 수 없을까 고민했던 그는 음악을 분석하는 연구를 시작했고, 이를 위해 음악학 박사학위를 받았다.

그의 연구실에도 비슷한 사람들이 많다. 작곡과 이론, 화성학을 알아야 음악을 과학기술로 분석할 수 있기에 그의 연구팀은 공학도이면서도 기본적으로 악기 1~2개는 기본으로 다룬다. 교수실, 연구실 할 것 없이 놓여있는 디제잉 기계와 전자기타, 피아노 등에서 음악에 대한 연구자들의 남다른 열정이 느껴졌다.

연구진들 자체가 음악을 좋아하고 연구하다보니 악기 다룰 줄 아는 사람들만 모아도 밴드 3팀 구성하는 것쯤 거뜬하다. 연말에 홍대나 관악 근처 클럽에서 연주도 한다.

그렇다면 음악과 과학기술 융합은 어떤 분야에 활용되는 것일까.

우리는 인터넷으로부터 원하는 논문이나 정보, 이미지 등을 찾는데 텍스트를 이용한다. 음악도 마찬가지로 제목이나 가사 등을 활용해 검색하고 있다. 하지만 나의 감정적인 상황에 맞는 음악, 또 평소 즐겨듣는 장르를 분석한 음악 검색은 쉽지 않다. 이런 분야를 연구하는 것이 이교구 교수팀이다.

이 교수팀은 눈으로 보이지 않는 음악을 컴퓨터로 분석하는 연구를 진행 중이다.<사진=이교구 교수팀>
이 교수팀은 눈으로 보이지 않는 음악을 컴퓨터로 분석하는 연구를 진행 중이다.<사진=이교구 교수팀>

이 교수팀은 보이지 않는 음악을 컴퓨터 분석을 통해 데이터로 전환 시켜주는 연구를 진행한다. 그는 "음악은 멜로디, 화성, 리듬, 템포 등 다양하게 구성돼 있어 분석하는 것이 쉽지 않다"며 "빅데이터와 전기공학 등을 활용해 음악을 오디오 신호로 분석해내고 있다"고 설명했다.

이러한 연구의 상용화는 포털사이트의 음악검색 서비스를 예로 들 수 있다. 카페나 길거리에서 흘러나오는 노래 제목이 궁금할 때 스마트폰에 음악을 들려주고 제목과 가수를 검색하는 것이 바로 이같은 기술에서 비롯된다.

음악 분석연구는 향후 사용자의 필요에 맞춘 음악정보 검색 등에 활용될 수 있을 것으로 기대된다. 그에 따르면 음악의 신호를 분석하고 추출해 낼 수 있다면 사람들이 원하는 음악을 표현해내고 찾아줄 수 있다.

그는 "사용자가 평소 어떤 음악을 듣는지 오디오를 분석해 좋아할 법한 음악들을 추천할 수 있을 것"이라며 "아마존의 경우 추천을 통해 매출의 30%를 올리고 있는 것으로 나타난다. 소비자 취향에 맞춘 음악 추천도 소비자에게 만족을, 기업에게는 이익을 창출할 수 있는 기술로 활용될 수 있을 것"이라고 말했다.

◆ 표절 잡아내는 기술부터 악기연습, 가상현실 기술 등 연구한다

음악을 분석하는 작업을 한다면 표절을 분석할 수 있는 시스템도 개발할 수 있지 않을까. 정답은 '예스(Yes)'. 이 교수팀은 저작권 위원회와 함께 표절 곡을 분석할 수 있는 시스템을 개발한 바 있다.

이 시스템은 기준이 모호한 표절에 대한 객관적 기준마련을 위해 제작됐다. 개발한 시스템은 음악의 화성진행 등을 분석해 두 곡이 얼마나 비슷한지 등을 수치화해준다.

음악계의 평론가 이론가, 작곡가 등 내로라하는 전문가들 앞에서 시연을 했으며 좋은 평가를 받았다. 하지만 프로그램을 공개해 사용하는 것에 대한 업계의 거부감으로 실제 사용으로까지 이어지지는 못했다.

그러나 이 같은 연구는 음정분석 시스템과 초음파 신호를 통해 위치를 추적할 수 있는 연구 등으로 이어졌다.

이 교수팀은 음정분석 시스템을 개발했다. 사용자가 악보에 맞춰 제대로 연주하고 있는지 분석해주는 프로그램이다.<사진=이교구 교수팀>
이 교수팀은 음정분석 시스템을 개발했다. 사용자가 악보에 맞춰 제대로 연주하고 있는지 분석해주는 프로그램이다.<사진=이교구 교수팀>

음정분석 시스템은 사용자가 악보에 맞춰 제대로 연주하고 있는지 분석해주는 시스템으로 스마트기기와 연동시켜 사용가능하다. 초보자의 경우 연주에 어려움을 겪어 템포가 느려지거나 빨라질 수 있기 때문에 이 교수팀은 사용자 연주 템포에 맞춰 느려졌다 빨라졌다를 인식할 수 있게 개발됐다.

또 다른 성과인 초음파 신호위치 시스템은 미래 기술로 꼽히는 가상현실에 초음파 사용이 가능하다는 것을 보여준 연구 성과다.

이 기술을 사용하면 평범한 전봇대가 가상현실 속에서는 나무가 되어있고, 쓰레기 더미가 푸른 산으로 둔갑할 수도 있다. 사용자가 가상현실을 보여주는 안경을 쓰고 움직이면 그에 따라 가상의 나무(실제로는 전봇대)도 커졌다 작아졌다가 가능하다.

이는 초음파장치를 통해 안경을 쓴 사용자가 어느 위치에 있는지 신호로 위치를 추적함으로써 가능한 기술이다. 가상현실을 좀 더 생동감 있게 전달하고 몰입하는데 사용할 수 있다.

그는 "이 기술을 최근 한 예술가와 합작해 전시했다"면서 "원전으로 폐허가 된 일본 후쿠시마에서 새로운 희망을 찾아보자는 의미를 담은 가상현실 전시에 사용됐다"고 설명했다.

연구에 사용 중인 LP판. <사진=김지영 기자>
연구에 사용 중인 LP판. <사진=김지영 기자>

과거부터 함께한 과학기술과 음악…"음악 통한 감정변화 원인 모델링하고 싶어"

"과학기술과 음악의 융합은 오늘만의 이야기는 아닙니다. 많은 작곡가들의 음악을 분석하면 수학확률에 근거하는 경우가 많아요. 베토벤도 모차르트의 음악도 수학적인 황금비율에 따르고 있다는 분석들이 상당히 많습니다. 이처럼 수학자들이 음악을, 음악가들이 수학을 사랑했던 이야기를 과거로부터 쉽게 찾아볼 수 있습니다."

이 교수는 음악과 과학기술의 융합은 사실 전혀 새로운 분야가 아니라고 설명했다. 그에 따르면 피타고라스와 아이슈타인 등 과학자들은 철학자이자 수학자, 음악가로 활동하면서 사운드의 수학적 원리를 연구하기도 했다. 또 과거로부터 화음은 물리학의 기초분야 중 하나로 간주되었는데 이는 현대의 음악음향학의 전신이라고 볼 수 있다.

이 외에도 디지털기기를 통한 음악 저장과 CD, MP3 등도 과학기술의 발전과 함께 음악이 진화했음을 알 수 있는 예다.

이는 음악분석도 마찬가지로 그는 "연구대상이 음악이고, 연구 툴들이 기술적 백그라운드를 요구하다보니 자연스럽게 융합이란 말이 많이 붙었지만 사실 컴퓨터과학에서 많이 개발되어왔던 것을 음악분석에 이용하는 것으로 전혀 새로운 것은 아니다"라고 말했다.

앞으로 그는 사람들이 음악을 듣고 감상하면서 느끼는 감정을 분석하고 모델링하는 연구를 추진하고자 한다.

"인류에게 공통적인 것은 언어와 음악이라고 합니다. 그만큼 원초적인 것이 음악인데 음악을 듣다가 한 순간 감정이 북받쳐 눈물이 날 때도 있잖아요. 단순한 신호인데 인간이 왜 그런 감정을 느끼게 됐는지가 궁금해요. 그런 감정을 느끼게 되는 원인이 무엇일까를 밝힐 수 있는 모델링을 하고자 합니다. 뇌파분석 등 더 많은 분야의 융합이 필요하겠지만 꼭 해보고 싶은 분야입니다."

연구실 곳곳 놓여있는 키보드와 디제잉기계 등.<사진=김지영 기자>
연구실 곳곳 놓여있는 키보드와 디제잉기계 등.<사진=김지영 기자>
저작권자 © 헬로디디 무단전재 및 재배포 금지