ETRI(원장 김명준)는 고령자의 일상 행동을 인식하는 휴먼케어 로봇 연구를 위해 3차원 시각 데이터, 음성 데이터와 요소 기술을 공개했다고 19일 밝혔다.

휴먼케어 로봇을 개발하고, 딥러닝 행동 인식 연구를 하기 위해서는 충분한 데이터를 확보해야 한다. 하지만 그동안 로봇이 사람의 일상 행동을 인식하는데 필요한 공개 데이터셋이 부족하고, 고령자 대상 데이터가 없었다. 

이에 ETRI 연구진은 로봇 환경에 특화된 고령자 행동 인식용 데이터를 마련하기 위해 지난 2017년부터 연구해왔다. 연구진은 보다 자연스럽고 신뢰도 높은 데이터 확보를 위해 대전 유성구 신성동 소재 아파트에 고령층이 실제 생활하는 주거 공간 환경을 구축해 연구를 진행했다.

참여자 100명을 모집해 일상 행동 55가지 상황을 촬영한 3차원 시각 데이터를 얻었다. 데이터셋 총 11만 2620개를 수집했는데 이는 싱가폴 난양공대(NTU)가 공개한 기존 세계 최대 데이터셋과 비슷한 수준이다.

ETRI가 공개한 데이터셋은 실제 고령자의 일상을 관찰하고 분석해 인식 대상 행동을 선정했다.

휴먼케어 로봇의 서비스 상황을 고려하고, 고령자와 로봇을 대상으로 한 대규모 3D 시각 데이터셋이라는 점에서 기존에 공개된 데이터셋들보다 휴먼케어 로봇 연구 활용성이 높다.

연구진은 로봇의 음성 인식 성능을 개선하기 위해 전국 10개 지역에서 수집된 고령자 대화체 400시간 분량 음성 데이터와 고령자 행동 인식을 위한 요소 기술도 오픈 소스로 공개했다. 

연구진이 공개한 요소 기술에는 ▲사람 검출과 추적 기술 ▲고령자의 일상행동 인식 기술 ▲외형특징 인식 기술 등이 포함됐다. 

지난해부터 연구진은 아파트 환경 외에도 실제 독거 고령자가 생활하는 가정 30곳을 방문하며 현재까지 280시간 분량의 데이터를 수집했다.

여기에 모션캡쳐, 그래픽스 기술을 이용해 대용량 데이터를 확보할 수 있는 가상 데이터 생성 플랫폼도 만들었다. 이들 데이터셋은 내년에 공개될 예정이다.  

연구진은 그동안 인간-로봇 상호작용 연구에 기여하기 위한 다양한 고품질의 데이터셋들을 구축해왔다.

지난 3월에는 로봇 발화 문장에 적절한 로봇 제스처를 생성하기 위한 데이터셋 공개 후 해외 로봇연구 그룹들과 기술 교류를 지속하고 있다. 오는 2021년 과제 종료 후 연구기간 동안 개발한 모든 기술과 데이터셋을 공개할 예정이다. 

연구진은 이 기술의 핵심특허가 행동인식 기술, 로봇 제스처를 자동으로 만드는 기술, 인간·로봇 상호작용 관련 기술이라고 밝혔다. 

연구책임자인 이재연 ETRI 인간로봇상호작용연구실 박사는 "고령자와 로봇이 상호작용하는 환경을 종합한 이번 데이터셋으로 고품질 서비스를 제공하는 휴먼케어 로봇 기술 발전에 기여하길 바란다"고 말했다.

연구는 과학기술정보통신부와 IITP의 '고령 사회에 대응하기 위한 실환경 휴먼케어 로봇 기술 개발' 사업의 일환으로 진행됐다. 
 
이번 연구를 통해 국내외 특허출원 30여건, SCI급 논문 7편, 로봇 비전인식 관련업체에 기술이전이 이뤄졌다. 향후 로봇이나 피트니스 관련 업체에 추가 기술을 이전할 계획이다.

연구진의 데이터 수집과 공개는 기관생명윤리위원회(IRB) 승인과 고령자 개개인에게 개인정보 수집·이용 동의를 거쳐 이뤄졌다.

공개된 기술과 데이터셋에 대한 정보는 과제 홈페이지에서 확인할 수 있다.