이 학생은 졸업을 앞둔 학부생이지만 강연자로 단상에 올랐다. 한 AI프렌즈 관계자는 "발표자가 아직 공부중인 학생임에도 강화학습 커뮤니티에서 운영진의 직책을 수행할 정도로 실력이 대단하다"고 전했다.

강화학습은 특정 행동 발생 시 결과에 따른 보상을 부여하며 학습을 진행하는 방법이다. 환경과 시스템·학습·보상 요소가 상호작용하면서 시스템이 작동한다. 최근 AI 열풍이 불며 딥러닝과 자동 데이터 학습에 대한 관심이 커지는 가운데 강화학습도 활발히 연구가 진행되고 있다.

강화학습은 기계 학습의 일종으로 행동심리학의 영향을 받았다. 그는 강화학습의 예시로 쥐 실험을 소개했다. 연구자는 실험대상인 쥐를 굶긴 뒤 상자에 가둬놓았다. 쥐는 돌아다니다가 우연히 상자에 설치된 지렛대를 밟게 되는데, 밟을 때마다 먹이가 제공됐다. 처음에 쥐는 지렛대를 밟는 행위와 먹이의 상관관계에 대해 알지 못했지만 이러한 상황이 여러 차례 반복되자 쥐는 상관관계를 알아채고 지렛대를 자주 눌러 먹이를 획득했다.

이 실험에서 지렛대가 설치된 상자, 지렛대를 누르는 행동, 먹이는 각각 강화학습의 환경 및 시스템, 학습, 보상에 해당한다. 세 가지 요소가 상호작용함으로써 강화학습이 진행됐고 쥐는 먹이와 지렛대 누르는 행위의 상관관계에 대해 성공적으로 학습했다.

강화학습은 실생활의 다양한 시스템에 적용될 수 있다. 그는 자율주행 자동차를 예로 들어 설명했다. 자율주행 자동차가 성공적으로 주행하기 위해서는 도로에서 운행되고 있는 다른 자동차, 날씨, 도로 상태, 보행자의 여부 등 다양한 요소가 고려돼야 한다.

자율주행 자동차가 '신호등이 빨간불이니까 멈춰서야 하고 비가 내려 주행속도를 늦춰야 한다'고 판단하는 과정에도 강화학습 데이터의 적용이 요구된다. 그는 "강화학습을 통해 다양한 요소를 학습시키면 진정한 인텔리전트 미래 자동차를 구현할 수 있다"는 의견을 전했다.

보상은 학습 직후 바로 산출되기도 하지만 아닌 경우도 있다. 특정 행동을 취했을 때 시간이 지나고 보상이 지급되면 어떤 행동에 의해 보상이 산출됐는지 정확히 추정할 수 없는 문제가 생긴다.

또한 같은 과정을 진행하더라도 시기에 따라 기대치를 다르게 취하는 케이스가 존재한다. 같은 알고리즘을 이용한 학습에서 하나는 지금 당장 진행하고, 나머지는 10년 후에 진행한다면 얻을 수 있는 예측값이 달라진다. 이러한 경우에는 시기에 따른 보상 가중치를 따로 설정하고 수식을 입력해야 한다.

학습의 어려움을 해결하고 성공적인 강화학습을 수행하기 위해 그는 직접 노트북으로 시스템을 구현하며 참가자들의 이해를 도왔다.

이날 이 학생은 참가자들에게 실습 코드와 매뉴얼을 제공하고 파이토치로 DQN을 구현하는 과정을 시연했다. 누구나 이해하기 쉽도록 기초부터 설명하면서도 어려움을 겪는 참가자들을 돕는 등 적극적으로 실습을 진행해 큰 호평을 얻었다.

그는 "처음에는 강화학습이 어려울 수 있지만 간단한 것부터 시작하고 참을성 있게 학습을 진행하면 성과를 얻을 수 있을 것"이라고 전하며 "인텔리전트 시스템을 구축하고 미래의 기술을 구현하기 위해 강화학습은 필수적인 수단"이라고 강조했다.

한편 AI프렌즈 학술세미나는 '혁신네트워크: AI프렌즈'에서 AI멤버십 모임과 함께 격주로 진행하는 행사로, 페이스북의 AI프렌즈 페이지를 통해서 모임과 행사 일정 등을 안내받을 수 있다.