연구현장에서는 이번 기회에 단순한 온라인 평가 시스템 개편 수준에 그치는 것이 아니라, 글로벌 차원에서 평가 전문가 풀(Pool)을 늘려 기존 과학기술 평가체제를 합리적 방향으로 개혁해야 한다는 목소리가 높다.

연구재단은 정부로부터 업무처리 전산화 시스템 '온-나라 시스템'을 통한 R&D 과제선정 평가시스템 구축을 권장 받았다. 해당 시스템은 온라인상에서 계획수립, 일정 관리, 의사결정 등 업무처리 과정을 효율적으로 사용할 수 있다. 다만 정부에서만 사용했던 시스템으로 민간에 개방하는 것이 최선인지 논의 중으로 당장 도입이 쉽지 않은 상황이다. 
 
연구재단은 온라인 R&D 과제선정 평가시스템 도입을 위해 교육부와 과학기술정보통신부 등 부처 간 조율 중이다. 3월 중순 연구재단 내부에서 소규모 사업 대상 온라인 시스템 시범평가를 진행한 바 있다. 관련 내용을 정리 중이다.

연구재단 관계자는 "실제로 해당 시스템 도입이 가능한지 내부교육과 테스트 등을 통해 논의할 계획"이라며 "이번 기회를 잘 활용하면 R&D 과제선정 평가시스템 개선의 결정적 계기를 만들 수 있을 것"이라고 말했다. 

◆ 평가시스템 계속 된 잡음 "'평가단=자긍심' 심어줘야"

연구개발 사업평가는 1998년 국가연구개발사업 조사·분사·평가가 시범적으로 시행된 해를 기준으로 올해 22년째를 맞았다. 그간 지적됐던 논문의 양이 아닌 질적 평가를 위한 여러 개선이 이뤄져 왔지만 연구자들 사이에서 개선 요구가 끊이지 않았다. 현장에서 요구의 핵심은 평가 전문성 확보다.

R&D과제가 급증하면서 해당 분야 전문가로 심사위원을 구성하지 못하는 경우가 지적돼왔다. 공정한 평가를 위해 같은 연구소나 학교 출신 등 재적 사항 등을 고려해 평가단을 구성하거나 각 지역에서 전문가를 섭외하면서 전문성이 떨어지는 경우도 비일비재했다. 

평가공문을 받고 평가단으로 참석했지만, 뚜껑을 열어보니 연구 분야가 달라 평가에 곤욕을 치렀다는 사례도 적지 않다. 연구결과를 검토할 전문가 풀이 다양하지 못해 한 명의 연구자가 1년에 평가만 수십 차례 참여하는 일도 있다.
 
문제점 해결을 위해 연구재단은 과제 수가 너무 많거나 10배수 5배수 등 우수과제 선정을 위한 일부 과정에 온라인평가를 병행해 왔다. 'AI 심사위원 추천시스템 도입'도 시범 도입했지만, 아직 연구 단계다.

미국국립보건원(NIH)의 경우 연구 선정평가를 위해 전문가 중심 정규심사패널 위원을 구성하고, 이와 별도로 매번 모집을 통해 심사위원을 구성해 움직인다. NIH의 심사위원이 됐다는 것은 해당 분야의 전문가로 인정한다는 뜻으로 통한다. 일종의 경력을 쌓는 것으로 연구자 참여율이 높다.
 
이들은 연구선정 평가과정에서 ▲자기 전문분야인가 ▲얼마나 좋은 연구인가 ▲연구기관이 얼마나 서포트가 가능한가 ▲연구의 실행 가능성은 얼마나 되는지 등을 면밀하게 따지며 동료평가제도(peer review system)를 진행한다. 심사위원들이 책임감 있게 심사할 수 있도록 전문가명단은 투명하게 공개된다. 학연, 지연, 경쟁연구자가 심사하지 못하도록 철저하게 관리된다.
 
연구 규모가 크고 중요한 과제를 평가·심사하기 위해 보통 대면심사를 진행하지만, 심사위원 참가가 어려운 경우 텔레컨퍼런스를 활용한다. 연구과제 제안을 위한 RFP(사업제안서) 공고도 1년에 정해진 3번의 기간을 통해서만 진행되며, 연구자도 심사위원들도 충분한 기간을 가지고 연구계획서를 작성하고 검토한다. 우리나라는 RFP 공고가 연 2회로 정해져 있지만 갑작스럽게 공지되는 경우가 많아 몇 주 안에 연구계획서를 작성하고 선정되는 사례가 빈번하다.
 
단시간 연구선정 평가시스템은 '우리나라 R&D와 경제성장을 단시간에 끌어올렸다'는 평가도 있다. 하지만 이제는 속도전보다 전문성을 고려한 시스템이 더 필요한 시점이라는 현장 의견이 지배적이다.
 
미국에서 오래 연구생활을 해온 류훈 KIST 단장은  "한국의 빠른 인터넷 시스템과 5G 등을 장점을 활용한다면 미국보다 더 나은 시스템 구축을 실현할 수 있다"고 말했다. 하지만 그는 "무조건 선진 시스템을 따라 하기보다 우리 사정에 맞는 시스템을 만드는 것이 중요하다. 이번 기회를 통해 창의적이고 혁신을 주도할 수 있는 한국형 과제선정평가 시스템 구축이 되길 바란다"고 덧붙였다.

동료평가제도 구축은 더 나은 연구성과로 이어질 것이라는 관측도 있다. 미국의학연구소 하워드휴스의학연구소의 로버트 H 싱어 선임 연구원은 한 매체와 인터뷰를 통해 "NIH나 미국과학재단(NSF)은 예산을 지원하고 평가할 때 동료평가제도에 의해 이뤄지는 연구자 주도 펀딩 방식이 창의성과 혁신을 주도하고 있다"며 "한국이 이 모델을 따른다면 유사한 결과를 가져올 것"이라고 조언하기도 했다.

원광연 국가과학기술연구회 이사장은 언론기고를 통해 "수많은 학회지 속에서도 네이처, 사이언스와 같은 학회지가 '권위 있는' 학회지로 인정받는 것은 세계적인 학자들의 동료평가제도로 검증된 최첨단의 연구결과만이 발표되기 때문"이라며 동료평가제도의 중요성을 언급한 바 있다.
 
동료평가제도를 제대로 운영하기 위해서는 국내 전문가 풀이 많을수록 좋다. 하지만 인구가 많지 않은 우리나라에서 미국, 유럽처럼 다양한 연구자 풀을 갖기란 쉽지 않다. 온라인 시스템이 자리를 잡으면 해외 전문가평가풀을 활용한 R&D 선정평가도 기대할 수 있다. 

하지만 무엇보다 논문리뷰에 대한 연구자 마음가짐이 중요할 것으로 보인다. 과학기술계 관계자는 "우리나라는 리뷰양도 적은데다 우리나라 논문리뷰를 보면 꼼꼼하지 못한 부분들이 보인다"며 "이번 기회가 동료평가에 대한 훈련을 할 수 있는 계기가 되길 바란다"고 말했다.

이어 그는 "온라인 R&D선정평가시스템의 단계별 확장과 시범적용은 단기간내에 해결할 수 없는 과제다. 충분히 시간을 가지고 개선해나가며 국내 사정에 맞는 시스템으로 변화시켜야할 것"이라고 말했다.