바이오인

[R&D Brief] 스위스 국립과학재단(SNSF)의 베이지안 순위 및 추첨제

◈본문

※ 본 브리프는 스위스 국립과학재단(Swiss National Science Foundation) Rachel Heyard et al.(2022), ‘Rethinking the Funding Line at the Swiss National Science Foundation: Bayesian Ranking and Lottery’를 요약

1 스위스 국립과학재단(SNSF) 개요

□ 설립 및 역할

○︎ 1952년 민간 재단으로 설립되었으며, 주요 업무는 모든 학문분야의 연구과제에 연구비를 지원하고, 젊은 연구자의 성장을 돕는 것임.

‐ 2021년 20,000명 이상의 연구자를 포함하여 5,700여 과제에 8억 8,200만 프랑(한화 약 1조 3,000억원) 지원

□ 예산

(단위 : in millions francs)                                           

○︎ 2021~2024년 지원구조

□ 평가절차

○︎ 6단계로 평가

2 스위스 국립과학재단(SNSF)의 선정결정 방법

□ 동료평가의 한계

○︎ 연구지원기관은 일반적으로 연구프로젝트를 선정하기 위해 동료평가 및 전문 패널에 의존하나 한계도 존재

‐ high-risk 연구과제나 다학제적 연구의 경우 편견(bias)이 포함되며, 특히 연구비 지원선(funding line)에 가까운 제안서의 경우 심사자와 패널 간 신뢰도*가 낮다고 할 수 있음.

* 동일한 제안서에 대해 서로 다른 심사자들이 다른 점수를 주거나, 동일한 심사자가 동일한 제안서에 대해 서로 다른 시간에는 다른 점수를 부여할 수 있어 이러한 차이는 동료평가 시스템의 불확실성을 나타냄.

□ 과제 선정 시 베이지안 순위(Bayesian Ranking) 모델 도입

○︎ 스위스 국립과학재단(SNSF)은 제안서 선정에서 우연의 역할을 인식

‐ 연구비 지원선(funding line)에 분포해 있는 중간 그룹에 대한 추첨을 도입

※ 평가과정을 위한 베이지안 순위 모델 도입

3 베이지안 순위 및 무작위 추첨제 모델 세부내용

□ 동일한 제안서를 평가하는 개별 동료평가자 간에 불일치

○︎ 여러 연구에서 Kappa* 통계량이 0.50 미만으로 측정되었으며, 핀란드 아카데미의 한 연구에서는 동일한 제안서를 검토하는 두 전문 패널의 평가를 비교한 결과 패널 점수의 Kappa는 0.23으로 측정

‐ 이는 패널 토론이 평가의 일관성을 향상시키지 않았음을 나타내며, 선정 결정이 동료평가자, 패널, 그리고 우연에 의존함을 의미함.

* 코헨의 카파 상관계수는 2명의 평가자의 평가에 대한 신뢰도를 구하기 위한 확률로, 분류 모델의 신뢰도를 확인하는 평가지표임. 코헨의 카파 상관계수는 음의 값을 나타내면 두 평가자의 평가 일치도는 거의 일치하지 않음을 나타내며, 0.41～0.60일 경우 적정한 수준으로 일치, 그보다 높을 경우 상당히/거의 일치한다고 볼 수 있음.(네이버 지식백과, AI 용어사전)

□ 연구제안서 선정 시 무작위 추첨제(lottery)를 적용하는 기관

○︎ 뉴질랜드 보건 연구위원회, 폭스바겐 재단, 오스트리아 연구기금 등은 혁신적 연구 또는 창의적 연구 아이디어에 중점을 둔 연구에 무작위 추첨제(lottery)를 적용하고 있음.

‐ 스위스 국립과학재단(SNSF)은 청년 펠로우십 프로그램에서 연구비 지원선(funding line)에 가까운 제안서에 수정된 무작위 추첨제(lottery)*를 도입

* Bayesian ranking(BR) 방법을 통해 연구비 지원선(funding line)을 정의하고 무작위 추첨제에 포함될 제안서를 식별

※ 연구비 지원선(funding line)

∙ 많은 연구지원기관은 연구비 지원선을 설정하기 위해 평가 점수의 간단한 평균을 기반으로 제안서에 대한 순위를 매김. 그러나, 평균은 이해하기 쉽지만 순위 매기기에는 최적이지 않음. 또한, 연구비 지원선 주변의 제안서는 종종 유사하거나 심지어 동일한 점수를 갖게 되며, 두 인접한 점수가 다르다는 통계적 증거는 약함.

...................(계속)

☞ 자세한 내용은 내용바로가기 또는 첨부파일을 이용하시기 바랍니다.