바이오인

연구비 지원 기관, 편향과의 전쟁: 선정평가의 공정성을 지키기 위한 고군분투

[NRF R&D Brief 2024-24호]

◈본문

1.동료 평가와 편향

〇 동료 평가(peer review)는 지금도 논문 출판,연구비 지급 등을 결정하는 주된 평가 방식으로서 널리 활용되고 있음.

- 학술 생태계가 디지털 시스템으로 급격히 전환되고 있지만 대다수 연구자들은 여전히 동료평가를 가장 신뢰하고 있는 것으로 보이며, 한 설문조사에 따르면 연구비 배분을 결정하는 데에도 동료 평가를 가장 적절한 방법으로 꼽는 응답이 많았음.

〇 그럼에도 동료 평가는 성별(gender), 인종(ethnicity), 지역(country) 등과 관련하여 평가자가 무의식적으로 갖는 편향(unconscious bias) 때문에 늘 효용성 논란에 휩싸여 왔음.

- 무의식적 편향은 잘 드러나지 않기에 해결도 쉽지 않음. 일례로 평가자들이 연구 보조금 신청자의 성별을 모르더라도 제안서에 드러난 남녀의 서로 다른 언어 사용 방식에 영향을 받아 성별 편향이 작용할 수 있음.

〇 무엇보다 권위(prestige), 평판(reputation) 등에 따른 편향은 여러 연구를 통해 문제점이 드러났으며, 지금까지도 해결에 큰 난항을 겪고 있음.

- 노벨상 수상자와 무명의 연구자가 공동으로 집필한 원고에서 노벨상 수상자가 교신저자로 표시되면 그렇지 않은 경우에 비해 평가자로부터 게재 거부 권고를 훨씬 더 적게 받았고,평가도 훨씬 더 호의적이었음.

-  평가자들은 권위 있는 저자의 이름과 기관이 공개되면 그렇지 않은 경우보다 게재 승인을 권장할 가능성이 더 높았음.

○ 위와 같은 편향 문제로 인하여 신진 연구자의 참신한 연구가 학술 출판뿐만 아니라 연구보조금 수혜에서도 불이익을 입고 있다는 우려가 설득력을 얻고 있음.

- 스위스의 공공 연구비 지원 프로그램에서 신진 과학자는 중견 과학자보다 연구비를 신청할가능성이 더 높음에도 평가자로부터 평균적으로 더 낮게 평가받고 수혜 가능성도 그만큼 더 낮다는 사실이 발견됨.

- 연구자 4,700명을 대상으로 실시한 설문조사에서 약 절반 정도가 신진 연구자의 연구 제안이 중견 연구자의 연구 제안만큼 객관적으로 평가받지 못한다고 응답하였음.

- 참고로 직접적인 증거는 아니지만, 어떤 분야에서 저명한 연구자가 예기치 않게 사망하면 그와 자주 협력한 동료 또는 후배의 출판물은 갑자기 감소한 반면, 새로 입문한 연구자의 출판물은 눈에 띄게 증가하였음.

2.편향에 대처하는 전형화된 방법들

○ 대다수의 연구비 지원 기관은 편향 배제를 평가자 자율에 맡기고 있으며, 이를 지원하고자 지침, 교육 과정, 학습 모듈 등을 개발하여 제공하고, 나아가 관련 교육의 이수를 의무화하고 있음.

- 영국 의학연구위원회(MRC)는 외부 평가자(external reviewers), 분과별 연구위원회(boards) 및 패널(panels)  회원을 대상으로「편향 방지 지침(Tackling  Bias  in  Peer  Review Guidance)」을 숙지하도록 제공하고 있음.

- 캐나다 보건연구원(CIHR)의 연구 보조금 평가에 참여하는 검토 위원회 구성원은 모두 편견 예방에 관한 교육을 이수하여야 함.

- 미국 국립보건원(NIH)도 2024년 5월부터 동료 평가 회의에 참석하기 전에 모든 평가자가 검토 무결성과 편견 완화와 관련한 교육을 이수하도록 의무화.

○ 다음으로 피평가자에 대한 무의식적 편견을 원천적으로 차단하려는 시도로서, 피평가자의 신원이나 소속 등을 평가자에게 공개하지 않는 이중맹검(double-blind) 평가 방식을 들 수 있음.

- 이중맹검 평가 방식은 주로 새롭고 비전통적인 과학적 접근방식이나 독창적이고 도전적인 아이디어를 추구하는 연구비 지원 프로그램에서 전격적으로 도입하여 시행하고 있음.

※ 대표적인 사례로서 스위스 국립과학재단(SNSF)의 SPARK, 캐나다 보건연구원(CIHR)/ 자연과학·공학연구협회(NSERC)/사회과학·인문학연구협회(SSHRC)의 New  Frontiersin Research Fund 등이 있음.

○ 한편, 일부 기관은 무의식적 편견 등이 평가의 공정성에 어느 정도 영향을 미칠 수밖에 없는 기존 동료 평가 방식의 한계를 인식하고, 매우 파격적인 ‘무작위 추첨(lottery)’ 방식을 지속적인 시뮬레이션과 현장 실험을 거쳐 제한적으로 적용하고 있음.

...................(계속)

☞ 자세한 내용은 내용바로가기 또는 첨부파일을 이용하시기 바랍니다.