바이오인

 연구 재현성 이슈(1) - 논의 및 현황

정책총괄실 권이현, 박귀순

[목차]

1. 연구 재현성(Reproducibility)에 대한 논의
2. 연구 재현성 이슈 현황
3. 시사점
참고자료
알아두면 좋은 R&D Q&A

[내용]

1. 연구 재현성(Reproducibility)에 대한 논의

ㅇ (개요) 재현성(reproducibility)은 경험적/계산적/통계적 측면에서 발생할 수 있으며, 반복성(repeatability), 견고성(robustness), 신뢰성(reliability), 일반화 가능성(generalizability)의 용어로 사용되기도 함
- 연구분야에 따라 해당분야에서 활용되는 재현성의 의미는 다를 수 있음

☞ (예시) 계산과학 분야 : 충분한 정보가 제공됨에 따라 연구에서 제시된 계산을 반복할 수 있는 것을 의미
☞ (예시) 의생명 분야 : 다른 실험실에서 나온 연구를 처음부터 시작하여 끝까지 따라 하였을 때 비슷한 결과가 나오는 것을 의미

ㅇ (문제) 연구 재현성이 무엇인지 명확하게 표준화된 정의가 없기 때문에 타인이 연구결과/실험방법 등을 체크하기 위해 필요한 충분한 정보를 정의하고 범위를 확정하는 것이 어려움
- ‘충분한 정보’의 범위란 논문에 대해서 동료심사가 진행될 수 있도록 주어져야 하는 논문 외의 자료들(예: 데이터, 코드, 방법론 등)

2. 연구 재현성 이슈 현황

ㅇ Nature는 2016년에 1,576명의 연구자에 대한 설문 조사를 실시함
- 연구자의 70% 이상이 다른 연구자의 실험 재현에 실패, 50% 이상이 자신의 실험을 재현하는데 실패
- 재현성 위기가 있다고 생각하는가라는 질문에 52%가 매우 심각, 38%가 약간 심각, 3%가 위기 없음, 7%가 모름으로 응답
- 분야별 재현성 실패 경험(타 연구자 실험/본인 실험)을 묻는 질문에, 대부분의 연구자들이 재현성에 대한 실패 경험이 있으며, 화학분야와 생물분야가 가장 높은 재현성 실패를 경험한 것으로 답변

☞ 타 연구자 실험 : 화학 > 생물학 > 물리학/공학 > 의학 > 지구/환경 > 기타
☞ 본인 실험 : 화학 > 생물학 > 의학> 물리학/공학 > 기타 > 지구/환경

? 조사 대상자 90%가 재현성 위기가 심각하다고 답변하였으나, 조사 대상자의 단 31% 미만이 발표된 논문 결과가 잘못되었다고 판단

? 대다수 연구자가 실험을 재현하지 못한 경험이 있지만, 20% 미만이 자신의 연구결과를 재현할 수 없는 타연구자와 접촉한 적이 있다고 답변
- 분야별 출판된 연구의 재현성 정도를 묻는 질문에 73%가 최소 50% 이상이 재현 가능하다고 응답

? 그러나, 심리학과 생물학에서 가장 잘 알려진 연구결과에 의하면 이보다 현저히 낮은 각각 40%, 10%로 분석됨
- 재현성을 위해 수립된 절차가 있는지에 대한 질문에 총 66%가 긍정 답변

? 5년 이내 33%, 5년 이전 7%, 연구 시작 시부터 26%

3. 시사점

ㅇ 연구 재현성 이슈에 있어 현재의 문제점은 아래와 같이 조사됨
- 연구 재현성에 대한 분야별 의미가 달라 합의된 공통 정의 부재로 재현성을 담보하기 위해 필요한 제공 정보를 정의하고 범위를 확정하는데 어려움
- 연구자들이 재현성의 위기에는 전반적으로 동의하나, 본인의 연구분야의 재현성에 대해서는 낙관적인 입장을 취하는 등 모순적인 면을 내포
- 연구에 대한 재현 실패 시에도, 해당 연구가 잘못 됐을 수 있다는 인식은 낮음

...................(계속)

☞ 자세한 내용은 내용바로가기 또는 첨부파일을 이용하시기 바랍니다.