바이오인

의학 문헌고찰에서 AI 챗봇의 활용 가능성 연구

◈본문

▢  연구 배경

체계적 문헌고찰(SR : systematic review)은 의학 분야에서 널리 사용되는 근거 종합 방법이다. 그러나 SR의 생산 및 업데이트 과정에는 많은 자원이 요구되기 때문에, 이를 자동화하고 효율화할 필요성이 커지고 있다. 최근 거대 언어 모델(LLM : large language model) 기반의 AI 챗봇은 SR의 효율성을 향상할 수 있는 잠재력을 가진 도구로 평가되고 있다. 

▢  연구 목적 

본 연구는 의학 분야에서 SR 수행의 효율성을 높이기 위해 AI 챗봇의 활용 가능성을 평가하고, 이를 통해 향후 관련 의사결정에 참고할 수 있는 기초자료를 제공하는 것을 목표로 하였다. 특히, LLM 형태의 생성형 AI를 이용한 AI 챗봇에 중점을 두어 연구를 진행하였다. 

▢  연구 방법

1. 의료 분야에서 LLM 사용의 잠재적 영향 탐색 

국내 전문가의 의견을 바탕으로 의료 분야에서 LLM의 장점과 잠재적 위험을 분석하고, 안전한 활용 방안을 모색하기 위해 델파이 조사를 실시하였다. 패널은 LLM의 의료적 활용에 대한 전문 지식을 갖춘 20명의 전문가와 정부 관계자로 구성되었으며, 2024년 8월부터 10월까지 웹 기반 설문지를 통해 두 차례에 걸쳐 조사가 진행되었다. 

조사는 LLM에 대한 다음의 5가지 영역에 대하여 수행되었다: (ⅰ) 의료 진료 분야 활용 가능성, (ⅱ) 의료 진료 활용 시 장점, (ⅲ) 의료 진료 활용 시 위험 요소, (ⅳ) 시스템의 신뢰성 확보를 위한 요건, (ⅴ) 적절하고 안전한 활용을 위한 필요 사항. 각 영역별 질의 항목에 대해 동의 정도 또는 중요도를 5점 척도로 평가하였으며, 모든 패널의 응답 결과를 바탕으로 통계적 타당성을 검토하기 위해 내용 타당도 비율(CVR: Content Validity Ratio), 수렴도(CON: convergence), 합의도(COS: consensus), 변동 계수(CV: Coefficient of Variation)를 분석하였다.

2. 의학 분야에서 AI 챗봇을 활용한 체계적 문헌고찰

의학 분야에서 SR을 수행하는 데 있어 AI 챗봇의 활용 가능성을 분석하기 위해 문헌 조사와 파일럿 실증 조사를 실시하였다. SR의 여러 단계(검색 전략 설정, 제목 및 초록 선별, 자료 추출, 비뚤림 위험 평가 등)에 AI 챗봇을 도입한 선행 연구 결과 및 관련 자료를 조사하였다. 이후 전문가 자문 결과와 가용 자원을 고려하여, 문헌 선별 및 비뚤림 위험 평가 단계에서 AI 챗봇을 이용한 자동화 가능성을 예비적으로 검증하였다. 

문헌 선별 자동화는 제목과 초록을 기반으로 배제할 문헌을 일차적으로 선별하는 과정의 자동화 가능성에 초점을 맞추었다. 배제기준(전임상 연구, 원저 논문이 아닌 연구, 회색 문헌 등)에 부합하는 문헌을 자동으로 선별할 수 있는지 ChatGPT를 활용한 문헌 선별 프로그램을 통해 예비적으로 연구하였다. 비뚤림 위험 평가의 자동화는 SCIE급 학술지에 게재된 논문에서 보고된 추천 프롬프트를 기반으로 수행되었다. 총 3종의 AI 챗봇 모델(ChatGPT, SciSpace, wrtn)을 대상으로 하였으며, AMSTAR 2와 modified ROB (mROB) 두 가지 도구의 자동화 가능성에 대한 예비 검증을 실시하였다. AI 챗봇의 성능은 평가 영역별로 정확성, 일관성, 소요 시간을 분석하였다. ‘정확성’은 표준값(인간 연구진의 합의된 결과)과의 일치도로 정의하였으며, ‘일관성’은 동일 챗봇 모델에서 5회 반복 수행 시 표준값과의 일치 여부로 정의하였다. ‘소요 시간’은 프롬프트를 입력하고 전송 버튼을 누른 시점(시작 시각)부터 해당 프롬프트에 대한 챗봇의 답변이 완료되는 시점(종료 시각)까지로 정의하였다. 

...................(계속)

☞ 자세한 내용은 내용바로가기 또는 첨부파일을 이용하시기 바랍니다.