바이오인

뇌-기계 인터페이스

침습형 뇌-기계 인터페이스 디코딩 기술

 김성필 / UNIST 교수

◈ 목차

• 1.서론

• 2.침습형 BMI 디코딩 기술 개요

• 가.BMI 디코딩을 통해 복원하는 기능

• 나.침습형 디코딩에서 활용하는 뇌 신호

• 다.신경 신호의 정보 코딩 방식

• 라.침습형 BMI 디코딩 모델

• 3.침습형 BMI 디코딩 기술 주요 현황

• 가.국외 침습형 BMI 디코딩 기술

• 나.국내 침습형 BMI 디코딩 기술

• 4.전망

• 가.다중 뇌 영역 뇌 신호 디코딩 기술

• 나.동역학 시스템 기반 디코딩 모델

• 다.디코딩을 이용한 뇌과학 데이터 사이언스

◈본문

1. 서론

뇌-기계 인터페이스(Brain-Machine Interface: BMI) 기술은 뇌 신호를 통해 사용자가 생각만으로 외부기기를 제어하거나 의사를 전달하는 뇌융합 기술임. BMI 기술은 크게 뇌 신호를 측정하는 센서, 측정된 뇌 신호를 해독(Decoding)하는 디코딩 그리고 해독한 결과를 외부와 연계하는 인터페이스 등의 세부 기술로 구성되어 있음. 이 중, 디코딩 기술은 뇌 신호로부터 사용자의 의도나 감각, 운동, 의사 등의 정보를 읽어내는 핵심 역할을 수행하며, 다른 세부 기술들과 유기적으로 연결되어 있음.

BMI 기술은 뇌 신호를 측정하는 방식에 따라 크게 비침습형과 침습형으로 구분할 수 있음. 비침습형 BMI는 두개골 안으로 침습하지 않고 뇌 외부에서 뇌 신호를 측정하는 방식으로서, 뇌전도(Electroencephalography: EEG), 뇌자도(Magneto-encephalography:MEG), 기능성근적외선분광(Functionalnear-infrared spectros:fNIRS), 기능성자기공명영상(Functionalmagneticresonance imaging: fMRI) 등의 방법으로 뇌 신호를 측정할 수 있으며 안전하고 접근성이 높으나 상대적으로 뇌 신호 품질이 저하되는 단점이 있음. 침습형 BMI는 두개골 안으로 직접 측정 장치를 이식하여 뇌 신호를 측정하는 방식으로서, 대뇌 피질표면에 전극을 부착하여 피질외전도(Electrocorticography: ECoG)를 측정하거나 피질 내 전극을 삽입하여 신경세포 발화전위(Action potential: Spike라고도 칭함)나 국소장전위(Local field potential: LFP)를 측정할 수 있으며 정밀하고 고품질의 뇌 신호를 획득할 수 있으나 외과적 수술이 필요하고 조직 손상의 위험성이 존재함.

본 기고에서는 이 중 침습형 BMI에서 사용되는 디코딩 기술에 대해 다루고자 함.

침습형 BMI 디코딩 기술은 근위축성측색경화증(amyotrophic lateral sclerosis: ALS)이나 감금증후군(locked-in syndrome)을 가진 사람들에게 의사소통을 가능하게 하거나 척수 손상(spinal cord injury) 등으로 사지가 마비된 사람들에게 외부 보철물 또는 외골격을 제어할 수 있는 뇌 신호 정보를 추출함. 또한 최근 AI 기술의 발전은 디코딩 성능의 향상을 가져오며, 짧은 반응속도 및 높은 정확도 그리고 매일 반복되는 재보정 문제를 해소하는 높은 효용성을 보임. 깊은 신경망(deep neural network)의 발전과 함께 더욱 정교한 뇌 신호 특징 추출 기능과 다중 구조 네트워크로 구성된 디코딩 모델이 개발되고 있음. 더불어, BMI의 상업화를 위한 투자가 유치되고 있으며, Neuralink와 Paradromics 등의 기업에서 침습형 BMI의 임상 실험을 통해 상용화를 추진하고 있음.

침습형 BMI 디코딩 기술은 크게 3가지 방향으로 발전할 것으로 전망됨. 첫 번째는 단일 뇌 영역에서 벗어나 다중 뇌 영역에서 측정된 뇌 신호를 디코딩하는 기술이 개발되고 있음. 두 번째는 뇌 신호 패턴 인식 기반 디코딩으로부터 동역학 시스템 기반 디코딩으로 발전하고 있음. 세 번째는 BMI 구동을 위한 신경 정보 추출뿐만 아니라 신경회로 정보처리 기전 이해를 위한 디코딩 기술 응용이 활발히 이루어질 것으로 예상됨.

2. 침습형 BMI 디코딩 기술 개요

가. BMI 디코딩을 통해 복원하는 기능

  ① 운동 감각 기능: 운동 감각 디코딩은 로봇 팔이나 마비된 팔의 자연스러운 제어가 가능하도록 하는 것을 목표로 함. 상지 운동 복원의 경우 매 순간 원하는 궤적에서 원하는 속도를 가지고 상지를 움직이게 하는 것을 의미하며 하지 운동 복원의 경우 원하는 속도로 보행을 가능하게 하는 것을 의미함.

  ② 의사 소통 기능: BMI 디코딩을 통해 외부와 빠르고 정확한 의사소통을 가능하게 할 수 있음. 손 필기를 상상하여 글자를 작성하거나 컴퓨터 커서를 조종함으로써 컴퓨터나 스마트폰을 통해 의사를 전송할 수 있음. 뇌 신호로부터 음성 발화 정보를 디코딩할 수 있으며 디코딩된 정보를 음성 합성 AI를 이용해 음성으로 복원할 수 있음.

  ③ 인지 기능: 인지 디코딩은 언어나 기억 등 고등 인지기능을 복원하는 목표를 가지고 있으며, 언어 정보를 디코딩하여 AI를 통해 음성을 합성하는 기술을 포함함.

나. 침습형 디코딩에서 활용하는 뇌 신호

  ① ECoG: ECoG은 경막(dura mater) 위나 아래에 전극을 위치하여 해당 피질 내에 있는 많은 뉴런들의 평균 활동을 감지하는 전위(Potential) 신호임.

  ② LFP: 피질 내 전극으로부터 측정된 신호를 저역통과(Lowpass) 필터링(≤ 300 Hz)하여 얻을 수 있으며 전극 주위의 국소 신경 집단의 시냅스 활성을 반영한다고 알려짐.

  ③ Spike: 피질 내 전극으로부터 측정된 신호를 고역통과 필터링(≥ 300 Hz)하여 얻을 수 있으며 단일 혹은 다중 신경세포의 활동전위 발화를 나타냄. Spike 신호는 후속 처리에 따라 single-unit activity (SUA), multi-unit activity (MUA), entire spiking activity (ESA)로 세분화할 수 있음.

 - SUA: 개별 뉴런에 의해서 발화하는 spike 발생 시점으로 정의됨. 임계교차(threshold crossing) 방법과 더불어 spike sorting이라는 신경활동 단위(unit) 분류에 따라 추출됨.

 - MUA: spike sorting 없이 전극 근처 140~300μm 반경에 있는 뉴런 앙상블(ensemble)의 전체 spike를 나타냄.

 - ESA: 이진 신호로 나타난 SUA와 MUA와는 다르게 전극 주변 뉴런 집단의 spike 수와 크기를 순간 측정하여 연속신호로 반영함. 이후 전파 정류(full-wave rectification, 즉 절대값) 처리 후 저역통과 필터링을 진행함.

[그림 1] Spike sorting 개요도

다. 신경 신호의 정보 코딩 방식

  단일 혹은 다중 신경세포에서 측정된 spike 신호는 보통 시간에 따른 spike train 형태로 기록되며, 신경세포들이 spike train을 통해 정보를 전달하는 방식을 신경 코드(Neural code)라고도 함. 신경 코드는 크게 세 가지 방식으로 연구되고 있음.

  ① Rate code: 단위 시간(예: 50 ms) 내 spike 발화율(firing rate)에 의해 정보가 코딩된다는 가설이며 발화율을 계산하는 다양한 방법이 존재함.

  ② Temporal code: Spike가 발화된 시간 자체에 정보가 담겨있거나, 여러 신경세포들의 spike 발화 시점이 서로 동기화(synchorny)가 이루어지면서 정보가 코딩된다는 가설이며, 정밀한 spike 발화 시점 기록이 중요함.

  ③ Phase code: 신경세포들의 spike 발화 시점과 주변 LFP의 특정 주파수 리듬의 위상(phase) 간의 상호작용을 통해 정보가 코딩된다는 가설이며, 예를 들어 특정 리듬의 어느 위상에서 주로 spike가 발화되는지가 정보를 코딩할 수 있음.

라. 침습형 BMI 디코딩 모델

  ① 침습형 디코딩 모델은 전통적으로 통계적 학습 분야에서 개발된 모델(Population vector, Kalman filter, Wiener filter 등)을 기반으로 설계되어 왔으며, 현재는 인공지능 기반의 신경망 구조(standard recurrent neural network (SRNN), long short-term memory (LSTM), and gated recurrent unit (GRU) 등)를 바탕으로 딥러닝(deep learning) 알고리즘을 적용하여 뇌 신호와 운동, 언어 등 정보 간 복잡하고 비선형적인 관계를 효과적으로 모델링함.

[그림 2] 딥러닝 기반 디코딩 모델

  ② 인공 신경망은 뇌신호의 복잡하고 비정상성(non-stationary)을 다룰 수 있는 알고리즘이며 신경 특성들을 직접 추출할 필요가 없이 디코딩에 유용한 특성들을 자동을 추출함. 신경망 내 정보처리 과정을 생리학적인 특징과 연결 짓기 힘들다는 단점이 있으나 이를 보완하기 위해 어떻게 판단을 내렸는지에 대한 추론에 신뢰성 정보를 제시하는 설명 가능한 인공지능(eXplainable Artificial Intelligence: 이후 XAI)이 도입됨.

  ③ 디코딩을 통해 출력된 결과를 다시 사용자에게 실시간 피드백으로 제공하여 장치를 더 정확하고 정교하게 제어할 수 있게 함. 이와 같은 시스템을 폐루프 (closed-loop) BMI라고 부르며, 사용자가 BMI 디코딩 기술을 사용하는 방법을 스스로 익히고 적응할 수 있는 중요한 기회를 제공함.

[그림 3] 폐루프(closed-loop) 디코딩 기술

3. 침습형 BMI 디코딩 기술 주요 현황

가. 국외 침습형 BMI 디코딩 기술

  ① 미국 케이스 웨스턴 리저브 대학 Ajiboye 교수 연구팀에서는 마비 환자에게서 손의 파지 형태(5가지 형태)와 물체를 쥐는 힘(세 가지 단계)을 디코딩하여, 각 요소가 독립적이고 서로 상호작용하는 것이 피질 내에서 표현됨을 확인함. 또한 실시간 BMI 시스템이 힘에 대한 제어를 통합하면 여러 파지 형태를 분류하는데 유용할 것임을 시사함.

  ② 프랑스 그르노블 알프스 대학 Aksenova 연구팀에서는 ECoG 신호로부터 딥러닝 기반 컨볼루션 신경망(convolutional neural network: CNN) 모델을 사용하여 3차원 손 움직임을 연속으로 예측하고, CNN과 장-단기 메모리(long short-term memory network: LSTM) 망을 병행하는 구조로 발전시킴.

  ③ 스위스 로잔느 대학 Courtine 교수 연구팀에서는 척수손상으로 인한 사지마비 환자의 보행 기능 복원을 위해 완전 침습형(fully-implanted) 뇌-척수 인터페이스(brain-spinal interface: BSI)를 개발함. 하지 6개 관절(고관절, 무릎, 발목)을 움직이는 운동 의도를 ECoG 신호로부터 디코딩하여 하지 근육에 자극을 줄 수 있는 척수 자극 시스템으로 변환함. BSI를 통해 자연스러운 보행을 제어하는 프레임워크를 구축하고 재활에 인한 신경학적 회복이 가능함을 보고함.

[그림 4] 뇌-척수 BMI 디코딩 기술

  ⓸ 미국 바텔 연구팀에서는 BMI를 기능적 전기 자극(Functional Electrical Stimulation: FES) 기술과 연결하여, 사지마비 환자가 손 움직임을 95% 이상의 정확도로 최대 7개까지 제어함을 보고함. 손을 쥐고-푸는 테스트(Grap and Release Test)를 이용하여 BMI-FES 기술을 통해 높은 GRT 성능과 물체 이동 횟수 증가, 무거운 물체의 이동시간 감소를 보고함.

  ⓹ 미국 피츠버그 대학 Gaunt 교수 연구팀에서는 사지마비 환자에게 로봇 팔의 제어 디코딩과 함께 체성감각피질에 미세 자극으로 촉각 피드백을 제공하는 인코딩을 통합한 양뱡향 BMI를 개발함. 촉각 피드백을 통해 BMI 디코딩 성능이 향상되고 제어 속도가 빨라짐을 보임.

[그림 5] 양방향 BMI 디코딩 기술

  ⓺ 네덜란드 Utrecht 대학 Ramsy 교수 연구팀에서는 말기 근위축성 측색 경화증(ALS) 환자에게 완전 이식한 BMI로부터 손 움직임(시도)으로 분당 두 글자의 컴퓨터 타이핑 제어를 달성함. 기존 안구 움직임 기반 의사소통 시스템을 개선할 수 있는 새로운 의사소통 인터페이스를 제공할 수 있다는 임상적 의의를 지님.

  ⓻ 미국 USC 대학 Berger 교수 연구팀에서는 기억 기능 복원을 위한 해마 보철물에 들어갈 희소(sparse) MIMO 비선형 디코딩 알고리즘을 개발함. 간질환자의 해마 CA1, CA3 부위의 spike train 정보를 통해 CA3-CA1 비선형 변환 역학을 확인하여 인간 기억 해마 보철의 디코딩 모델을 제공함.

  ⓼ 미국 UCSF 대학 Chang 교수 연구팀에서는 고밀도 전극 ECoG으로부터 조음 움직임을 디코딩하고 음성으로 변환하는 RNN 모델을 개발함. 이 모델에서는 문장 길이의 시퀀스에 해당하는 신경 신호를 인코딩하고 한 단어씩 영어 문장으로 디코딩함. 평균 단어 오류율은 3% 미만으로 달성했으며, 전이 학습으로 제한된 데이터의 디코딩 성능 개선을 보임. 성대 마비가 있는 환자의 ECoG 신호를 디코딩하여 말하기(시도)를 문자, 음성 오디오 및 아바타 표정 애니메이션으로 변환함. 딥러닝 모델을 사용하여 문자는 분당 78단어에 25% 중간단어 오류율을 보임.

[그림 6] 언어 BMI 디코딩 기술

  ⓽ 미국 스탠포드 대학 Shenoy 교수와 Henderson 교수 연구팀에서는 손실된 음성을 복원하기 위해 피질 내 전극 어레이로부터 39개의 영어 음소로 이루어진 단어들을 RNN 기반 분류기로 디코딩하여 최대 33.9%의 분류 정확도를 달성함. 또한 필기나 터치 글쓰기와 같은 능숙한 동작을 RNN 디코딩 모델을 통해 실시간 문자로 변환하여 94.1%의 정확도에 분당 90자 입력이 가능한 성능을 달성하였으며, 범용적인 자동 언어 보정을 사용할 경우 99%의 정확도까지 달성함. 이는 참가자 연령대의 스마트폰 입력 속도(분당 115자)와 유사한 성능임 [8]. 또한, ALS 환자의 스파이크 신호를 통해 말하기-문자 변환 BMI를 구현하고, 125,000 단어 대규모 어휘 디코딩을 수행하여 분당 62 단어에 23.8%의 오류율을 달성함. 이는 이전 연구보다 3.4배 빠르며 보다 자연스러운 대화의 속도(분당 160단어)에 가까워져, 말을 할 수 없는 마비환자의 신속한 의사소통 기능 복원이 가능함을 시사함.

[그림 7] 고성능 언어 BMI 디코딩 기술

나. 국내 침습형 BMI 디코딩 기술

  ① UNIST 김성필 교수 연구팀은 영장류 일차운동피질 spike 신호로부터 BMI디코딩을 위한 운동학적 성분(위치, 속도, 가속도, 속력)을 추출하는 저차원 잠재공간(latent space) 기반 디코딩 모델을 제안함. 이는 다른 모델(Gaussian process factor analysis (GPFA), latent factor analysis via dynamical systems (LFADS), preferential subspace identification (PSID))보다 높은 성능을 보이면서 실시간 BMI의 디코딩 성능 향상의 가능성을 높임.

[그림 8] 저차원 잠재공간 기반 BMI 디코딩 기술

  ② 한양대 장동표 교수 연구팀에서는 영장류의 ECoG 신호를 사용하여 설명 가능한 인공지능으로 손 움직임을 분류하는 디코딩 모델을 개발함.

  ③ KAIST 정재승 교수 연구팀은 사람이 ECoG 신호로부터 목표물로 뻗기 및 파지하는 동안의 손의 연속 궤적을 인공지능 모델로 디코딩함. 실제 손의 움직임으로부터 나오는 신호 뿐 아니라, 운동 상상을 통해서 나온 신경 신호를 통해서 손의 궤적을 디코딩할 수 있음을 보임.

  ⓸ 서울대 정천기 교수 연구팀에서는 단어기억 과제 중 환자의 해마 ECoG 신호로부터 이후 단어 기억의 성공을 예측할 수 있는 디코딩 기술을 개발함.

  ⓹ 숭실대학교 신현출 교수 연구팀은 영장류의 일차 운동 피질 뉴런으로부터 Skellam and Gaussian probability distributions 기반의 디코딩 모델로 단일 및 다중 손가락 움직임을 디코딩함. 단일 손가락 움직임과 다중 손가락 움직임 사이의 관계 및 쥠과 폄 사이의 관계를 보이고, 결과적으로 한 손가락의 움직임 신경 신호로도 다중 손가락의 움직임을 제어할 수 있음을 시사함.

4. 전망

향후 침습형 BMI 디코딩 기술은 다중 뇌 영역에서 측정된 뇌 신호를 디코딩하는 기술과, 동역학 시스템 기반 디코딩 모델과 신경회로 정보처리 기전 연구에서의 디코딩 기술 응용으로 발전할 것으로 전망됨.

가. 다중 뇌 영역 뇌 신호 디코딩 기술

최근 신경 인터페이스 기술의 발달로 다수의 뇌 영역에서의 뇌 신호를 동시다발적으로 측정할 수 있게 됨에 따라, 다수의 뇌 영역을 디코딩하고 영역 간의 정보 흐름을 분석할 수 있게 됨. 침습형 BMI에서도 다수 뇌 영역에서 측정된 뇌 신호를 디코딩하여 더 정확한 디코딩이 가능하게 됨. 또한, 뇌 영역 간의 글로벌한 다이나믹을 모델링하여 뇌 안에서의 정보처리 기전을 이해하는 데에도 혁혁한 기여를 할 수 있을 것임. 최근 연구에서 다중 뇌 영역의 뇌 신호를 분석하여 동일한 정보가 서로 다른 뇌 영역에서 표상된다는 분산 코딩(Distributed coding) 가설이 제시되기도 함에 따라, 신경 코딩 방식의 새로운 이해를 통해 실제 뇌가 작동하는 원리에 입각한 디코딩 모델을 발전시켜 나갈 수 있을 것임.

나. 동역학 시스템 기반 디코딩 모델

침습형 인터페이스를 통해 측정된 spike 신호만을 이용한 디코딩에서 벗어나, 관찰된 spike 신호를 생성하는 신경 회로망의 특성을 뇌신경 동역학 시스템 원리에 의해 설명하여 spike 신호로부터 더욱 정확한 정보를 추출하는 디코딩 방법론들이 제안되고 있음. 이러한 디코딩 접근법은 계산뇌과학(computational neuro-science) 수리모델에 기인한 신경회로망 모델을 활용할 수 있는 장점이 있으며, 다양한 동역학 이론들을 접목하여 다양한 인지 행동을 예측할 수 있음.

다. 디코딩을 이용한 뇌과학 데이터 사이언스

집단 신경세포 활동을 디코딩하는 기술은 BMI 구동 뿐만 아니라, 일반적인 뇌신경과학 기전 규명에도 널리 활용되고 있음. 기본적으로 어떤 집단 신경세포에서 특정 정보의 디코딩이 가능하다는 것은 해당 집단 신경세포들이 그 정보를 제대로 인코딩하고 있다는 뜻이므로 인코딩 여부를 확인하기 위해 디코딩을 활용하는 것이 용이함. 예를 들어, 타겟 뇌 영역의 신경세포들이 어떤 정보를 처리하고 있는지 규명하기 위해 디코딩 기술을 활용할 수 있으며, 실험 조건에 따라 정보 표상이 어떻게 달라지는지도 확인할 수 있음. 점차 디코딩 기술이 시스템 뇌신경과학(Systems Neuroscience)에서 널리 확장되고 있으므로 미래에는 광범위한 뇌신경과학 연구에서 AI와 함께 디코딩 기술이 만연하게 적용될 것으로 예상됨.

...................(계속)

☞ 자세한 내용은 내용바로가기 또는 첨부파일을 이용하시기 바랍니다.