바이오인

디지털 역기능에 대한 일반인 인식분석과 대응 방향 외

◈ 목차

기획시리즈: 지능형반도체/디바이스

AI 반도체를 위한 신경망 학습용 데이터 포맷기술 동향

김혜지_한국전자통신연구원 선임연구원

I. 서론

II. 저정밀도 부동소수점 데이터 포맷 기술의 상용화 동향

III. 신경망 학습을 위한 저정밀도 부동소수점 포맷 연구 동향

IV. 결론

ICT 신기술

디지털 역기능에 대한 일반인 인식분석과 대응 방향

김문구_한국전자통신연구원 책임연구원

박종현_한국전자통신연구원 책임연구원

I. 서론

II. 국내외 정책 동향

III. 디지털 역기능 STEEP 분석과 시사점

IV. 미래 디지털 역기능에 대한 일반인 인식조사

V. 미래 디지털 역기능에 대한 선제적 대응 방향

ICT R&D 동향

HMD 표정 인식 센서와 사이버 인터랙션 인터페이스 기술

이김시호_연세대학교 교수

김진혁_연세대학교 연구원

I. 연구 개요

II. 연구 목표 및 내용

III. 국내외 기술ㆍ시장 동향 및 전망

IV. 기대효과

◈본문

Chapter 01 AI 반도체를 위한 신경망 학습용 데이터 포맷기술 동향

김혜지_한국전자통신연구원 선임연구원

AI 반도체는 인공신경망 연산을 메모리 효율적이면서 고속으로 처리하는 하드웨어 처리장치로써, 전용의 최적화된 컴파일러 및 소프트웨어 라이브러리를 통해 AI 시스템으로 완성되는 핵심 기반 기술이다. 최근 인공신경망 학습 규모가 해마다 10배씩 상승함에 따라 학습을 위한 메모리 사용량과 AI 반도체의 개수도 점차 증가하고 있다. 신경망의 막대한 학습 비용을 현실화하기 위해 연산을 빠르고 효율적으로 처리하면서 인식 정확도의 손실을 최소화하는 방법으로 부동소수점 기반 데이터 양자화 포맷 기술이 발전하고 있다. 본 고는 AI 반도체 산업계를 중심으로 발전하는 저정밀도 데이터 포맷 기술의 표준화 및 상용화 현황을 알아보고 저정밀도 데이터 포맷의 상세 구조 및 관련 알고리즘의 최신 연구 흐름을 살펴본다.

I. 서론

2012년 ILSVRC[1] 객체인식대회에서 인공신경망을 사용한 AlexNet이 월등한 성능으로 우승하여 관련 연구자들의 이목을 집중시킨 지 10년을 지나고 있다. 지난 10년 동안 인공신경망 연구는 자율주행, 화질 개선, 추천시스템, 챗봇, 이미지 생성 등 다양한 산업 분야에 적용되어 우리 주변에 가깝게 다가왔다. 이러한 AI 연구와 산업의 비약적 발전 배경에 다양한 요소가 있겠지만 AI 반도체 성능의 발전이 그 중심에 있을 것이다. GPT와 같은 자연어처리 인공신경망의 규모는 해를 거듭하며 10배씩 거대해 짐에 따라 막대한 양의 학습 데이터를 저장하고 처리하기 위해 AI 반도체의 내장 메모리는 더 빠르고 고용량을 지원하며 연산 병렬성이 높아지도록 발전하고 있다[2]. 그러나 반도체 공정과 메모리 및 연산기의 성능 향상만으로 고속 성장 중인 인공지능 분야를 감당하기에는 막대한 자본이 요구된다. 따라서 AI 반도체의 혁신과 더불어 인공 신경망을 효율적으로 처리하기 위한 연산 최적화 및 신경망 경량화 소프트웨어 알고리즘의 연구가 필연적으로 발전하고 있다. 특히, 인공신경망 데이터를 함축적으로 표현하면서, AI 가속기에 친화적인 전용의 데이터 포맷을 통해 반도체의 집적도와 메모리 재사용을 높이는 SW-HW 통합 연구가 중요하다.

인공신경망의 학습에 필요한 파라미터의 양은 무수히 많고, 그 중에는 원하는 정확도 성능을 달성하는 데 거의 영향을 끼치지 않는 불필요한 학습 파라미터가 다수 포함되어 있다. 이러한 사실에 기반하여 양자화(quantization), 가지치기(pruning), 전이학습(knowledge distillation)과 같은 신경망의 효율적인 학습 및 추론을 위한 경량화 연구가 활발히 진행되고 있다. AI 반도체에 부동소수점 8bit 연산기가 추가되는 것은 신경망 양자화 연구 분야와 관련된다. 신경망 경량화를 위한 데이터 양자화 기술은 8bit 이하의 정수형 또는 부동소수점 데이터 포맷으로 신경망 학습 및 추론에 필요한 메모리 사용량을 줄이고 연산을 가속하는 데이터 표현 방법 및 알고리즘에 관한 분야이다. 신경망의 연산 과정, 특히 행렬연산에서 데이터를 32bit로 표현하지 않고 부동소수점 8bit로 표현해도 종래의 32bit와 유사한 정확도로 신경망을 학습할 수 있다[3],[4].

...................(계속)

☞ 자세한 내용은 내용바로가기 또는 첨부파일을 이용하시기 바랍니다.