[한국정경신문=이진성 기자] 연세대학교는 인공지능융합대학 서영빈 연구원이 제1저자로 제출한 논문이 세계 최고 권위의 머신러닝 학회인 뉴립스(NeurIPS)에서 스포트라이트(Spotlight) 등급으로 채택됐다고 26일 밝혔다.

(왼쪽부터) 연세대 인공지능학과 서영빈 연구원, 여진영 교수, 김재형 교수, 이동하 교수. (사진=연세대학교)

뉴립스는 챗(Chat)GPT 등 주요 연구 성과가 발표된 국제 학회다. 스포트라이트는 전체 제출작 중 상위 약 3%에만 주어지는 등급이다. 이번 성과는 국내 연구기관이 주도한 디퓨전 언어모델(Diffusion LLM) 연구가 국제적으로 검증받은 최초의 사례라는 점에서 의미가 크다고 연세대는 전했다.

이번 논문은 최근 '나노 바나나' 등 이미지·영상 생성 분야에서 주목받은 '디퓨전' 패러다임을 언어 생성에 적용한 것이 특징이다. 예를 들어 오픈 AI(인공지능)의 챗GPT와 같은 자가회귀(autoregressive) 언어모델이 1000단어를 생성하려면 1000단계를 거쳐야 하지만 디퓨전 언어모델은 약 100단계 만에 결과를 낼 수 있다.

연구팀은 또 디퓨전 언어모델의 한계인 불안정성을 줄이는 방법론을 제시했다. 디퓨전 언어모델은 긴 글에서 문법 오류나 문맥의 불연속성이 발생하기 쉬운데, 이를 해결하기 위해 컨볼루션 디코딩(Convolutional Decoding)과 R2FT(Rejecting Rule-based Fine-Tuning)라는 두 가지 기법을 도입했다. 그 결과 기존 언어모델보다 3배 이상 빠른 속도를 내면서도 문법적 안정성과 질문 응답 성능을 유지했다.

디퓨전 언어모델은 현재 스탠퍼드, MIT 등 세계 유수 연구실에서도 활발히 연구되고 있는 분야다. 다만 국내 대학과 기업의 성과는 아직 드문게 현실이다. 국내 최초로 세계 최고 AI 학회인 뉴립스의 검증을 받아 의의가 더 크다는 게 연구진의 설명이다.

서영빈 연세대 연구원은 "디퓨전 언어모델의 장점인 빠른 속도와 양방향 주의는 강화학습에서도 중요한 특성"이라며 "이러한 장점 덕분에 기존 자가회귀 패러다임을 대체할 가능성이 있다고 보고 연구를 시작했다"고 말했다.

이번 연구는 여진영·김재형·이동하 연세대 인공지능학과 교수와의 협력으로 진행됐다. 연구팀은 코드와 구현을 공개해 재현성과 실용성을 높였다. 실제로 논문에는 깃허브 저장소가 명시돼 있고 방법론이 상세히 기술돼 있다.

뉴립스 조직위는 지난 18일 저자 통지를 진행했고 학회는 오는 12월2일부터 같은달 7일까지 미국 샌디에이고 컨벤션센터에서 개최된다.

0 0