[한국정경신문=변동휘 기자] KT가 자체 개발한 대규모언어모델(LLM) ‘믿:음 2.0’을 오픈소스로 공개한다. 이를 통해 국내에서 자사 AI 생태계를 확장해 나가겠다는 계획이다.

KT는 ‘믿:음 2.0’의 오픈소스를 AI 개발자 플랫폼 허깅페이스를 통해 공개할 예정이라고 3일 밝혔다. 개인이나 기업 및 공공 누구나 상업적으로 활용할 수 있도록 제약 없이 개방된다.

KT가 자체 개발 AI ‘믿:음 2.0’을 오픈소스로 공개한다. (사진=KT)

‘믿:음’은 사전 학습부터 자체적으로 만든 한국적 독자 AI 모델이다. 고품질 한국어 데이터를 준비하는 과정에서 모든 저작권을 확보해 신뢰성을 높였다. 2023년 1.0 버전 스탠다드·프리미엄 등 2종을 출시했다. KT AICC(AI 고객센터)를 비롯해 지니TV와 AI 전화 등 다양한 서비스에 폭넓게 활용해 왔다.

이번에 KT가 선보이는 모델은 ▲115억 파라미터 규모 ‘믿:음 2.0 베이스’ ▲23억 파라미터 규모 ‘믿:음 2.0 미니’ 등 2종이다. 베이스 모델은 한국 특화 지식과 문서 기반의 질의응답에서 강력한 성능을 나타낸다. 미니 모델은 Base 모델에서 증류한 지식을 학습한 소형 모델이다.

믿:음 모델은 한국어 AI 역량 평가 지표인 ‘Ko-Sovereign’ 벤치마크에서 유사 규모의 국내 기성 모델을 비롯해 글로벌 최고 수준의 오픈소스 모델을 능가했다. 한국 관련 전문 지식 이해도를 측정하는 ‘KMMLU’와 한국어 언어모델 평가 지표 ‘HAERAE’에서도 국내외 주요 오픈소스 모델보다 더 우수한 성능을 기록했다.

KT는 다양한 산업·공공·문화 영역에서 방대한 한국 특화 데이터를 확보해 학습에 활용했다. 저작권 이슈가 있는 데이터는 모두 제거하는 등 ‘Responsible AI’ 원칙에 따라 고품질 데이터를 선별 가공했다.

이외에도 한국어의 구조와 언어학적 특성을 반영한 토크나이저를 자체 개발했다. 필터링으로 줄어든 데이터 규모는 데이터 합성 방법론을 적용해 보완했다. 고려대학교 민족문화연구원과의 산학협력을 통해 ‘한국적 AI’로서의 학술적 신뢰도도 확보했다.

개발 단계에서 리벨리온과 긴밀히 협력하며 국산 AI 반도체에서의 동작을 최적화했다. 프렌들리AI와 함께 사용자가 별도의 설치 과정 없이도 허깅페이스를 통해 무료로 편리하게 체험해볼 수 있는 환경도 한시적으로 제공한다.

KT는 본격적으로 국내 AI 생태계에 ‘한국적 AI’ 확산 선도에 나선다는 계획이다. 마이크로소프트와의 협업으로 GPT-4에 한국적 사고를 추가 학습시키는 방식의 모델 또한 순차 공개할 예정이다. 국내 공공 및 민간 여러 분야에서 AI 기반 혁신을 주도하는 등 국가 경쟁력 제고에 기여한다는 복안이다.

KT Gen AI Lab장(CAIO) 신동훈 상무는 “‘믿:음 2.0’은 일반적인 생성 능력을 갖추면서도 한국의 문화와 언어를 깊이 이해하도록 고도화된 AI 모델”이라며 “국내 사용자들에게 고성능 한국적 AI 모델에 대한 새로운 대안을 제시하는 한편 글로벌 경쟁력을 갖추게 될 중요한 발판이 될 것”이라고 말했다.

0 0