SK텔레콤, 통신 최적화 ‘델코 LLM’ 6월 선보여.. 업무 효율성↑

임윤희 기자 승인 2024.04.30 14:26 의견 0

[한국정경신문=임윤희 기자]SK텔레콤이 통신사에 최적화된 LLM인 '멀티 다중 LLM' 전략을 내세워 AI 분야에 앞선 기술을 선보일 계획이다.

SK텔레콤은 30일 오전 10시 서울 중구 SKT타워에서 '텔코 LLM'을 소개했다.

‘텔코LLM’은 GPT, 클로드와 같은 범용 LLM이 아니라 통신업에 특화된 LLM이다. 오픈AI, 앤트로픽 등과 협력해 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집하고, 정형·비정형 데이터를 선별해 이를 에이닷엑스, ‘GPT’, '클로드'에 학습시켜 통신에 특화된 LLM을 만들고 있다.

SK텔레콤은 5G 요금제, T멤버십, 공시지원금 등 우리나라 통신 전문 용어와 AI 윤리가치와 같은 통신사의 내부 지침을 학습한 ‘텔코LLM’을 이르면 오는 6월 선보인다.

이날 첫 순서로 나선 에릭 데이비스 SK텔레콤 AI Tech Collaboration은 "1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것"이라며 "통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SK텔레콤만의 멀티LLM 전략"이라고 설명했다.

■상담업무 소요 시간 단축..업무 효율성↑

현재 고객센터에서는 상담 전화 한 건을 처리하는데 고객 상담과 업무 처리에 약 3분 30초 정도의 시간이 소요된다. 텔코LLM이 도입되면 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공한다. 상담 내용을 요약해 상담 후 처리까지 소요되는 시간을 크게 단축시켜 줄 수 있을 것으로 기대된다.

고객센터에서 상담사가 고객 문의 내용을 정리하고 검색해 답하는데 많은 경험과 숙련도가 필요했다. 그러나 텔코 LLM이 이 과정을 줄여주는 셈이다.

또한 텔코LLM 중 통신 관련 데이터를 입힌 클로드 버전의 경우 AI가 따라야 할 윤리원칙을 철저하게 학습하고 있다. 우리나라에서 빠르게 생겨나고 있는 신조어나 한국어 욕설, 위협 폭언 식의 문맥 뉘앙스를 정확하게 파악할 수 있다.

통신사의 네트워크 인프라 운용에도 텔코LLM이 유용하다.

인프라 운용자가 네트워크 모니터링 중 문제가 발생하면, 실시간으로 텔코LLM에 질문을 입력해 해결 방안을 답변으로 받아볼 수 있다.

텔코LLM이 장비 매뉴얼, 대응 사례 등의 정보를 기반으로 상황에 맞는 답변을 빠르게 제공하기 때문에, 사람이 직접 정보를 찾는 것보다 대응 시간을 단축 시킬 수 있다.

SKT는 향후 인프라 운용 중에 발생되는 데이터 분석과 축적된 데이터 기반의 정보 조회 등에도 텔코LLM을 확대 적용할 계획이다.

정민영 SKT AI플랫폼 담당은 “고객센터, 인프라 뿐만 아니라 마케팅, 유통망 등 고객 접점이나 법무, HR와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것”이라며 “지속적으로 텔코LLM을 활용한 유즈케이스를 늘려갈 계획”이라고 설명했다.

SK텔레콤은 통신사들이 생성형 AI 앱을 효율적으로 구축·개발할 수 있는 '인텔리전스 플랫폼'도 공개했다. 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG) 등까지 아우르는 일종의 '기업용 AI 개발·운용 패키지'다.

SK텔레콤은 멀티 LLM을 쉽고 효율적으로 사용할 수 있는 인텔리전스 플랫폼으로 "상담업무 등 유사한 업무특성을 가진 기업들이 텔코 LLM 인텔리전스 플랫폼을 통해 거대 플랫폼 개발에 드는 비용과 시간을 절감할 수 있을 것으로 기대한다"고 말했다.

이 회사는 현재 에이닷 등 서비스에 인텔리전스 플랫폼을 적용 중이며 적용 사례를 지속 확대할 예정이라고 밝혔다.