LG유플러스가 성능은 유지하면서 토큰 사용 비용을 90% 이상 낮추는 ‘AI 토큰 최적화 레시피’를 공개하고 내년 기업 고객(B2B) AI 시장에 본격 진출한다는 전략을 내놨다.
LG유플러스는 12일 기자들을 대상으로 진행한 'AI 토큰 최적화 스터디'에서 실제 상용 환경에서 입증한 AI 비용 절감 핵심 기술과 연구 성과, 향후 사업 추진 방향을 공개했다.
LG유플러스는 AI 통화 에이전트 '익시오(ixi-O)', AI 컨택센터(AICC), 전사 업무 혁신 AX 등을 실무 환경에서 검증해 왔다. 연말 카카오와 협력하는 '모두의 AI'의 상용화를 통해 축적되는 방대한 운영 데이터와 최적화 노하우를 집약해 내년부터 기업 고객의 AI 운영 비용을 낮추는 사업을 추진한다.
LG유플러스의 강점은 실제 대규모 트래픽을 운영하며 고객의 이용 패턴과 업무 특성에 맞춰 체득한 ‘AI 모델 운영 레시피’다. 대표적인 사례가 '익시오'와 AICC다. LG유플러스는 지속적인 실전 튜닝을 거쳐 자체 AI 모델과 엑사원(EXAONE) 등의 비중을 정교하게 조합해 서비스 품질과 비용 효율을 동시에 끌어올렸다.
사내 AX에도 토큰 최적화 기술을 적용하고 있다. 특히 개발자들이 사용하는 AI 코딩 도구에 자체 AI 모델을 활용해 '비용 절감 최적 공식'을 만들어 가고 있다. 이를 통해 LG유플러스는 단순한 ‘토큰당 단가’ 인하 경쟁을 넘어 ‘고객이 AI로 하나의 업무를 완결하는 데 드는 총비용(Task Cost)’을 낮추는 데 승부수를 던졌다.
이상엽 LG유플러스 CTO는 "AI 시장의 패권은 누가 더 큰 모델을 만드느냐를 넘어 고객이 원하는 비즈니스 결과를 얼마나 정교하고 경제적으로 완수하느냐로 이동했다"며 "LG유플러스가 전화 AI와 사내 AX 등 실제 현장에서 치열하게 부딪히며 완성한 최적화 기술력이야말로 누구도 쉽게 따라올 수 없는 지속 가능한 AI 사업의 핵심 해자(Moat)가 될 것"이라고 말했다.
LG유플러스는 토큰 소모가 가장 심한 코딩 영역에서 통상적으로 쓰는 모델 대비 LG유플러스 자체 AI 모델의 운영 비용을 약 90% 절감한 사례를 확인했다. 또한 AI 모델의 연산 처리 방식을 혁신해 동일 인프라 대비 처리 효율을 약 4배까지 끌어올렸다.
내부 테스트에서는 모델 라우팅을 통해 일반적인 질문 처리 비용을 25% 이상, 코딩 에이전트 비용을 30% 이상 절감하는 효과를 확인했다. AI 에이전트가 업무를 수행하는 과정에서 불필요한 검색이나 검증을 반복하지 않도록 하는 기술도 개발하고 있다.
LG유플러스는 이 같은 기술을 결합해 AI의 답변 품질을 유지하면서도 고객이 실제 업무를 완료하는 데 필요한 전체 비용을 낮춘다는 계획이다.
AI 모델 자체를 가볍게 만들고 답변 생성 속도를 높이는 기술에서도 성과를 확보했다. 자체 온디바이스 AI 모델 크기를 기존 2.4~3GB에서 약 3분의 1 수준인 800MB 수준으로 줄이면서도 비교 대상 클라우드 모델 대비 95% 이상의 성능을 확보했다.
또한 작은 모델이 답변을 빠르게 생성하고 큰 모델이 이를 검증하는 기술(Speculative Decoding)을 고도화해 토큰 생성 속도를 2배 이상 높였다. 연구 성과는 세계 최고 권위의 AI 학술대회인 ‘뉴립스(NeurIPS)’에서 인정받았다. 관련 논문 2편이 동시 채택되며 기술적 완성도를 입증했다.
LG유플러스는 엔비디아와 AMD의 그래픽처리장치(GPU)는 물론, 국산 AI 반도체 기업인 퓨리오사AI와 2년 이상 밀착 협력하며 신경망처리장치(NPU)를 검증 중이다. 대규모 연산이 필요한 작업과 메모리 대역폭이 중요한 작업을 쪼개 각각 가장 가성비가 높은 반도체에 분산 처리하는 방식이다.
내부 실전 검증과 글로벌 학계 검증을 기반으로 LG유플러스는 협력사와의 제휴형 모델 및 자체 인프라 구축 방식을 통해 내년부터 본격적으로 B2B 기업 고객들의 AI 비용 고민을 해결하는 토큰 사업을 전개할 방침이다.