함께하고 싶다면 더 알아보기 →

Channel TTS: Towards Real-World Prosody for Conversational Agents

Seungyoun Shin1, Jiwoo Kim1, Dongha Ahn1, Sungwook Jeon1

1Channel Corp.

🎧 Demo 📄 Paper 💻 Code

오디오 비교

안녕하세요 채널톡 AI 에이전트 알프입니다.
GPT-4o-mini-tts (sage)
ElevenLabs (Multilingual v2 - Anna Kim)
국내 TTS
Ours
서류상 이상이 있다면 알려주시면 감사하겠습니다.
GPT-4o-mini-tts (sage)
ElevenLabs (Multilingual v2 - Anna Kim)
국내 TTS
Ours
FAQ나 도큐먼트에서 '홈페이지 주소를 입력하거나 이미지를 등록하면 텍스트, 이미지 등을 크롤링하여 답변하는 기능'에 대한 정보가 없어 조금 더 자세한 설명을 부탁드려도 될까요?
GPT-4o-mini-tts (sage)
ElevenLabs (Multilingual v2 - Anna Kim)
국내 TTS
Ours

안녕하세요. 채널톡 AI팀 스피치 조직의 Robin(신승윤), Belle(김지우), Day(안동하), Luke(전승욱)입니다. 저희는 AI 전화 상담을 위한 TTS (Text‑to‑Speech) 모델을 연구·개발하고 있습니다.

여러 상용 TTS가 이미 존재하지만, 저희가 자체 모델을 만드는 이유는 명확합니다.

이를 개선하기 위해 공개/합성 데이터를 활용해 SFT(Supervised Fine-Tuning)을 수행하고, GRPO,DPO 등 RL 기반의 post-training을 추가 수행하여 실제 상담 시나리오에 적합한 상담사향 발화(prosody)를 구현하는 방법을 제안합니다. 이 페이지에서는 저희가 결과를 도출하기까지 직면했던 다양한 도전과제들과 이를 해결하기 위해 어떤 고민과 노력을 기울였는지를 소개하고자 합니다.

자체 벤치마크 성능 비교

Internal Testset (Normal) CER benchmark across models
그림 1. Channel TTS와 글로벌 TTS 경쟁모델들의 음성발화 벤치마크 성능 (CER) 비교 으로 낮을수록 성능이 좋습니다. 자체 모델(Ours)은 GRPO 이후 가장 낮은 CER을 달성했습니다. 대다수가 한글로만 구성된 internal testset으로 평가하였으며, 샘플레이트를 8khz (전화음성)로 변환하지 않고 각각 Provider 모델의 원본 샘플을 사용하였습니다.

정성 평가

위 벤치마크에는 측정하기 어려운 상담사향 발화 성능이 포함되어 있지 않습니다.
예를 들어 상담의 복잡한 발화패턴, 숫자류 (주문번호, 날짜, 시간, 전화번호 등) 과 같은 류의 발화는 STT (Speech-to-Text) 모델 성능의 한계로 인해 CER로 측정하기 어렵다는 단점이 있어 정성적으로 평가하였습니다.[2]

둥둥레스토랑 성인 요금은 평일 런치 19,992원, 평일 디너 25,940원, 주말 및 공휴일은 37,771원입니다.
GPT-4o-mini-tts (sage)
ElevenLabs (Multilingual v2 - Anna Kim)
국내 TTS
Ours
한국경제는 지난해보다 0.2%p 성장하는데 그쳤습니다.
GPT-4o-mini-tts (sage)
ElevenLabs (Multilingual v2 - Anna Kim)
국내 TTS
Ours
안녕하세요. 저는 채널톡 AI 상담사 로빈입니다. 혹시 전화주신 분의 전화번호가 011-1234-1234 맞으실까요?
GPT-4o-mini-tts (sage)
ElevenLabs (Multilingual v2 - Anna Kim)
국내 TTS
Ours
2025년 8월20일 ~ 2025년 8월 25일 까지 이벤트가 진행됩니다.
GPT-4o-mini-tts (sage)
ElevenLabs (Multilingual v2 - Anna Kim)
국내 TTS
Ours

흔히 정규표현식으로 이런 패턴을 처리할 수 있다고 생각할 수 있습니다. 하지만 전화번호만 해도 114, XXX-XXXX, XXX-XXXX-XXXX 등 형태가 다양하고 주문번호와 겹치는 경우도 많습니다. 따라서 모델이 자연스럽게 읽도록 학습하는 것이 더 바람직합니다. 가격의 경우 X,XXX원처럼 비교적 일정한 패턴이 많아 정규표현식으로 일부 대체할 수 있습니다. 또한 '%p'를 '퍼센트포인트'로 발화하는 것은 상식 기반 추론이 필요한 문제인데, 슈퍼톤과 저희 모델만 이를 올바르게 처리했습니다.

뿐만 아니라, 한영혼합문 발화에서도 취약한 모습을 보입니다.

ChatGPT 는 RAG를 통해 외부 실시간 지식에 접근할 수 있습니다.
GPT-4o-mini-tts (sage)
ElevenLabs (Multilingual v2 - Anna Kim)
국내 TTS
Ours
주문번호는 HXE23872 입니다.
GPT-4o-mini-tts (sage)
ElevenLabs (Multilingual v2 - Anna Kim)
국내 TTS
Ours
고객님 주문하신 상품은 어제 DHL Express로 출고되었고, 현재 tracking number는 ABC123456입니다. 배송 조회는 DHL 홈페이지에서 바로 확인 가능합니다.
GPT-4o-mini-tts (sage)
ElevenLabs (Multilingual v2 - Anna Kim)
국내 TTS
Ours

저희 모델 개발 과정에서 이슈가 있었습니다. 저희는 기본적으로 LLM으로 speech token을 생성하는 Llasa[1] 구조를 차용했기 때문에, LLM 에서 사용하는 방식으로 바로 GRPO[3] 를 통해 발화가 어색하거나 잘못된 fallback을 줄이기 위한 학습을 수행해 보았습니다. CER은 벤치마크에서 처럼 낮아졌지만 Side-Effect 로 발화가 monotone(마치 국어책 읽는듯한) 해지는 것이 문제였습니다.

안녕하세요. 저는 알프입니다. 무엇을 도와드릴까요?
Ours
Ours + GRPO

강화학습으로 더 잘하는 모델 만들기

Objective

\[ \text{Reward} = \frac{\lambda_c + \lambda_n} {\frac{\lambda_c}{U_{\mathrm{CER}}} + \frac{\lambda_n}{U_{\mathrm{NLL}}}} \]

유틸리티 정의

\[ U_{\mathrm{CER}} = 1 - \tanh(\beta_c \cdot \mathrm{CER}), \qquad U_{\mathrm{NLL}} = e^{-\frac{\mathrm{NLL}}{\tau_n}} \]

  • CER: 정답 텍스트와 Whisper 전사 간 문자 오류율 (낮을수록 좋음)
  • NLL: Whisper 음향모델의 Negative Log Likelihood (낮을수록 좋음)
  • \(\beta_c\), \(\tau_n\): 각 항의 민감도를 조절하는 하이퍼파라미터
  • \(\lambda_c\), \(\lambda_n\): CER/NLL 중요도 가중치

보상은 0–1 범위에서 값이 커질수록 더 좋은 발화로 간주됩니다. 직관적으로는 문자 오류(CER)를 줄이고, Whisper 관점의 발화 자연스러움(NLL)을 높이는 방향으로 학습이 진행됩니다.

본 수식의 문제점은 CER은 낮출 수 있지만 Prosody 에 대한 objective 가 없어 monotone 해지는 문제가 있다는 것입니다.

GRPO
그림 2. GRPO 전 후 생성된 발화의 에너지 레벨 비교.

위 그림 2를 살펴보면 GRPO 를 하기전 모델 (baseline) 과 GRPO 를 하고 난 이후 모델의 internal testset 에서 생성된 오디오의 logF0 을 살펴보면 GRPO는 문장 내에서 저피치로 내려가는 구간이 덜하고, 평균 이상으로 유지되는 프레임이 더 많은걸 볼 수 있습니다. 이는 동일한 주파수대가 활용되며 상대적으로 모노톤한 억양이 나온다는 것을 확인할 수 있었습니다.

이러한 한계로 인해 GRPO objective에는 상담사형 억양(prosody)을 반영한 보상이 필요합니다. 그러나 prosody 자체를 정량적으로 정의하기는 모호하며, 매번 Online Rollout마다 사람이 직접 평가하는 방식은 비효율적이고 비용 부담이 크다는 문제가 있습니다.

이에 저희는 먼저 RLHF의 가장 기본적이고 안정적인 접근법인 DPO (Direct Preference Optimization)를 적용하여 학습을 진행하였습니다.

기존에 사용하던 유심은 재사용이 어렵기 때문에 통신사 변경시 새로운 유심을 구매해야합니다.
Lose Sample
Win Sample

예를 들어 기존에 사용하던 유심은 재사용이 어렵기 때문에 통신사 변경시 새로운 유심을 구매해야합니다. 라는 문장이 있을 때, 아래와 같이 두가지 샘플을 Lose Sample 과 Win Sample 으로 사람이 듣고 직접 라벨링 할 수 있습니다.

이런 샘플들을 여러개 모아 훈련하게 되면 모델은 더 좋은 발화를 생성하게 됩니다.

안녕하세요 저는 알프입니다. 무엇을 도와드릴까요?
baseline
DPO
GRPO
Online DPO 과정
그림 3. Online DPO 학습 과정. 여러 라운드의 선호도 학습을 반복함으로써 발화 자연스러움과 문자 오류율(CER) 모두 개선됨.

물론 baseline 과 GRPO는 CER은 매우 낮습니다. 그렇지만 상담사향이 아니기 때문에 실제 Real-World 상담에서 쓰기에는 무리가 있습니다. DPO를 처음하면 CER이 2배가까이 상승하지만 이를 반복함으로서 발화 오류를 교정하고 Prosody 또한 개선할 수 있음을 정량,정성적으로 확인할 수 있었습니다.

Future Work

본 연구에서는 GRPO와 DPO 기반의 학습을 통해 상담사향 발화를 개선할 수 있음을 확인했습니다. 그러나 여전히 prosody를 정량적으로 반영할 수 있는 보상 함수 설계는 남아 있는 과제입니다.

향후 연구에서는 발화 유사도 기반 지표(Speaker embedding similarity)를 활용해 prosody를 더 직접적으로 반영하거나, 휴먼 평가 데이터를 RL 보상에 결합하는 방향을 모색할 예정입니다. 또한 전화 상담 환경에서의 잡음·중단·혼합언어 발화에 대한 강건성을 확보하는 것도 중요한 목표입니다.

추가적으로 data curation을 정교하게 수행하여 [4]와 같은 고품질 데이터 기반 훈련 방식을 적용하는 것도 중요한 향후 연구 방향입니다.

참고문헌

[1] Ye, Zhen, et al. "Llasa: Scaling train-time and inference-time compute for llama-based speech synthesis." arXiv preprint arXiv:2502.04128 (2025).

[2] Karita, Shigeki, Richard Sproat, and Haruko Ishikawa. "Lenient evaluation of Japanese speech recognition: Modeling naturally occurring spelling inconsistency." arXiv preprint arXiv:2306.04530 (2023).

[3] Shao, Zhihong, et al. "Deepseekmath: Pushing the limits of mathematical reasoning in open language models." arXiv preprint arXiv:2402.03300 (2024).

[4] Darefsky, Jordan, Ge Zhu, and Zhiyao Duan. "Parakeet." 2024. Available at: https://jordandarefsky.com/blog/2024/parakeet/