Reinforcement Learning Conference(RLC)가 어제부터 시작되었습니다. 올해 RLC 2026은 캐나다 몬트리올의 Université de Montréal에서 열리는데요. 오늘은 어제 진행된 pre-RLC workshop에 참여한 후기를 간단하게 공유드리고자 합니다. Reinforcement Learning Conference...

Higgs TTS 3 사용 후기: Expressive TTS는 정말 원하는 감정을 그대로 만들어줄까? 오늘은 최근 공개된 TTS 모델 중 꽤 인상적으로 사용했던 Higgs TTS 3에 대해 간단히 소개하고, 실제로 사용하면서 느꼈던 장점과 아쉬운 점들을 공유해보려고 합니다. Higgs TTS 3는 Boson AI가 2026년 6월 공개한 TTS 모델입니...

AEQ-Bench (2026 ACL findings) 대화를 한다는 것 우리가 대화를 할 때 비언어적인 요소들도 문맥을 파악하는데 많은 영향을 끼친다. 같은 내용의 문장을 말하더라도 다른 톤으로 말하면 다른 감정과 의도를 전달한다. 그러면 사람처럼 AI 모델들은 이러한 부분들을 잘 캐치하고 있을까? 최근에는 대화 모델에서 이러한 부분을 평가하는 방법을 ...

ParaS2S: Benchmarking and Aligning Spoken Language Models for Paralinguistic-aware Speech-to-Speech Interaction ICLR 2026 Paper link Demo audio samples Speech LLM의 평가 방법을 참고하기 위해 관련 연구를 계속 찾아보고 있다. ...

최근 대화형 음성 모델에 강화학습을 적용하는 실험을 준비하면서 관련 연구를 찾아보았다. 그중 Moshi와 PersonaPlex에 GRPO 기반 강화학습을 적용해 상호작용 성능을 개선한 논문인 Multi-Faceted Interactivity Alignment in Full-Duplex Speech Models를 살펴보았다. 전반적으로 짧은 utteranc...

OpenS2S는 사용자의 음성에 담긴 언어적 내용과 감정, 억양, 말투 같은 준언어적 정보를 이해하고, 이에 맞는 공감적 텍스트와 감정이 표현된 음성 응답을 생성하는 오픈소스 Speech-to-Speech 모델이다. 다만 OpenS2S는 응답 텍스트가 모두 완성되기 전부터 speech token과 waveform을 순차적으로 생성하지만, Moshi나 Pe...

Overview One of the most critical challenges in building a full-duplex dialogue model is achieving naturalistic turn-taking — the model should know when to respond and when to keep listening. This p...

Today I took a closer look at how the Moshi model actually works under the hood, code-wise. Moshi is fundamentally a model designed to listen and speak at the same time. Because of this, unlike typic...

How can we make a better dataset from in-the-wild data for training full-duplex models? ✔️ Background Training a full-duplex spoken dialogue model requires dialogue recordings where each speaker is o...

최근에 화자 분리 태스크를 보곤 했는데 음성 인식, 화자 인증, 얼굴 인식, 임베딩 검색 같은 분야를 보다 보면 자주 등장하는 비교 방식이 있습니다. 바로 Cosine Similarity와 PLDA입니다. 둘 다 “두 벡터가 얼마나 비슷한가?”를 판단하는 데 쓰이지만 차이가 있기 때문에 그 부분은 간단하게 정리하고자 합니다. 결론을 미리 말씀 드리자면,...

최근 음성 대화모델 연구가 정말 활발하다. 특히 사용자의 말을 끝까지 다 듣고 나서야 대답하는 half-duplex 방식을 넘어, 듣는 동시에 말할 수 있는 full-duplex 모델들이 빠르게 등장하고 있다. 끼어들기(interruption), 멈춤(pause), 짧은 맞장구(backchannel)처럼 사람 사이의 대화에서 자연스럽게 일어나는 현상들을 다...

Open-Source Full-Duplex Conversational Datasets for Natural and Interactive Speech Synthesis 대화형 모델에 계속 관심을 갖고 있고, 데이터 파트가 궁금해 읽게 되었습니다. 논문에서 진행한 방식은 직접 녹음하는 방식이었는데 사실 비용 문제로 크롤링이나 합성에 비해 제가 따라서 적용하기...

코엑스에서 진행된 AI EXPO 2026 에 다녀왔습니다. 행사정보 링크 코엑스 : https://www.coex.co.kr/exhibitions/국제인공지능대전-2/ 국제인공지능대전: http://www.aiexpo.co.kr/home/v4.php?s=34 시간: 05/06(수) - 05/08(금) 10:00 - 17:00 장소: 코엑스 Hall ...

#Full-duplex spoken dialogue systems #turn taking detection #음향과 언어를 함께 써서, 더 자연스러운 대화를 만들 수 있을까? ✔️ 배경 최근 spoken dialogue system은 단순히 “질문하면 대답하는”

PersonaPlex: Voice and Role Control for Full Duplex Conversational Speech Models ✔️ 배경 최근 음성 AI는 단순히 자연스러운 음성을 합성하는 TTS를 넘어서, 실시간으로 듣고, 말하고, 끼어들고, 맞장구치며, 상황에 맞는 역할을 수행하는 대화형 음성 에이전트로 빠르게 확장되고 있습니다. 특...

작성중

https://arxiv.org/abs/2306.00978 작성중..

시작하기 전에... 용어를 헷갈려 하실까봐 spectrum, spectrogram, mel spectrogram, mfcc 의 차이를 간단히 정리하자면 이와 같습니다. 이미지 출처 waveform → (pre-emphasis) → STFT(framing(hamming window, overlap, hop size) → 각 프레임에 DFT(실제로는 연산 ...

https://transformer-circuits.pub/2026/emotions/index.html 작성중..

chown – 파일 소유자 변경 ✔️ 기본 개념 chown은 파일이나 디렉토리의 소유자(owner)와 그룹(group) 을 변경하는 명령어이다. ✔️ 사용 예시 sudo chown -R [소유자]:[그룹] [대상 디렉토리] ✔️ 의미 sudo : 관리자 권한으로 실행 chown : 소유자 변경 -R : 하위 디렉토리까지 재귀적으로 적용