DNS 챌린지와 URGENT 챌린지 소개 오늘은 음성 향상 분야의 대표적인 두 대회, DNS 챌린지와 URGENT 챌린지에 대해 소개해 드리겠습니다. 두 대회 모두 잡음이나 왜곡이 섞인 환경에서도 사람이 듣기 좋은, 혹은 후속 작업에 유리한 깨끗한 음성을 만들어내는 기술을 겨루는 대회입니다. 다만 초점이 조금 다릅니다. DNS 챌린지는 노이즈 제거(e...

오늘은 온디바이스에 대해서 가볍게 적어보려고 한다. 인터넷 자료에 의지를 많이 했다보니 내용 검증은 더 필요하다ㅎ;; 아무튼... 온디바이스 AI는 클라우드 서버 대신 기기 내부에서 AI 추론을 수행하는 방식이다. 보안, 지연시간, 오프라인 가용성, 비용 측면에서 이점이 있으며, 이를 실현하기 위해 양자화(Quantization), 병렬 연산(Paralle...

출처: https://research.samsung.com/blog/FSPEN-AN-ULTRA-LIGHTWEIGHT-NETWORK-FOR-REAL-TIME-SPEECH-ENAHNCMENT 최근에 speech enhancement 분야를 보고 있는 중인데, 경량화된 모델의 크기나 퍼포먼스가 궁금해서 찾아보던 중 ICASSP 2024에서 발표된 해당 논문을 ...

출처: https://www.youtube.com/watch?v=7g1BCQk226A 우리가 일상에서 듣는 음성은 단순히 소리의 높낮이나 크기만으로 이루어져 있지 않다. 사람의 말소리에는 언어적 정보(무슨 말을 하는지)뿐 아니라 비언어적 정보(감정, 건강 상태, 환경 등)까지 담겨 있다. 이러한 다양한 정보를 더 깊이 이해하기 위해 연구자들은 오랫동안 음...

예전에 읽었던(2024년도) VC/TTS에서의 Accent / Prosody / Emotion / Duration modeling을 정리하고자 한다. Feature를 어떻게 정의하고 모델링할 것인가? 우선 가장 근본적인 질문은 이것이다. f0, duration, en

GLASS Flows: Transition Sampling for Alignment of Flow and Diffusion

moshi - temporal and depth transformer

mimi codec

Speech feature 에 대한 전반적인 개요

에이전트의 기초 개념

Reward Alignment with SMC

VoXtream / Streaming TTS / 102ms FPL

ASR for game domain

n8n이란? 코드 없이 만드는 워크플로 자동화 툴 여러 앱이나 서비스들을 서로 연결해 자동으로 일하게 만드는 도구 예를 들어, Gmail에 새로운 메일이 오면 Slack으로 알림 보내기

How to Get an Alarm (Notification) in Slack: You can make Slack send you a notification automatically from any script or GitHub Action by using a Slac

slack에서 알람 받고 싶을 때 webhook url을 사용하면 된다.

Getting and Setting Up Your OpenAI API Key

OpenAI API Key 발급과 설정

반복 재생되는 음악에서 전환의 부자연스러움을 해결하기 위해, circular padding과 beat alignment를 활용한 training-free 루프 생성 방식인 LoopGen을 제안

자연어로 원하는 소리만 분리해주는 FlowSep 모델 제안. Rectified Flow Matching 기반 생성 방식으로 빠르고 깔끔한 오디오 분리가 가능하다.