FEB 0.1.0

파동으로서의 소리

• 소리→ 진동으로 인한 → 공기의 압축 →파동(wave)

• 진폭 amplitude

• 주파수 frequency

  • 1초 동안의 진동 횟수 → 1Hz → 1초에 1번 진동
  • period → 주기 → 파동이 한 번 진동하는데 걸리는 시간

• 위상 phase

물리적 음향

• 진폭의 세기 → 강도 intensity
• frequency → 떨림의 빠르기
• 파동의 모양 → tone-color

심리적 음향

• 소리의 크기 → loudness
• 음정,소리의 높낮이,진동수 → pitch
• 음색,소리,감각 →timbre

복합파(Complex Wave)

• 복수의 서로 다른 정현파(sine wave)들의 합

오디오 데이터의 디지털화

• 컴퓨터는 0과 1로만 이루어진 디지털 데이터만 취급 가능

• 아날로그 → 디지털 과정 필요

  표본화(Sampling)

• 시간축 방향에서 일정 간격으로 샘플을 추출하여 이산 신호(discrete signal)로 변환시키는 과정

single_tone()

• 초당 샘플링의 횟수
  • 샘플링 →1초의 연속적인 신호를 몇 개의 숫자로 나누어 표현할 것인지

샘플링 방법론

• 나이키스트-섀넌 표본화
  • 16kHz : Speech
  • 44.1kHz : Music

나이키스트와 샤논 (Shannon) 표본화 정리

표본화(Sampling)

양자화(Quantizing)

• 이산적 데이터의 값 자체가 소수점 아래로 무한히 정밀해질 수 없고, 일정 간격으로 값을 근사하여 구할 수밖에 없음

부호화(Encoding)

부호화 → 표본화 → 양자화

Wave data 분석

Wave 데이터 형식 뜯어보기

• 1개의 WAV 파일은 1차원으로 이루어진 시계열 데이터

Bits per sample

• 샘플 하나마다 소리의 세기를 몇 비트로 저장했는지를 나타냅니다

Sampling frequency

• 소리로부터 초당 샘플링한 횟수
• 복원해야 할 신호 주파수의 2배 이상으로 샘플링

Channel

• 채널별로 샘플링된 데이터
• 1채널(Mono)
• 2채널(Stereo)

npz 파일

Train/Test 데이터셋 구성하기

Label data 처리

Hyper-parameters setting

tf.data.Dataset

tf.data.Dataset.from_tensor_slices

• return 받길 원하는 데이터를 튜플 (data, label) 형태로 넣어서 사용

Wave classification 모델

Model

Conv1D

Loss

• 12개의 단어 class
  • multi-class classification 필요
    • Categorical Cross-Entropy loss 사용

Training

• model.fit
  • Callback : 학습 중간 중간 원하는 동작을 하도록 설정 가능