비정형 dataset에 사용할 수 있는 EDA & Visualization
dataset meta data visualization
target distribution
- 훈련 상에서 발생할 수 있는 문제점 예측
dataset listup
dataset 일부를 listup
dataset-target 비교 가능
visual analytics
dimension reduction (pca, lda, tsne) + scatter plot
- text는 word2vec과 같은 과정 필요
data-data relation network visualization
- 대규모 data에 대해 네트워크 시각화
train/inference visualization
wandb, tensorboard 등 다양한 툴로 모델 훈련과정 확인
그 외
XAI, node-link diagram
Image Dataset Visualization
이미지 나열
matplotlib의 ax.imshow 사용
- rgb scale이 아니므로
cmap=’gray_r’이용 - 축 값이 필요 없으니 모두 없애줌
ax.spines.set_color각 숫자를 구분
Patch 사용하기
matplotlib.patches 사용
patches.Rectangle( (1, 2), 3, 4)
- (1, 2) 지점에서 x축으로 3, y축으로 4만큼 범위 지정
- object detection의 bounding box
segmentation
기본적으로 wandb 등에서 진행 가능하니 기존 툴 사용 추천
Dimension Reduction + Scatter Plot
tsne, umap 사용
- dimension reduction
Text Dataset Visualization
console output에 highlight
품사 태깅, 가중치가 부여된 단어 시각화에 이용
termcolor 라이브러리 이용
- 출력 색상을 변경
IPython의 HTML 활용
html에서 특정 색상 변경
※ 모든 이미지 및 코드 출처는 네이버 커넥트재단 부스트캠프 AI Tech 5기입니다. ※
AI-Kid