# Preprocessing

2개의 포스트

BPE(Byte Pair Encoding)

최근 NLP에서 tokenizer로 많이 사용되고 있는 BPE에 대해서 코드와 함께 간단히 정리해 보았습니다.

2020년 6월 5일
·
0개의 댓글
post-thumbnail

[TIL] VI, Flask, TensorFlow : April 7, 2020

VI Shortcut Google Cloud 상에서 테스트 작업을 하던 도중 실수로 코드 전체를 드래그한 상태로 우클릭을 했고, 당황해서 그런지 습관적으로 ESC -> :wq를 날려버렸다.. 단순히 코드가 1회 반복된 것이니 날려버리면 그만이지만, 하나 하나 backs

2020년 4월 7일
·
0개의 댓글