긴 문자열을 지정된 구분자를 기준으로 토큰이라는 여러 개의 문자열로 자름
String의 split이나 Scanner의 useDelimiter는 정규식 표현을 사용함
StringTokenizer는 구분자를 하나밖에 사용하지 못하므로 두 개(두 문자) 이상일 때는 split, useDelimiter 사용
(구분자로 '/+='를 사용하더라도 /+=가 하나의 구분자로 작동하지 않고 *, /, +, = 하나씩 구분자로 동작함)
구분자를 지정하지 않으면 스페이스, \t, \n, \r등 기본 구분자가 디폴트 값으로 동작
양이 적은 경우 split보다 StringTokenizer가 우세하지만 공식 홈페이지에서는 레거시 클래스 취급함
메소드
- nextToken(): 객체에서 다음 토큰 반환(String 반환)
- nextToken(String delim): delim 기준으로 다음 토큰 반환(String 반환)
- countTokens(): 전체 토큰의 수 반환(int 반환)
- hasMoreTokens(): 토큰이 남아있는지 알려줌(boolean 반환)
- hasMoreElements(): hasMoreTokens와 동일하지만 주로 hasMoreTokens 사용
- nextElement(): nextToken와 동일하지만 문자열이 아닌 각체 반환