24.03.28 TIL

예진·2024년 3월 28일

TIL

목록 보기

58/68

며칠간의 회의 끝에 우리의 주제는
'IT 직군 채용정보 자연어 분석 및 추천 알고리즘 구축' 정리되었다.
이제부터 진짜 어려운 것들을 해야하는데, 말 맞추고 회의 끝나니까 지쳐서 아무것도 하기시름,,,

임정 튜터님 조언

채용의 정보를 키워드/스킬들을 텍스트분석

한글 전처리 필요 -> 언어의 맥락을 담는 기술들 필요
다양한 자연어 기술들 발전, 이거 자체를 만든다? 한달안에 어려움 2-3개월걸림)
CHAT GPT, CLAUDE 언어 API 를 사용해서 텍스트분석을 하라고 시킬수있음

시도해볼 것들
1. 프롬프트 엔지니어링(시도하는 건 어렵지않음. 정교하게 하는건 어렵고)
2. 유료 tool 사용 (어느정도 프로젝트에 사용할수있을만큼 무료로 제공해준다면 ok / 아니면 조금어려울 수 있음)
= 무료모델을 쓰는게 해답(메타 라마, 구글 젬마)
인터페이스, 우리가 스스로 만들어야하는 불편함 증가

채용 공고 추천 알고리즘

사용자와 컨텐츠의 연결
사용자의 정의해야하고 데이터를 만들어야함
(ex 임정튜터는 개발쪽 분석, 정민 튜터는 비즈니스 분석) -> 사용자/컨텐츠를 정의해야 함( 키워드, 스킬 등)
추천시스템도 다양하게 있어서 충분히 공부해볼만한 내용
컨텐츠기반, 아이템기반 추천 시스템 같은 고전적인 모델과 딥러닝 기반의 추천 시스템도 존재.

Q) 예진님이 말씀하시는 추천시스템 -> 데이터 필터를 통해 추천하는 것
= 필터링시스템 -> 코사인 유사도 개념 학습, 코사인 유사도 기반 추천시스템

Q) 채용공고에서 정보를 어떻게 추출할 것이냐. -> 결과 테이블을 어떤걸 만들것이냐를 정의하면됨
= 자동화하고싶다 : 크롤링 챌린지 a반 수준별학습 3번 강의 3월 수준별학습(파이썬 라이브러리활용)
= 수작업으로하겠다: 공고 찾아서 ctl + c,v
colab, python코드 통해서 해당하는공고 특성에 대해서 0,1 추출하는 프로그램

NLTK 간단히 사용해보기

NLTK는 자연어 처리를 위한 파이썬 패키지이다.
텍스트에서 단어 숫자, 빈도, 어휘 다양도 같은 통계적 정보를 구할 수 있다.
채용공고의 텍스트 데이터 전처리를 위해 사용해 보았다.

라이브러리를 설치해준다.
punkt, stopwords 등 필요한 패키지를 다운로드 한 후, 원하는 작업을 처리할 함수를 만든다.

그럼 진짜로 뭐가 되긴한다...

가장 많이 언급된 단어와 빈도수까지 보여주는 것도 할 수 있다.
공고에서 많이 언급되는 스킬만 추려서 그 단어가 언급되면 1,0으로 표현하는 컬럼들을 만들어야 하는데, 거기까진 진행 안해봤다.
회의하다가 지쳐버린 개복치임...