13주차

보충내용

텍스트 요약

• 큰 원본을 핵심 내용만 간추려서 상대적으로 작은 요약문으로 변환
• seq2seq를 구현
  • 추출적요약 : 텍스트랭크를 이용해서 세 줄 요약기
  • 추상적요약 : 핵심 문맥을 반영하여 새로운 문장을 생성해서 원문을 요약하는 방법(지도 학습)

파이토치 & 케라스 & 텐서플로

• 텐서플로 :
  • 텐서보드를 통해서 파라미터 변화나 양상이나 DNN구조를 알 수 있음
  • 메모리를 효율적으로 사용하지 못함
• 케라스 :
  • 배우기 쉽고 모델을 구축하기 쉬움
  • 오류가 케라스 문제인지 backend의 문제인지 알 수 없음
• 파이토치
  • 간단하고 직관적임, 속도 대비 빠른 최적화가능
  • 텐서플로에 비해 자료나 예제가 별로 없음

파이토치

• torch : 메인 네임스페이스
• torch.autograd : 자동미분을 위한 함수들 포함
• torch.nn : 신경망을 구축하기 위한 다양한 데이터 구조나 레이어 정의
• torch.optim : 확률적 경사 하강법을 중심으로 파라미터 최적화 알고리즘을 구현
• torch.utils.data : SGD의 반복 연산 을 실행시 미니 배치영 유틸리티 함수
• torch.onnx : 서로 다른 딥 러닝 프레임어크 간에 모델 공유

Transformers

• pipeline()
  • 전처리
  • 모델 전달
  • 후처리

• 전이학습
• 개요
  • 인코더 : 표현 자질 도출, 문장 분류, 개체명 인식
  • 디코더 : 시퀀스 생성, 텍스트 생성 생성 태스크
  • 인코더 - 디코더 : 번역, 시퀀스 - 투 - 시퀀스

자료참고 :

https://mopipe.tistory.com/218
https://hongong.hanbit.co.kr/%EB%94%A5%EB%9F%AC%EB%8B%9D-%ED%94%84%EB%A0%88%EC%9E%84%EC%9B%8C%ED%81%AC-%EB%B9%84%EA%B5%90-%ED%85%90%EC%84%9C%ED%94%8C%EB%A1%9C-%EC%BC%80%EB%9D%BC%EC%8A%A4-%ED%8C%8C%EC%9D%B4%ED%86%A0%EC%B9%98/