학습 내용
Python
- 4-1 Python Object Oriented Programming
- 4-2 Module and Project
- 5-1 File / Exception / Log Handling
- 5-2 Python data handling
AI Math
- 8 베이즈 통계학 맛보기
- 9 CNN 첫걸음
선택 과제
- 2. Backpropagation
- 10강 관련 내용인데 멘토링때 해설을 해주신다고 해서 급하게 했다!! 전에는 이론으로만 배웠었는데 수식으로 하려니 진짜 모르겠다..
🌟멘토님이 주신 관련 영상🌟
- NN backprop
- RNN backprop
피어세션 & 멘토링
- 회의록
- 선택과제 2,3 해설
0805 Master Class
소개
임성빈 교수님
19.12까지 kakao brain, 현재 unist
Statistical Learning, RL,Stochastic Optimization, Causal Inference(..!)
AI&Math FAQ
수학 너무 어려움. 쉽게 공부하는법?
- 머리로 하면 어려우니 손으로 익히자
- 용어의 정의를 외우자
- 교과서, 위키피디아 이용
- 인공지능 커뮤니티에 물어보기
- AI Korea(Deep Learning)
- Pytorch KR
- Tensorflow KR
- 용어를 외웠다면 예제를 찾아보자(두루두루)
- ex) likelihood example
- 너무 많은 시간을 쏟지 말자(졸려지기 전에 끊자)
💥 여러 모델들의 수학적 원리를 모두 이해하고 있어야하나?
- 모두 이해하는건 어려움. but 원리를 이해하는데 필요한 기초(likelihood? 기댓값? 벡터?)는 알고있어야함
- 기초란??
- ✨✨선형대수✨✨, 확률론, 통계학 필수로 알자
- 기업, 대학원 면접에서 꼭 물어본다(first-round 질문)
- 알고리즘, 최적화 내용 같이 공부하면 시너지가 좋다
- 머신러닝 이론을 공부할 게 아니라면 해석학, 위성수학까지 공부할 필요는 X
- 증명보다는 definition, example 위주!!
- 책 추천: definition은 아무책이나~ 예제는 구글!!
- 머신러닝에서 어떻게 활용되는지 검색!
- 분류문제에서 왜 cross-entropy를 손실함수로 사용하는가?
- 미분? gradient descent 이런건 알아두기
- 책 추천: Dive into Deep Learning - 수학적 개념을 어떻게 수식으로 Pt,np,tf등에서 표현할지가 현업에서 중요
- 구현과 관련된 예제가 잘 있다
ML엔지니어는 수학을 어느정도 알아야할까?
- 필요한걸 공부해서! 빠르게! 따라잡을 수 있을만큼 알아야 한다.
- 언제 사용할지 예제도 알고있기
- 어떤 과정에서 수학이 필요한가?
- Define-Brainstorm-implement-analyze 중 Define, Brainstorm과정에서! 개념을 연결지을수 있게끔 지식을 알고있어야함(외우기보다는)
- 증명과 대단한 수학적 이론 보다는 문제를 풀기 위한 수학적 개념을 언제 적용할지 알고있기
추천시스템 공부할 때 알아야할 내용이 있나요?
- Dive into Deep Learning 16장
- Maxtix Factorization -> 2개의 low-rank 행렬로 쪼개는 선형모델 기법
수포자에게 난도가 낮은 AI Math or 딥러닝 서적?
- 대중화 된것..(밑바닥부터 공부하는 딥러닝)
- 일단 마음가짐..ㅎ
심슨의 역설과 같은 통계의 오류가 잘 정리된 책?
- The Book of Why: The New Science of Cause and Effect
- DS가 될 사람이 조심해야 할 것?이있음. 수학책이 아니라 술술 읽을 수 있다. but 영어
수학이든 모델이든 line-by-line 구현 연습을 계속 하는게 좋을지, 혹은 모든 이론의 근간이 되는 기초적인 개념(Gradient Descent)정도만 구현할 수 있어도 충분한지?
- Junior이라면... line-by-line이 제일 좋음 회사 들어가기 전에 꼭! 미리 연습해놓기. 문제는 전부 다 구현하기는 너무 많음.
- 모든 것을 기초 level로 하기는 부족함. 논문 읽다가 중요하다고 생각되는 부분들은 구현 필요
- 딥러닝 framework에서 제공되는 것(Gradient descent, 역행렬..)같은 경우는 개념만 알아도 좋지 않을까?
- 제공되지 않는 technique 같은 경우는 직접 구현해보기
- 지금은 기초만, 나중에 성장하게 되면 디테일들을 메꾸기..
인공지능 대학원
AI 분야에서 학석박 간에 어떤 차이?
- 분야마다 다르겠지만 전문성이 다름
- 대중화되지 않은 영역은 학위과정이 중요 - 기술 성숙도, 분야, 대중화 따라 다름
- 대중화된것: CV, NLP - 대학원이 필요하지 않을 수도?
- 안된것, 요즘 뜨는 - 새롭게 설명된것 X, 논문으로 되어있기 때문에 대학원 필요
- XAI는 이제 '모델 평가 어떻게하는지?'를 정하는 단계임. 대학원 level이 필요, - autoML같은 경우 기업이 더 잘알음(시스템 단계)
- 학부로 부족한것
인공지능 분야에서 대학원이 필수일까?
- 필수는 아님, but 관심가진 분야가 새로운 분야면 대학원을 추천
- 분야에 대한 실력을 가지기 위한 root가 학부+검색으로 끝날 수 있으면 괜찮음
💥 기업에서 대학원생을 선호하는 이유?
- 전문성 - 특히 새로운 or cutting edge 분야. 더 마음이 간다. 완전
- 기업에서 요구하는 것
- 논문을 줘서 구현하라고 해보기
- 새로운 문제 줬을때 풀어보라고 해보기
- 대학원생은 연구적인 문제를 풀면서 training한 경험이 있기 때문.
- 대학원이 스펙이 아니라고 단호하게 말할 수 있다.
- 어느 대학 인가보다는 1)어느 분야 랩? 2)거기서 어떤 연구?
- 교수님/아는사람추천, 인턴 기회를 얻기 위함
- 대학원을 가게되면 랩에서 산업체 인턴을 많이 연결해줌. --> 같이 일했던 사람에게 더 마음이 간다. or 대기업 인턴 경력 - reference check가 된다
전문성을 얻기 위한 방법(대학원 이외에)
- 그 분야에서 논문 썼는지?
- 그 분야에서 기술적인 코드나 기술적인 라이브러리가 ✨공유가 안 된것들✨ 중에 구현한게 있는지? (구글 논문 구현하기!!!!, tf아니고 pt로하면 더좋음)
논문을 읽다 보면 모델의 구조나 학습 방법이 명확하지 않은 경우가 있는것같은데, 이런 논문을 구현함에 있어서 중요한 점?
- 엔지니어의 상상력이 필요한 시점
- 기상천외한 상상력 X, 비슷한 상황에서 어떻게 구현했는지 찾아보기(in stack exchange(?)
- 구현하기 쉬운 논문부터 구현하는 연습 하기! 처음부터 어려운것XX
회고
- 마스터클래스가 많이 도움되었고 너무 많이 부족함이 느껴진다!! 내가 원하는 분야 대학원은 우리나라에 없어서ㅠ........해외쪽으로 틀어 대학원을 갈지 아니면 관련 스타트업으로 가야할지??
