Part 1 데이터 분석과 AI학습에서 유의할 점
상관관계, 인과관계 혼용하지 X
데이터 전처리와 분석방법
- Error bar 추가하기
- 적합한 통계 테스트 찾기
- outlier 제거
- 데이터 표준화 하기
- EDA(exploaratory data analysis)
데이터를 많이 보고 정제
데이터의 양도 중요
- underfitting, overfitting(특정 데이터에 특화) 주의
- 학습 데이터와 testing 데이터는 달라야함
데이터의 확보, 전처리, 분석, 해석의 전 과정이 중요
Black box alogrithm 주의
설명력을 높여주는 알고리즘
Saliency map, SHAP와 같이 post-hoc explainability를 제공하는 기술도 생김
학습 결과가 바뀔 수 있는 위험성
One pixel attack - 픽셀 하나만 바뀔 경우 알고리즘 학습 결과가 달라짐
웹데이터 주의할 점
- 정보의 대표성
- 의견의 대표성 : Spiral of silence 인터넷 상의 의견이 모두의 의견이 아님, 편향 현상
- 오정보는 인포데믹 현상까지 일으킬 수 있음
- 인포데믹 현상: 사실 정보와 더불어 오정보의 양이 늘어 구분이 어려워지는 정보 과부하 현상
GDPR - 개인정보를 보호하고 과다 광고에 노출, 혹은 혐오 표현의 노출을 규제하는 플랫폼을 단속하는 법 제도
우리나라에서 만드는 서비스도 GDPR을 참고해야함
데이터 과학자는 윤리적 가치, 법 제도 변화도 이해해야
알고리즘이 어떤 편향을 가지는지 알고 유의
알고리즘의 설명력, 편향, 신뢰 문제에 주의
Part2 AI Ethics
초거대 언어 모델, 자연언어기술의 혁신
기획자, 인공지능, 프로그래머 , 데이터 제공자 사이의 저작권 분배 이슈
창작은 사람만이 할 수 있다고 한정되어 있음
창작자인 AI는 법적 권리를 제공할 수 있는 법적 제도가 없음
법적 권리를 가지는 존재 - 법인 (인공지능은 법인에 포함되지X) - 법적 처벌의 도피로 악용될 수 O
아시모프의 로봇 3원칙
첫째로 로봇은 인간을 다치게 해선 안 되며,인간이 해를 입는 걸 방관해서도 안 된다.
둘째로 법칙 1에 위배되지 않는 한 로봇은 인간의 명령에 복종한다.
셋째로 법칙 1과 2에 위배되지 않는 한 로봇은 스스로를 보호해야 한다.
Part3 세계적인 데이터 과학자가 되는 법
데이터에 대한 호기심
데이터에 대한 관심, 이종 데이터 결합하는 능력
지하철 노선, 통신 데이터 - 이동 인구 파악
위성영상 딥러닝 분석으로 비곤지역 예측 및 녹지 계산
CNN과 transfer learning 기반 위성영상 분석 기술 개발
기존의 산업을 새롭게 재정의하는 눈
변화가 곧 생존
데이터를 통한 상상력으로 어려운 문제에 도전해야 함
목표가 낮아 너무 빨리 성취하는 오류
50% 성공확률을 가지는 목표
실패가 두렵다면 성공할만한 작은 목표만 세우게 됨
멘토, 협업할 팀과 함께하는 것이 중요, 각자의 사고, 관점이 존재
