1. 빅데이터 분석 개요
1. 학습 방식
1. 지도 학습
- 데이터로부터 함수를 유추해내기 위한 기계학습
- 데이터는 일반적으로 속성을 벡터 형태로 포함
- 각각의 벡터에 대해 원하는 결과가 무엇인지 표시
2. 비지도학습
- 컴퓨터에게 답을 알려 주지 않음
- 훈련용 데이터를 통해 함수 추론
- 스스로 분류하고 의미있는 값을 추출
- 예측이 아닌 데이터가 어떻게 구성돼 있는지 밝힐 때 사용
- 일종의 그룹핑 알고리즘
3. 강화학습
- 명시적으로 가르치는 것 없이도 동적으로 변화하는 환경과 상호작용하며 특정 목적을 수행 가능
2. 데이터 분석 사례
1. 오바마의 선거 캠프
- 아마존 클라우드, 엑시엄 데이터베이스 이용 -> 개개인의 생활 패턴 파악
- 데이터 분석으로 오바마의 당선 예측
2. 넷플릭스
- 영화 선택과정에서 고객 리뷰, 평가 등급을 이용한 맞춤형 추천 시스템 개발
- 넷플릭스 분석 경연대회를 열어 최고 알고리즘을 채택
- 상황별 플랫폼 구상도 활용 - OFFLINE, NEARLINE (추천 영화 상영 시 이를 바로 반영하여 다른 영화 추천 준비), ONLINE
3. 이상 현상 감지
- 업무에서 발생하는 다양한 이벤트를 기록 -> 정상 비정상으로 표시
- 위 패턴을 기초로 새로운 이벤트 발생 시 이상 현상 여부 판단
4. 데이터 시각화
- 공공데이터를 활용한 wifi 위치 표시
- 인물 관계망 분석 (SNS 이용)
2. conda 명령어 정리
원래 예전에 연습할 때 쓰려고 python 3.7을 깔아놨었는데 conda는 패키지 설정마다 새로운 python 버전들을 활용할 수 있어서 더 편리하다.
물론 기존의 파이썬은 과감하게 폐기되었다.
1. 환경 관리
conda create -n python3_test python=3
-----------------< name + 이름 >-------< 환경 >
activate python3_test //활성화
deactivate //비활성화
conda install numpy pandas metploitlib jupyter notebook // 패키지 설치
create 명령에서 가끔 http 000 에러 발생하는데 아래 링크 방법으로 해결됨
https://gldmg.tistory.com/142
2. 저장, 로드
conda env export > enviornment.yaml //환경의 모든 패키지
conda env create -f enviornment.yaml //같은 이름의 새로운 환경 생성
3. 확인, 제거
conda python3_test list
conda env remove -n env_name
4. 실습
py3라는 환경 생성 완료
활성화
리스트 확인
제거
3. Jupyter
귀찮으니 위와 같은 형식으로 bat 파일을 저장해서 언제든 실행 가능하게 만들자
실행 후 엔터를 뚜들기면 html 파일이 열리는데 이 때도 html의 기본 매개 프로그램이 크롬이나 인터넷으로 설정해주면 편하다. (본인은 메모장으로 열림;;)
잘 열렸다.
이제 new에서 새로운 파일을 만들고 그 파일 내에서 new로 python을 클릭하자.
그럼 위와 같은 환경이 제공된다. Untitiled 라는 이름은 shutdown 시키고 rename 으로 고치자.
Run이나 ctrl +enter, shift+enter를 하면 실행가능함. ln 옆의 수는 실행 횟수를 의미
여기서 code를 markdown으로 바꾸면 velog와 유사하게 텍스트문서로 저장이 됨 markdown 문법은 다른 veloger가 올린 글에 아주 잘 정리되어 있다.
여기 참고~
실행된 마크다운 content를 더블클릭하면 수정도 가능하다.
4. anaconda 이용하기
anaconda3\Scripts\idle.exe를 찾아 실행하자. (귀찮으니 바로가기 파일을 만들어주자)
- 쉘 모드 : 라인 입력마다 실시간으로 처리 - 응답
- Editor 모드 : 문서를 한꺼번에 실행
다음 포스트에서는 기초 파이썬 문법들을 복습할 예정이다...
(물론 내가 모르는 것만 함)
