회사에서 ai에 관한 플젝을 진행하고 있어서 이 분야에 대해 공부를 시작했습니당
정말 아무것도 몰라서 완전 기초적인 것부터 시작했어요
유데미 강의 들으면서 정리한 내용인데..
정리한 내용이 맞는진..모르겠.. 강의를 들으면서도 계속 의구심.. 이게맞나..
하여간 정리는 했으니 참고하려고 올립니다 🙉 🐥🐣
Azure시험
Ai 시험
1. ai워크로드와 ai로 작업할 때 고려해야할 사항
2. 머신러닝의 원리
3. 컴퓨터 비전
4. NLP
5. 대화형 ai
Ai 영역
1)머신러닝 : 자신의 알고리즘을 발전시키기 위해 스스로 학습하는 방법
지도학습 : 데이터를 보여줬을 때 어떤 것이 a이고 어떤 것이 b인지 정확하게 표시할 수 있도록
구체적인 지침을 주는 것
비 지도학습 : 사람의 도움없이 데이터의 패턴을 찾아내는 것
2)NLP(자연어 처리): 자연어(사람들이 이해하는 언어)를 컴퓨터가 이해할 수 있도록 하는 것
3)인지 영역 :
이미지, 영상, 음성, 자동차의 경우, 광선 레이더, 수중 음파 탐지기 등 비 전통적인 센서로부터의
입력을 사용하는 능력 (일반적인 객체 인식같은 분야도 포함)
머신 러닝 :
Allows Computers to use data to forecast the future. -> 미래의 행동을 예측하는데 사용
머신 러닝에서 모델은 패턴을 인식하는데 사용되는 프로그램임
사물, 사람, 장소 등 모두를 인식 가능함 -> 이전에 구체적인 사진을 본 적이 없어도 알아볼 수 있음
음성, 문자 모델도 있음
: 모델은 훈련되어짐 -> 학습은 훈련 데이터를 사용해서 함 -> 모델의 성능은 평가 채점 과정을 통해서 알아냄
모델의 배포 : 훈련 -> 평가 -> 타당한 범위의 오류를 받아들였다면 배포가 가능
Ai 워크로드와 고려사항 15~20%:
1)인공지능의 워크로드 :
1 지도학습 갖고 있는 모든 관련 데이터를 머신에 제시하고 데이터를 레이블링하고 예측하고 싶은 것이 어떤 분야인지 알려줘서 미래를 예측하는데 사용할 수 있는 모델을 개발할 수 있음
예) 검색창에 검색할 문장의 일부분을 넣었을 때, 그와 관련된 내용을 아래에 추천식으로 띄워주는 것, 넷플릭스의 내가 보고 싶어할 수 있는 프로그램 추천…
2 이상감지
3자연어 처리 다양한 포맷 처리
4대화형 ai_ = 챗봇 : 채팅 기술을 지원하는 것들에 연결 가능
ai의 지도 원칙에 관한 내용(도덕, 윤리와 관련) :
공정성, 안정성과 안전성, 개인정보보호와 보안, 포용성과 투명성, 책임성
공정성 : 항상 동일하게 대해야 하고 비슷한 위치에 있는 사람들에게 다른 방식으로 영향을 미치면 안됨
안정성과 안전성 : 어떠한 상황에서도 일관성을 갖는 것. ai시스템을 만들 때, 다양한 각도에서 나올 수 있는 아웃풋을 고려해봐야함
개인정보보호와 안전성 : 딸이 임신한 사실을 먼저 안 얘기
포용성 : 어떤 장애를 가지고 있는 사람들을 도와줄 능력이 있음, 소수도 제외되지 않도록 함
투명성 : 어떤 신청을 했는데 그 결과가 거절일 때, 설명해주는 것
책임성 : 시스템을 운영하는 것에 대해 책임을 져야함, 실수가 있을 때 그를 수정 및 책임질 수 있는 능력이 있어야함
머신러닝의 알고리즘 기본 원칙 (숫자로 표시 가능한것):
1. 알고리즘의 회귀 : 예측알고리즘 -> 한 개 이상의 예측 변수가 주어졌을 때, 결과 변수를 예측하는 능력 / 회귀 : 결과값이 양적 데이터로 표현된다는 것
2. 분류 알고리즘 : 지도학습 / 레이블링 필요 / 1)이진 분류 yes or not 2) 다중 분류어떤 종류인지 확인 -> 근사치 예) 사과일 확률이 90%입니다.
3. 군집 분석(clustering) -> 비지도학습 / 레이블링 필요없음 / 즉, 스스로 데이터를 살펴보고 데이터 사이의 관련성을 찾음
머신러닝 개념의 핵심 :
Feature : 데이터에 표시를 하면 알고리즘은 의사결정을 위해 데이터를 사용함 / 알고리즘을 위한 입력 / 피쳐는 입력 변수
Label : 예측하는 것
: 좁거나 너무 광범위한 범위의 피쳐를 선택한다면 결과가 괜찮지 않을 것임
데이터는 무작위로 나누어야함
머신러닝 솔루션을 생성하는데 있어서의 핵심 과제 :
Prepare data ->
데이터 수집 (azure data factory -> azure에 내장된 데이터 수집 도구)
데이터 변환 -> 적재 & 변환 (사용할 준비 완료) / 데이터 스토어는 데이터 연결 선 같은 것임
build & train models ->
모델 만들기
deploy & predict
1. Azure 스토리지에 데이터 적재
2. 안 좋은 데이터 지우기
3. 사용가능하도록 데이터 변환
4. 데이터 스토어 만들기
5. 데이터셋 만들기
6. 작업환경에 데이터셋 등록
7. 모델 만들기 전에 거쳐야할 것은 feature selection & engineering임
feature selection : 모델을 훈련시키기 위해 사용할 기능들을 선택하는 것 -> ml 모델의 성능을 결정하는 데에 큰 영향을 끼침. 관련없는 features를 제거해야함.
그러나 너무 많은 features를 선택하면 훈련 데이터에 모델을 과적할 수 있음 -> 모델을 단순화해서 대체로 예측이 맞도록 해야함
Feature engineering : 다른 데서 데이터를 추출하거나 엔지니어가 계산한 것의 일부로 피쳐를 만드는 것 -> 기존 데이터를 기반으로 새로운 데이터를 만드는 것 / 피쳐 엔지니어링의 역할은 최고의 피쳐가 무엇인지 브레인 스토밍해서 원하는 결과를 얻도록 해야함
피쳐 셀렉션과 엔지니어링 후의 다음 단계 :
모델 훈련 : 머신러닝에게 훈련할 데이터를 제공하는 것 / 자동화된 머신러닝 -> 모든 훈련 알고리즘을 사용해서 뭐가 나의 데이터에 가장 적합한 모델인지 선택할 것임
혼동행렬 : 참긍정과 참부정을 목표로 해야함 -> 두개를 가르켜서 정확도라 함
참긍정 (true positive) : 예측한 값이 실제 결과값
참부정 (true negative) : 거짓을 예측했고 실제로도 거짓 -> 의사가 임신하지 않았다고 하고 진짜로 임신하지 않은 것 /
거짓긍정 (false positive) : 남자보고 임신했다고 하는 경우.. -> 명백한 사실이 아님
진실을 예상했는데 실제로는 부정
거짓부정 (false negative) : 여자보고 임신했다고 했는데 아니라고 하는 것 / 부정을 예측했고 진짜로 부정
Recall(재현율) = tp(true positive) / (tp+fn(false negative)) -> 재현율이 높을수록 좋음
precision(정밀도) = tp / (tp+fp(false positive)) -> 긍정 예측 기반_얼마나 많은 것들이 실제로 긍정이었는지 따지는 것
: 재현율과 정밀도 모두가 높은 것이어야함
F-score = f-measure : 재현율과 정밀도를 하나의 점수로 결합하는 것
F-score = 2 recall precision / (recall + precision)
회귀모델 (regression metrics) :
장점 : 수치형 예측 -> 수치로 예측이 실제 결과에 얼마나 근접한지 수학을 이용해서 계산할 수 있는 것 -> 혼동행렬 필요없음
혼동행렬은 분류 모델에 필요한 것임
회귀모델 오류의 계산 :
R2 (R-squared/결정계수): 실제 결과값과 예측 결과값의 연관도, 높을수록 좋음 (1.0은 완벽한 연관성)
RMSE (Root mean squared error/평균 제곱근 오차): 실제 결과값고 예측 결과값 사이의 실제 오류 -> 낮을수록 좋음 -> 평균 제곱근 오차가 0이라면 가장 좋음 / 큰 오류가 나오면 평균을 날려버릴 수 있음
RSE(residual standard error / 전차 표준 오차) : rmse와 비슷한 결과를 갖음
mae(mean absolute error / 평균 절대 오차) : rmse와 비슷한 결과를 갖음 -> rmse보다 큰 에러에 대해 덜 민감함 / 오류가 많아도 상관없으면 평균 절대 오차를 사용하는게 나음
모델 배포 : 테스트 성공한 모델을 운영 준비 상태에 투입시키는 것
노코딩 머신러닝 사용방법 :
데이터 소스 셋업, 데이터셋 만들기, 디자이너에 데이터셋 드래그
머신러닝 작업영역 :
어떤 작업을 하기 위한 방법을 만드는 것스토리지 계정과 보안키를 저장할 장소를 가짐
서버 생성 필요 -> 사용하지 않을 때는 멈춰야함비용발생
자동화 머신러닝 만들기 :
데모 데이터가져오기 -> 오토 ml run -> 방금 만들은 데모 데이터 선택
머신러닝 디자이너 :
정규화란 일련의 수치들을 재조정하는 과정
Azure ai의 세 가지 공통 워크로드 :
컴퓨터 비전 워크로드(시험에 15~20%정도 나옴) : 사용할 때 : 이미지 분류_이미지를 제공하면 해당 이미지의 특징을 식별하여 이미지의 주체가 무엇인지 나타냄
객체 감지 서비스 : 이미지를 분 석해 무엇인지와 객체의 위치도 찾아냄
의미 분할 : 객체의 경계 식별, 위성에서 집있는 곳을 찍은 후, 집들의 가장자리를 식별하여 집들을 도면화함 -> 자율주행 자동차에 도움이 됨
안면감지 및 인식 기능
컴퓨터 비전 툴 :
Microsoft azure의 컴퓨터 비전에는 컴퓨터 비전 서비스와 azure 인식 서비스 중 고를 수 있음
azure 인식 서비스 : 우산 형채로 구성된 서비스임. 하나의 엔드포인트와 하나의 키를 제공하며 단일 url을 사용하여 모든 인지 서비스에 접근 가능
컴퓨터 비전 서비스 : 자연어를 처리할 때, 인식 서비스를 사용하지 않는다면 별도의 url로 작업해야함
사전에 훈련된 머신 러닝 모델이기 때문에 이미지를 전송하면 바로 식별할 수 있으며 1만 개 이상의 객체를 식별할 수 있음
커스텀 비전 서비스 : (컴퓨터 비전 서비스 대체 가능) 이건 사용자가 스스로 훈련시킬 수 있는 모델
자연어 처리 :
감성 분석 기능 긍부정, 중립인지 판단
nlp를 훈련시켜서 내가 일하고 있는 업계의 사전을 만들 수 있음
음성 인식 & 음성 합성 음성 인식은 인간의 대화를 감지하고 해석 / 음성 합성은 그 반대. 음성을 합성하여 출력_음성을 텍스트로 변환 또는 텍스트를 음성으로 변환하기라고도 함
Nlp :
텍스트 분석 서비스(언어 종류에 상관 없음그러나 어떤 언어인지 식별을 못하면 nan값 출력) 핵심 구문 추출, 엔티티 감지, 감정 분석, 텍스트 내용 분석
언어 이해 서비스(Luis / language understanding service) 영어인지 다른 언어인지 식별하고 이해 / 자연어 이해에는 세가지 핵심 컨셉이 있음 1)발화 2)개체 3)의도
텍스트 번역 서비스 _ 70개가 넘는 언어를 지원하며 서로 다른 용어를 기반으로 하는 머신 러닝 모델을 생성할 수 있음
대화형 인공지능 (15~20%): 대화형 쳇봇 / 사용자가 컴퓨터와 대화할 수 있도록 하는 것 / 봇 = 에이전트
사용자 말을 자연어 처리하는 것 뿐만이 아니라 자연스러운 대답이 가능
대화형 ai 활용 사례 : 웹 채팅 봇 대화의 범위가 한정되어있음
고객 센터의 ars서비스 : 제약이 있는 대화형 ai 사용자의 말을 어느정도 알아듣는 전산화된 메뉴
디지털 개인 비서 : 핸드폰, 네비게이션, 자동차 등등에 있음
