일지
1.첫 글
velog의 첫 글입니다.사실 인스타나 페이스북이 아닌 다른 SNS를 이용해 이렇게 글을 쓰는 것이 처음입니다.그리고 전공이나 진로같은 주제를 이야기하는 것도.그래서 두서없고 규칙없이 그냥 제가 생각나는대로, 적고싶은 포스트들을 남길 예정입니다.누군가 봐주기를 바라고
2.이미지를 직접 크롤링해보자~
크롤링? 사실 이 게시글을 보러 들어온 사람이라면 대부분 크롤링 이 뭔지 이미 알고있을 것이라고 생각됩니다. 크롤링 이란 무수히 많은 컴퓨터에 분산 저장되어 있는 문서를 수집하여 검색 대상의 색인으로 포함시키는 기술. 어느 부류의 기술을 얼마나 빨리 검색 대상에 포함
3.원본 이미지 크롤링 하는법
이전 포스트의 크롤러 앞서 작성한 크롤링 프로그램은 구글 이미지 검색시 나오는 썸네일들을 크롤링하는 코드였습니다. 빠르고 쉽다는 장점이 있지만 사실 썸네일들은 픽셀이 압축된 이미지이기 때문에 화질이 좋지는 않습니다. 실제 썸네일을 크롤링한 결과와 원본 이미지를 크롤링
4.2021 데이터 청년 캠퍼스 후기
6월말부터 8월말까지 두 달간의 데이터 청년 캠퍼스 과정을 끝마쳤다.커리큘럼 설명과 시간표를 공지받았을 때, 굉장히 체계적이고 알찬 구성이라고 생각하여기대가 굉장히 많이 되었었는데....사실 커리큘럼에 소개되었던것들 중에서 절반정도밖에 배우지 못했던 것 같고 대부분 기
5.YOLOv5를 이용한 전동 킥보드 인식
위 사진은 실제 코드를 사용하여 전동 킥보드와 점자블록을 인식한 사진입니다. 개발 환경 : Google Colaboratory Pro 사용 모델 Object detection에는 여러가지 모델이 사용되는데, 그 중에서 FPS(Frame Per Seconds)와 m
6.Beautiful Soup 기초
뷰티풀수프, 줄여서 뷰슾은 파이썬에서 사용할 수 있는 웹데이터 크롤링 라이브러리입니다.사실 Selenium은 완전히 크롤링을 위한 라이브러리가 아닌, 웹개발자들이 동적 웹이 제대로 작동하는지를 테스트하기 위해서 만든 모듈이라고 합니다.먼저 뷰슾을 사용하기 위해선 Sel
7.스타벅스 DT매장과 맥도날드 DT매장의 위치 시각화
크롤링의 응용 앞서 여러 게시글에서 bs4 나 selenium 을 사용한 크롤링 방법을 알아봤습니다. 이번엔 크롤링으로 데이터를 모으고, 그 데이터를 기반으로 간단한 시각화를 해보겠습니다.
8.ML 기초
Machine Learning 머신러닝이란 아더 사무엘이 처음 사용한 용어로 제공된 정보를 기계가 학습하여, 학습한 정보를 기반으로 결과를 예측하거나 분류하는 등의 행위라고 할 수 있다. 심심이나 아키네이터같은 웹 상으로 체험할 수 있었던 간단한 서비스도 머신러닝이라
9.ML 기초 CV, Hyper Parameter Tuning
하나의 데이터셋으로 한번만 train, val, test를 진행하면 과적합 문제가 생길 수 있다.가장 쉽게 발생하는 문제는, train, val은 95%가 나오지만 test에서 70%의 정확도가 나는 문제이다.과적합은 모델을 너무 정교하게, 너무 많은 feature를
10.ML 기초 Cost Function
Cost Function 비용함수란 간단히 말하자면 실제와 예측 결과의 다른 정도를 구하는 함수다. 비용함수를 통해서 원래의 값과의 오차를 계산한 뒤, 그를 근거로 가설함수를 더 개선하는 것이다. 우리는 보통 가설함수의 매개변수를 최적화해서 가장 오차가 작은 가설함수
11.Feature Selection - Wrapper Method
ML에서 모델의 정확도를 높이는 방법은 여러가지가 존재한다. 데이터의 부족이라면 당연히 데이터를 더 수집하는 것이 좋을 것이고, 데이터의 총 숫자가 많더라도 클래스간의 불균형이 심하다면 샘플링 기법을 통해서 정확도를 높이는 방법도 가능할 것이다. 그 외에도 데이터의
12.NLP - TF-IDF
참조 - https://wikidocs.net/31698 위키독스 딥러닝을 이용한 자연어처리 입문TF-IDF는 Term Frequency-Inverse Document Frequency의 약자로,단어의 빈도와 역 문서 빈도(문서의 빈도에 특정 식을 취한 값)을
13.DL - CNN(Convolution Neural Network)
CNN은 Convolution Neural Network 의 약자로, 딥러닝에서 이미지나 영상 데이터 처리시 주로 쓰이는 모델입니다.우선 CNN의 이름에서 알 수 있듯이 Convolution이라는 이미지 데이터의 전처리 작업이 적용되는 신경망 모델입니다.일반적인 DNN
14.DL - Transfer Learning
정말 간단히 이야기 하자면,특정분야에서 학습된 신경망 모델을 사용하여 유사하거나 새로운 모델을 만들 때학습을 빠르게 더 하며, 예측율을 더 높이는 방법입니다.복잡한 모델일수록 학습시키기 어렵고, 시간이 오래 걸립니다.그렇기 때문에 처음부터 학습시키는 것 보다 미리 생성
15.DL - Light Weight Deep Learning
Light Weight Deep Learning 헬스맨들이 좋아하는 Right weight 이 아니다, 딥러닝 경량화라는 것이다. 딥러닝 경량화란
16.Fast API
사용 가능한 가장 빠른 파이썬 프레임워크 중 하나! 라고 공식 문서에서 이야기한다.Python 3.6 이상의 버전의 API를 빌드하기위한 웹 프레임워크이다.여기서 웹 프레임워크가 무엇인가 하면, 웹 서비스 개발을 위한 프레임워크이다.예를들어 JAVA에는 굉장히 유명한