파이썬을 이용한 웹 크롤링 , requests 편!
python 자주 쓰이는 os 명령어 정리
Python BeautifulSoup
Python 셀레니움을 이용하여 웹 크롤링 하기.
엔드포인트의 주소를 아래 이미지의 server host에 붙여넣는다.AWS에서 설정한 Username과 Password를 입력하고 완료 버튼을 클릭!
Play Data 2023/03/20 Docker 기초에 대하여
Play Data 데이터 전처리
Python 시각화 Tool
Play Data 2023/03/20 Machine Learning 기초
인과관계 vs 상관관계 영어로 인과관계 = causation , 상관관계 = correlation 무더위와 아이스크림 판매량 증가는 인과관계다. 무더위와 피부가 타는 것은 인과관계다. 위처럼 인과관계는 직접적인 연관이 있는 관계를 뜻한다. 반면, 아이스크림 판매량 증가와 피부가 타는 것은 직접적인 연관이 없다. 그러나 무더위라는 공통분모로 인하여 간접적...
DockerFile이란?? 우리가 컨테이너에서 새로운 작업 환경을 세팅한다고 하자. 예를 들면, ubuntu에서 python 환경을 설정한다고 하면 우리는 꽤나 여러 개의 작업을 거쳐야 할 것이다. ubuntu image를 가져와 새로운 컨테이너를 생성한다. apt update apt install gcc python3-dev apt install ...
본 포스팅은 "혼자 공부하는 머신러닝" 책을 보고 제작함 어떤 생선인지 맞추는 문제라고 가정. 예를 들어, 도미 광어 우럭 세 종류의 생선이 있다고 하면 [z0, z1, z2]로 표현 가능 이 때 z는 확률 따라서, z값을 0~1 사이의 값으로 변환 시켜줘야 함. 이를 위해서 시그모이드 함수 사용 시그모이드'(미분 한다는 뜻 ㅋ) = 시그모이드...
변수 활용 현재 컨테이너 모든 ID $는 변수를 의미 현재 컨테이너 모든 ID를 변수에 할당해 지우는 명령어 이미지 삭제 (rmi) docker rmi ubuntu:22.04 이미지 확인 docker images 컨테이너 docker ps: 실행중인 컨
python에서 터미널로 명령어를 전달하고 싶을때 subprocess 패키지를 사용한다. 위 코드는 jupyter notebook과 mysql을 제외한 모든 이미지를 삭제하는 코드다. docker rmi [image file]이 이미지 파일을 삭제하는 명령어다. subprocess.call()에 실행하고 싶은 명령어를 파라미터로 전달한다.
오차 역전파란? chatGPT에게 물어본 결과 아래와 같이 대답한다. > 오차 역전파(Backpropagation)은 인공 신경망(ANN)에서 가중치(weight)와 편향(bias)을 학습시키기 위한 알고리즘입니다. 이 알고리즘은 출력 값과 정답 사이의 오차를 이용하여 신경망의 가중치와 편향을 업데이트합니다. 오차 역전파 알고리즘은 다음과 같은 단계로 ...
내부 메서드란? 파이썬에서 help 명령어를 쳐보면 가끔 언더바(_)가 붙은 메서드들을 본 적이 있을 것이다. 위는 리스트를 구성하는 항목들이다. 예를 들어, ge 와 pop 모두 리스트 자료형에서 사용할 수 있는 메서드지만 언더바가 붙은 것들은 클래스 내부에서만 사용하는 메서드이다. 다시 말해, 사용자가 특별히 외부에서 호출할 일이 없다는 소리. ...
컬럼 순위 매기기 SQL에서 컬럼의 순위를 매길 때 사용하는 쿼리 함수가 있다. 바로 ROWNUMBER, RANK, DENSERANK이다. 예시를 보며 각각의 차이를 이해해보자. 위 결과에서 주목할 부분은 바로 판매가가 33.3$인 부분이다. 23,24 열!! 동점 항목에 대해서 어떻게 처리하냐가 위 함수들의 차이점이다. ROW_NUMBER ...
Play Data / 2023년 3월 30일
사전 세팅 If Error ... https://pypi.org/project/mysqlclient/ 참조 DB 생성 DB 이름: pybo settings.py 나는 4000번 포트로 DB 컨테이너를 띄워놓았다. 따라서, 여기에 연결해주려고 한다. If
대한민국 서울 표준시 , 한국어로 변경 기존에 영어로 표기되던 웹 페이지가 아래와 같이 우리나라 말로 바뀐다 !!
머신러닝 지도학습 결정트리 하이퍼파라미터 튜닝
Machine Learning Ensemble Model
Machine Learning Titanic Data 생존 예측
드디어 파이널 프로젝트 기간이 다가왔다. 튼튼한 건축물을 쌓아올리기 위해서는 기초 공사가 중요하듯, 차근차근 아키텍처를 설계해 보려고 한다.
웹 아키텍처 초안
Play Data Final Project AWS 실습