Section 3_Sprint 2

JIYOUNG KIM·2022년 1월 25일

Section3 코드스테이츠

Codestates AIB

목록 보기

8/15

Day 1

Python 활용

파이썬 철학 -> import antigravity

pythonic 하게 python을 쓰는 방법

클래스와 함수를 활용

python 클래스

class name:
	def __init__(self): # 함수 실행 함수
    	print('name 클래스 선언')
        self.name = input()
        self.age = input()
    def show(self): # self : 클래스 저장할 변수
    	print('show 실행')
       
a = name() # 'name 클래스 선언' 출력
b.show() # 'show 실행' 출력

# 상속
class name2(name):
	def __init__(self): # 기존 내용 덮어써서 기존 내용 삭제
    	super().__init__() #기존내용 그대로 유지하면서 새로운 내용 받기
        self.gender = input()

python 디버깅(debugging)

버그를 없애는 행동
python pdb 라이브러리

import pdb
pdb.set_trace() # 확인하고 싶은 부분에 작성
# (Pdb) 라는 문구가 뜨고 코드가 멈춤

#python 3.7 이상부터는 `breakpoint` 로 가능
sum = 0
breakpoint()
print(sum)

continue : 다음 중단점을 찾아 이동
list : 주변 11줄 코드 출력
step : 다음 문장으로 이동
- 다음 문장이 A함수라면 A함수 내부에서 추가 탐색 진행
- A함수의 call부터 시작
next : 다음 문장으로 이동
- 다음 문장이 A함수라면 A함수의 return 값을 바음
- A함수 내부에 들어가지 않음

파이썬의 모든 것은 객체로 이루어져 있다.

함수

반복되어 사용될 수 있는 하나의 연관된 작업을 할 수 있는 코드 블록

def 함수_이름(파라미터):
	"함수 문서"
    함수 내용
    return [표현식]

파라미터
함수를 정의할 때 사용되는 소괄호에 들어가는 것들
위치에 따라 영향을 받음

참조 vs 값

파이썬에서는 인수들이 참조로 함수에 전달
= 객체의 주소값을 전달
참조로 전달되지만 immutable, 변경이 불가한 객체들은 값으로 전달
= int,str등은 값으로 전달, list,dict와 같은 객체들은 참조값으로 전달

인수 : 호출할 때 소괄호에 들어가는 것들
필수 인수 : 위치를 지키며 전달되는 인수
키워드 인수 : 파라미터 이름을 사용해 전달되는 인수
기본 인수 : 파라미터에서 기본으로 사용되는 값

클래스

클래스 생성

class class_name:
	class_name = "smth"

생성자 함수 __init__
클래스가 인스터스화(instantiate)될 때 사용되는 함수
제품을 만들 때 제품이 가질 변수들을 미리 지정

Dunder method

Magic method
double underscore 가 앞뒤로 붙는 경우

property

@property
def ~~

setter : 직접 접근은 싫지만 추가기능을 변수에 포함할때

@변경할함수이름.setter
def ~~

_변수 : 의도적으로 숨기고 싶음을 표현, 희망
__변수 : 숨기고 싶음을 강제

데코레이터 `@`

어떤 함수에 추가적인 기능을 제공하고 싶을 때 사용

데코레이터 왜 사용?
1. 코드의 재사용 줄이기 위해
2. 대규모 소프트웨어 개발을 위해

def my():
    print("first")
    print("my 라는 함수입니다.")

만약 `my`라는 함수 이외에 
mine, iam이라는 함수도  first를 프린트하고 싶으면 아래처럼 작성

def mine():
    print("first")
    print("mine 이라는 함수입니다.")

def iam():
    print("first")
    print("iam 이라는 함수입니다.")

만약 deco를 사용하면?

def first_deco(func): # func 는 실행할 함수입니다.
    def first(): # 실행할 함수를 감싸는(wrap) 함수입니다.
        print("first")
        func()
    return first #first 함수를 return합니다

@first_deco
def my():
    print("my 라는 함수입니다.")

@first_deco
def mine():
    print("mine 이라는 함수입니다.")

@first_deco
def iam():
    print("iam 이라는 함수입니다.")

mutable vs immutable

mmutable : 값이 변함, list, dictionary

immutable : 값이 변하지 않음, number, string, tuple

class parent():
    def __init__(self):
        self.child = 'parent'

    def say(self):
        print('i am a ' + self.child)

class daughter(parent):
    def __init__(self):
        self.child = 'daughter'

class son(parent):
    def __init__(self,son):
        self.child = 'son'
        self.name = son
    def say(self):
        super().say()
        print('My name is '+ self.name)

p = parent()
d = daughter()
s = son('spongebob')

p.say() # i am a parent
d.say() # i am a daughter
print(d.child) # daughter
print(p.child) # parent
print(s.child) # son
s.say() # i am a son \n My name is spongebob

getter/setter

class sampleA:
    def __init__(self):
        self.x = 0
        self.__y = 0

    @property
    def y_func(self):
        print('called get method')
        return self.__y

    @y_func.setter
    def y_func(self, value):
        print('called set method.')
        self.__y = value
    
    @y_func.deleter
    def y_func(self):
        print('called delete method')
        del self.__y

    def new_func(self):
        return self.__y, self.x
        
a = sampleA

print(a.y_func)
a.x = 1000
print(a.x) # 1000 -> 마지막 할당이 a.x=1000이기때문

a.__y = 1000
print(a.y_func) #0 -> 숨겨둔 값이기때문에 할당이 안됨

a.y_func = 1000
print(a.y_func) # 1000

if__name__=='__main__':
	def ~
현재 스크립트 파일이 실행되는 상태를 파악하기 위해 사용됨
__name__ 은 모듈의 이름이 저장되는 변수로 import로 모듈을 가져왔을 때 모듈의 이름이 들어감
→ 파이썬 인터프리터로 스크립트 파일을 직접 실행했을 때는 모듈의 이름이 아니라 '__main__' 이 들어감

Day 2

웹 스크레이핑(Web Scraping)

크롤링 혹은 스크레이핑
웹 페이지에 있는 데이터를 모으는 작업

HTML

Hypertext Markup Language
화면에서 이런 것들이 이런 구조로 놓여 있어라~
표준화된 markup 언어 사용
구조

<!DOCTYPE html> # doc type 지정
<html>
    <head> # 상세내용
      <meta charset = "">
      <meta name = "" content = >
      <title>name</title>
    </head> # head 끝
    <body> # 사용자에게 보여지는 부분
   </body>  # body 끝
 </html> # html 끝

tag : element 구분자
- <p> 문단, <a> 하이퍼링크

html이 한줄로 쭉 있어도 컴퓨터가 이해할 수있다 -> 태그가 있어서 가능 : 시작과 끝을 표시 '/'

CSS

Cascading Style Sheets
HTML 이 올려놓은 것들을 이렇게 보여라~ 하고 꾸며주는 문서
CSS Selector
- type selector : css타입에 따라 선택할 수 있음(ex. 'p', 'div')
- class selector : 클래스에 따라 선택할 수 있음
- id selector : id 에 따라 선택할 수 있음
상속
- 위치에 따라 상위 요소의 스타일을 상속받도록 되어 있음
- 자식 태그의 설정부터 우선 적용됨
클래스
- 어떤 특정 요소들의 스타일을 정하고 싶을 때 사용
- 동시에 여러 요소들에 대한 스타일을 정할 때에는 보통 클래스를 지정해서 상속받도록 정함
- HTML에서 특정요소에 클래스를 정의하면 CSS에서 . 기호를 활용해 클래스 정의
Id
- HTML 상에서 id 지정해주면 CSS에서는 # 기호를 통해 스타일 지정
- 동일하게 정해진 스타일을 HTML 요소에 적용 가능
- 보통 특정 HTML 요소를 가리킬 때에만 사용
- 여러개의 요소에 사용되지 않음

브라우저에서 웹사이트를 돌리는 목적
HTML 이 만들고 CSS가 꾸미는 것에 생명력을 불어넣는 역할

DOM

Document Object Model
웹 페이지에서 매우 중요한 역할을 하고 있는 문서 객체 모델
문서를 객체화하는 모델
HTML, XML 등 문서의 프로그래밍 인터페이스
= 프로그래밍 언어를 통해서 HTML 문서 등에 접근할 수 있도록 해줌
웹 브라우저에서 개발자 도구를 열어 콘솔 창으로 들어가 자바스크립트를 통해 사용할 수 있음
ex. document.querySelectorAll('p')

getElementsbyTagName: 태그 이름으로 문서의 요소들을 리턴
getElementById: 'id' 가 일치하는 요소들을 리턴
getElementsByClassName: '클래스' 가 일치하는 요소들을 리턴
querySelector: 셀렉터(들)과 일치하는 요소를 리턴
querySelectorAll: 셀렉터(들)과 일치하는 모든 요소들을 리턴

명령어 설정 var 사용
- var element = document.getElementByClassName('name')

Web Scraping

웹 크롤링

웹을 돌아다니면서 정보를 수집하는 행위

주로 인터넷에 있는 사이트들을 인덱싱하는 목적

크롤링과 비슷하지만 살짝 다르게 사용됨
자동화에 초점이 맞춰져 있고 알아서 돌아가게 함
특정 정보를 가져오는 것이 목적
python requests

동적 스크레이핑 = 크롤링 = 스크롤을 내려야 보이는 것들
vs
정적 스크레이핑 = just url로 받아올 수 있는거

Beautifulsoup
- 받아온 HTML 파일을 파싱해서 원하는 정보를 쉽게 찾을 수 있게 해줌
- 파싱(parsing) : 문자열로 구성된 특정 문서들 등을 파이썬에서도 쉽게 사용할 수 있도록 변환해주는 작업
- 'html.parser'


import requests
from bs4 import BeautifulSoup

page = requests.get(url) 
# requests를 통해 받은 페이지(requests에서 사용하는 response 객체)
soup = BeautifulSoup(page.content, 'html.parser')
# BeautifulSoup로 파싱한 객체

                      
# dataframe 객체 내의 데이터를 데이터베이스로 저장 메소드
DataFrame.to_sql('name', sql.connection, if_exists = '', index_label = '') 

## if_exists{‘fail’, ‘replace’, ‘append’}, default ‘fail’
# How to behave if the table already exists.
# fail: Raise a ValueError.
# replace: Drop the table before inserting new values.
# append: Insert new values to the existing table.

Day 3

API

Application Programming Interface
프로그램들이 소통할 수 있는 인터페이스

< 예시 >
손님 : app/client
메뉴 : API
웨이터 : API server
주방장 : service server

HTTP API

HyperText Transfer Protocol
컴퓨터들의 통신 규약 중 하나
컴퓨터가 다른 컴퓨터랑 소통할 때(파일을 받거나 전달하거나 등) 정해진 규칙과 틀을 준수해야 원활한 소통 가능
- 이때 정해진 규칙들 = 하나의 규약(protocol)
HTTP프로토콜은 Web 에서 활동

HTTP Method

GET : 특정 리소스를 달라고 요청할 때
- ex. 페이지 로딩할 때
POST : 서버 측의 특정 리소스를 저장할 때
- ex. 회원가입할 때 특정 유저의 정보를 서버에 저장
PUT/PATCH : 전체/부분 변경, 서버측의 특정 리소스를 업데이트 할 때
- ex. 사용자 닉네임 변경
DELETE : 서버 측의 특정 리소스를 삭제할 때
- ex. 유저 탈퇴

HTTP Status Code

100번 대 : 정보 응답
200번 대 : 성공 응답
300번 대 : 리다이렉션 메세지
400번 대 : 클라이언트 에러 응답
500번 대 : 서버 에러 응답

REST API

REpresentational State of Transfer
소프트웨어의 아키텍쳐를 어떻게 형성할 지에 대한 가이드라인
RESTful : 총 6개의 가이드라인을 다 만족하는 아키텍쳐

Json vs Dictionary

Json 자바스크립트, true, false, "" 만 허용

json.loads : json(string) -> dict

json.dumps : dict -> json(string)
Dictionary 파이썬, True, False

Day 4

NoSQL

XML, JSON

YAML : 사용자가 보기 편하게 되어 있음

데이터가 고정되어 있지 않은 데이터베이스 형태
NoSQL 에 속한 데이터베이스들은 관계형 데이터모델을 사용하지 않음
공통적인 특징이라는 것이 없음
RDB에서 데이터를 쓸 때 스키마에 맞춘다면, NoSQL에서는 데이터를 읽어올 때 스키마에 따라 읽어옴

RDB vs NoSQL

데이터 저장(Storage)
- RDB : SQL을 이용해서 데이터를 테이블에 저장, 미리 작성된 스키마를 기반으로 정해진 형식에 맞게 데이터 저장
- NoSQL : key-value, document, graph, wide-column 형식 등의 방식으로 데이터 저장
스키마(Schema)
- RDB : SQL을 사용하려면 형식이 고정된 스키마 필요, 처리하려는 데이터 속성별로 열에 대한 정보가 미리 정해져야 함, 스키마는 나중에 변경할 수 있지만 그 경우 전체 데이터베이스를 수정하거나 오프라인으로 전환할 필요 有
- NoSQL : 스키마의 형태가 보다 동적, 행을 추가할 때 즉시 열을 함께 추가할 수 있고, 개별 속성에 대해서 모든 열에 대한 데이터를 반드시 입력하지 않아도 됨
쿼리(Querying) : 데이터베이스에 대해서 정보를 요청하는 행동
- RDB : 테이블 형식과 테이블간의 관계에 맞춰서 데이터를 요청, SQL과 같은 구조화된 쿼리 언어를 정보 요청에 사용
- NoSQL : 데이터 그룹 자체를 조회하는 것에 초점, 구조화되지 않은 쿼리 언어로도 데이터 요청이 가능, UnQL(Unstructed Query Language) 라고 하기도 함
확장성(Scalability)
- RDB : 수직확장(높은 메모리, CPU를 사용하는 확장),
  데이터베이스가 구축된 하드웨어의 성능을 많이 이용하기 때문에 고비용, 복수의 서버에 걸쳐서 데이터베이스의 관계를 정의할 수 있지만 매우 복잡하고 시간이 많이 소모
- NoSQL : 수평확장(값싼 서버 증설, 클라우드 서비스 이용하는 확장), 많은 트래픽을 처리할 수 있도록 NoSQL 데이터베이스를 위한 서버를 추가적으로 구축하는 것이 편함, 저렴한 범용 하드웨어나 클라우드 기반 인스턴스에 NoSQL 데이터베이스를 호스팅할 수 있어 보다 비용 효율성이 좋음

SQL 기반의 관계형 DB를 사용하는 케이스

데이터베이스의 ACID 성질을 준수해야하는 경우
SQL을 사용하면 DB와 상호작용하는 방식을 정확하게 규정할 수 있기 때문에 DB를 통한 데이터 처리 작업시 이상 징후를 줄이고, DB무결성을 보호 할 수 있음
- 전자 상거래, 금융서비스를 위한 소프트웨어 개발에서는 ACID 성질을 잘 준수하는 것이 필수옵션 -> RDB 보편적

소프트웨어에 사용되는 데이터가 구조적이고 일관적인 경우
소프트웨어(프로젝트)의 규모가 많은 서버를 필요로 하지않고 일관된 데이터를 사용하는 경우

NoSQL 기반의 DB 사용하는 케이스

데이터의 구조가 거의 또는 전혀 없는 대용량의 데이터를 저장하는 경우
NoSQL DB는 저장할 수 있는 데이터 유형에 제한을 설정하지 않음
클라우딩 컴퓨팅 및 저장공간을 최대한 활용하는 경우
클라우드 기반의 DB 저장소를 구축하면 저렴한 비용의 솔루션을 제공받을 수 있음, 소프트웨어에 DB 확장성이 중요한 경우
빠르게 서비스를 구축하고 데이터 구조를 자주 업데이트하는 경우

MongoDB

NoSQL 기반의 DB의 타입

Key-Value 타입 : Redis, Dymamo
문서형 DB : JSON 유사형식으로 데이터를 문서화하는 것, 각각의 문서는 하나의 속성에 대한 데이터를 가지고 있고 컬렉션이라고 하는 그룹으로 묶어서 관리, MongoDB
Wide-Column DB : 데이터베이스의 열에 대한 데이터 관리를 집중하는 DB, 각 열에는 key-value 형식으로 데이터가 저장되고 컬럼 패밀리라고 하는 열의 집합체 단위로 데이터를 처리, 높은 유연성, 규모가 큰 데이터 분석에 주로 사용, Cassandra, HBase

데이터의 형태

정형 : 데이터프레임에 바로 들어가도 사용할 수 있는 데이터, ex. csv

비정형 : 구조가 정해지지 않은 데이터, ex. 이미지, 영상, 음성, 메일

반정형 : 데이터의 형식과 구조가 유연한 데이터 ex. html, json, xml

NoSQL

장점 : 스키마를 작성하지 않아 빠르다

단점 : 스키마가 없어 데이터의 형식을 확인하기 어렵다. ACID(정확도나 보완성이 취약 -> 데이터 유실 가능성, 데이터의 중복가능성)

JIYOUNG KIM

데이터분석가

이전 포스트

Section 3_Sprint 1

다음 포스트

Section 3_Sprint 2

Codestates AIB

Day 1

Python 활용

pythonic 하게 python을 쓰는 방법

python 디버깅(debugging)

함수

클래스

데코레이터 `@`

Day 2

웹 스크레이핑(Web Scraping)

HTML

CSS

DOM

Web Scraping

Day 3

API

HTTP API

REST API

Json vs Dictionary

Day 4

NoSQL

RDB vs NoSQL

MongoDB

Section 3_Sprint 1

Section 3_Sprint 3

0개의 댓글

Section 3_Sprint 2

Codestates AIB

Day 1

Python 활용

pythonic 하게 python을 쓰는 방법

python 디버깅(debugging)

함수

클래스

데코레이터 @

Day 2

웹 스크레이핑(Web Scraping)

HTML

CSS

DOM

Web Scraping

Day 3

API

HTTP API

REST API

Json vs Dictionary

Day 4

NoSQL

RDB vs NoSQL

MongoDB

Section 3_Sprint 1

Section 3_Sprint 3

0개의 댓글

데코레이터 `@`