이미지,제목,요약 등을 어디서 가져올까
API 설계를 했는데 어떤 기술이 필요한데 그 기술을 먼저 검증을 해봐야 한다.
프로젝트 시작하기 전에 테스트를 해본다.개인적으로 조각 기능이라 부른다한다.
❔❔이미지,제목,요약들을 어떻게 url만 갖고 크롤링을 해올까❔❔
📢meta태그를 이용해서 크롤링을 해볼 것이다.
<head>안에<meta>가 있는데 그 안에 og:title,og:image,og:description을 주목해봐야한다.
카톡이나 페이스북 이런데 공유 했을때 자동으로 이미지,타이틀,요약이 나오는데
이런 거를 og:title,og:image,og:description 이라는 meta태그에다가 넣어놓으면
어느 사이트든 자동으로 긁어갈 수 있도록 조치를 취해논거다.
많은 메신저들이 이 형태를 이용한다.
반대로 우리는 url을 이렇게 만드는 입장이라고 한다면 og:title,og:image,og:description을 잘 넣어놔야 공유할 때 저렇게 잘 뜬다.
📢이제 og:title,og:image,og:description을 스크래핑 해올 거다.
테스트 할 Python File을 만든다.실행이 잘되면 app.py에다가 필요한 부분은 갖다가 넣을것이다.
그러면 중간에 구현하지 못하는 기능이 있어서 스트레스 받을 일이 없다.
코드스니펫에서 크롤링 기본코드를 복붙한다.
print(soup)해서 html이 잘 찍히는지 확인 먼저 한다.
title = soup.select_one('')
👉네이버 영화 그린북에서 element에서 meta태그안의 og:title그린북쪽에서 copyselector해서 넣는다.
print(title)하면
안나온다.
🎈meta태그의 순서
왜냐면 사람이 직접 브라우저에서 element들어가서 확인한 meta태그의 순서와
파이썬 코드가 접속했을 때 나오는 meta태그의 순서가 다르기 때문이다.
괄호의 숫자를 바꿔가면서 찾아야하는데 너무 번거롭다.
그래서 지금은 이 방법이 아니라 ('meta[]')
👉meta 태그 중에서 [] 속성이 일치하는 애를 가지고 와라
title = soup.select_one('meta[property="og:title"]')
print(title)
▶
그 중에서도 이 content만 갖고 오면 된다.
print(title['content'])
▶
그린북
이 print(title['content'])를
title = soup.select_one('meta[property="og:title"]')['content']
여기다 두면 똑같다.
마찬가지로 나머지도 복붙해서 데이터만 바꿔 끼워준다.
ogtitle = soup.select_one('meta[property="og:title"]')['content']
ogimage = soup.select_one('meta[property="og:image"]')['content']
ogdesc = soup.select_one('meta[property="og:description"]')['content']
print(ogtitle,ogimage,ogdesc)
▶
조각 기능을 완성 하였다.
app.py를 코딩하다가 조각 기능이 필요한 순간에 적절하게 갖다 붙히면 된다.
