Beautiful Soup은 Python에서 HTML 및 XML 문서를 파싱하고 검색하는 데 사용되는 파서 라이브러리이다. Beautiful Soup을 사용하면 웹 스크래핑 및 데이터 추출 작업을 쉽게 수행할 수 있다. Beautiful Soup은 다른 파서 라이브러리와 함께 사용하여 웹 페이지의 구조를 분석하고 데이터를 추출하는 데 널리 사용된다.
주요 특징과 사용 방법
1. 파서 라이브러리:
Beautiful Soup은 다양한 파서 라이브러리 (예: Python 내장 파서, lxml, html5lib)와 함께 사용할 수 있다. 이러한 파서를 통해 HTML 및 XML 문서를 파싱하고 트리 구조로 만들어준다.
2. 문서 탐색:
Beautiful Soup을 사용하면 파싱된 문서를 탐색하고 검색할 수 있다. 특정 요소, 태그, 속성 또는 텍스트를 찾을 수 있다.
3. 트리 구조:
Beautiful Soup은 파싱된 문서를 트리 구조로 표현한다. 이를 통해 문서의 계층 구조를 이해하고 원하는 요소를 쉽게 탐색할 수 있다.
4. 텍스트 추출:
Beautiful Soup을 사용하여 웹 페이지에서 텍스트를 추출할 수 있다. 이것은 웹 스크래핑에서 매우 유용하다.
5. HTML 수정 및 생성:
Beautiful Soup을 사용하여 HTML 문서를 수정하거나 새로운 HTML 문서를 생성할 수 있다. 이를 통해 원하는 정보를 추출하거나 웹 페이지를 변경할 수 있다.
6. 웹 스크래핑:
Beautiful Soup은 웹 스크래핑 작업에 자주 사용된다. 웹 사이트에서 데이터를 수집하고 분석하기 위해 사용된다.
코드예시
from bs4 import BeautifulSoup
# HTML 문서를 파싱
html_doc = "<html><head><title>Example</title></head><body><p>Hello, World!</p></body></html>"
soup = BeautifulSoup(html_doc, 'html.parser')
# 원하는 태그 및 요소를 찾음
title = soup.title
paragraph = soup.p
# 텍스트 추출
print("Title:", title.text)
print("Paragraph:", paragraph.text)