- 전체보기(42)
- 웹크롤링(6)
- 쿠버네티스(3)
- 웹 API 디자인(3)
- AB 테스트(2)
- LLM(2)
- github action(2)
- 테스트 환경(2)
- 자동화(1)
- Gemini(1)
- 데이터 인프라(1)
- organization(1)
- 다이어그램(1)
- 실습(1)
- flutter(1)
- 시뮬레이션(1)
- 리액트(1)
- 개발(1)
- mac(1)
- 웹스크래핑(1)
- 인프라(1)
- 알고리즘(1)
- GCP(1)
- IaaS(1)
- FTP(1)
- 데이터 엔지니어링 기초(1)
- 서버(1)
- python(1)
- 세라프(1)
- 백엔드 기초(1)
- CI/CD(1)
- ssh(1)
- docker(1)
- 몬테카를로(1)
- 컨테이너(1)
- 1인 개발(1)
- github actions(1)
- 말평(1)
- 국립국어원(1)
- 웹 브라우저(1)
- 머신러닝(1)
- 산업공학(1)
- 기초수학(1)
- 트러블슈팅(1)
- 용어(1)
- github(1)
- db(1)
- URL 파라미터 방식(1)
- sftp(1)
- 도커(1)
- 데이터 엔지니어링(1)
- 최적화(1)
- HPC(1)
국립국어원 말평 도전
말평 과제란? 국립국어원의 인공지능 말평(Korean Language Intelligence Benchmark)은 한국어 인공지능 기술의 성능을 객관적으로 평가하기 위해 마련된 국가 공인 벤치마크입니다. 형태소 분석, 품사 태깅, 개체명 인식, 문장 관계 추론, 감정
파이썬 라이브러리(Cython,NetworkX,Louvain,Python-TSP| 성능 최적화와 그래프 알고리즘
Cython은 Python 코드를 C로 컴파일하여 네이티브 속도로 실행할 수 있게 해주는 라이브러리다
MOVIE SHELF | AI로 영화플리 서비스 만들어본 후기
MOVIESHELF 서비스 바로 가기https://movieshelf.store/
localStorage vs sessionStorage vs Cookie
웹 개발을 하다 보면 클라이언트 측에서 데이터를 저장해야 하는 상황이 자주 발생한다. 사용자의 설정값을 기억하거나, 장바구니 정보를 유지하거나, 로그인 상태를 관리하는 등의 기능을 구현할 때 말이다.
UUID vs NanoID와 URL 파라미터 방식 완전 정리
UUID와 NanoID 기본 개념(2. 충돌 확률의 진실(3. URL 파라미터 방식의 차이(4. ASP.NET vs 모던 웹의 접근법(5. 실무 선택 가이드(6. 개발 시 활용 프롬프트(웹 개발을 하다 보면 고유한 ID를 생성해야 하는 경우가 정말 많다. 특히 이번 로
쿠팡 상품페이지는 SPA일까?
Puppeteer를 이용해 쿠팡 상품 페이지에서 리뷰를 수집하려 했는데, 페이지의 구조가 예상보다 복잡했다."이 페이지, 혹시 SPA인가?"라는 의문이 생겼고, 실제로 크롤링을 시도하면서 CSR/SSR의 경계에서 작동하는 하이브리드 구조라는 걸 체감했다.이 글에서는 쿠
리뷰 크롤링 CAPTCHA 우회부터 CSV 저장까지, 실전 구조 완전 정리 [실패]
결론부터 말하자면, 이번 리뷰 크롤링은 실패했다.anti-bot 시스템에 막혀버렸다.
크롤러가 차단되는 이유: Puppeteer와 User-Agent, 그리고 봇 감지 우회 전략 ①
Puppeteer로 스크롤까지는 잘 작동하는데, 갑자기 브라우저가 꺼진다?
Puppeteer에서 무한스크롤 구현하기 – 끝까지 내려가는 법
SPA 구조로 된 웹사이트에서 데이터를 크롤링할 때 흔히 마주치는 문제 바로 무한스크롤(infinite scroll)!!
Web Crawling, Web Scraping, 그리고 Headless Browser - 직접 브라우저를 돌리기
처음엔 단순히 생각했다."쿠팡 리뷰만 좀 긁어오면 되지, 그냥 requests.get()하고 BeautifulSoup 쓰면 끝 아냐?"하지만 막상 해보니 아무 데이터도 안 나왔다.
DOM과 SPA, 그리고 CSR vs SSR - 웹 크롤링 전에 꼭 알아야 할 구조 이야기
웹 크롤링을 할 때 단순히 URL만 분석해서 데이터를 긁어오면 끝일 줄 알았지만… 막상 해보면 그렇지 않다.
3.1 쿠버네티스 이해하기
> 3.1 쿠버네티스 이해하기 3.2 쿠버네티스 기본 사용법 배우기 3.3 쿠버네티스 연결을 담당하는 서비스 3.4 알아두면 쓸모 있는 쿠버네티스 오브젝트