다크웹 정보 유출 탐지 시스템 개발

다크웹(Dark Web)은 인터넷의 일부로, 일반 검색 엔진에서 접근할 수 없고 특정 소프트웨어나 설정을 통해서만 접속할 수 있는 영역이다.일반 웹(서피스 웹)과 달리 익명성과 비공개성이 강조된 네트워크이다.익명성: Tor 브라우저를 사용하여 접속하며, 사용자의 IP

활동:프로젝트 목표와 기술 스택 확인역할 분담:크롤러 개발(2명): 다크웹 크롤링 및 데이터 수집데이터 분석(1명): 수집 데이터 정제 및 분석알림 시스템 개발(1명): 실시간 알림 구현통합 및 검증(1명): 최종 통합 및 테스트아님 걍 묶는 게 나을수도? - 전우조환

개인정보(PII, Personally Identifiable Information):유출된 이메일 주소, 비밀번호, 전화번호신분증 이미지(여권, 운전면허증 등)금융 정보:신용카드 번호, CVV, 만료일 등은행 계좌 정보 및 온라인 뱅킹 자격 증명접속 자격 증명:웹사이트

기술이 구현 가능한가?어떤 스택을 사용하여 어떤 구조로 구현할 것인가Python 기반 monolithic 아키텍처간단한 프로토타입에 적합주요 기술 스택크롤링: Python (BeautifulSoup, Scrapy, requests, stem)데이터 저장: MongoDB

현재 엘라스틱에 존재하는 인덱스 확인엘라스틱 - 특정 데이터 조회몽고디비에서 데이터 확인collection.insert_one({"type": "example", "message": "More test data for Elasticsearch"})Invoke-RestM

http://7ukmkdtyxdkdivtjad57klqnd3kdsmq6tp45rrsxqnu76zzv3jvitlqd.onion/DAIXIN Team기업의 유출된 데이터http://3ev4metjirohtdpshsqlkrqcmxq6zu3d7obrdhglp

scrapy BeautifulSoup4 Island no-Tor Tor dark leak market tor abyss tor

Docker Hub에서 이미지를 검색이미지를 다운로드이미지를 다운로드한 후 컨테이너를 실행http://localhost:9200에서 접근 가능컨테이너 실행 상태를 확인실행 중인 컨테이너 목록이 출력실행 중인 컨테이너를 중지MongoDB 버전 6.0의 이미지를

telethon 사용을 위한 api id / 해쉬 값은 사용자의 실행 환경에서 환경변수로 지정해놓아야 함

ElasticSearch 폐기 : 기간상 연동 어려움크롤러 일부 폐기 : 다크웹 개인 정보 데이터는 돌고 돌기 때문에 굳이 많은 웹 사이트를 얻을 필요가 없다…Captcha 우회 추가 시도?이종훈다크웹은 그 특성 상 각 페이지가 접근하기 힘듬(url의 무규칙성)정보가

알림 시스템디스코드 : (브랜치명: discord_alarm)이메일 : (브랜치명: email_alarm)main 담당 .pyDB 관리크롤러 실행 및 통합프론트 마무리MongoDB 서비스 시작(파워쉘 / cmd 관리자 권한)서비스가 정상적으로 시작되었는지 확인Mongo

성공!명령 프롬프트(CMD) 또는 PowerShell을 관리자 권한으로 실행아래 명령어를 입력하여 MongoDB 서비스를 시작서비스가 정상적으로 시작되었는지 확인MongoDB를 중지mongo1 컨테이너에서 MongoDB 셸에 접속다음 명령어로 복제 세트를 초기화Repl

tuts4youx00orgabyssblackbastablacksuitctifeedsdaixindarkleakdarknetARMY

도커 컴포즈이후 도커 컨테이너 잘 도는지 확인docker-compose up -dMongoDB 확인MongoSh 사용mongodb://mongo1:30001 주소로 접속레플리카 세트 활성화레플리카 세트 상태 확인rs.status();이후 문제 없다면 main.py 실

로그 없음data 폴더 삭제해 이전 기록 지우는 방법으로 해결로그 없음sleep time 재지정으로 해결로그 있음, 20분 넘김앱 비밀번호 재설정 및 공백문자 관리(인코딩 문제)로 해결로그 없음 - 안돌았나?sleep time 재지정으로 해결sleep time 조절 잘