명세 확립 - 크롤링 대상 다크웹 페이지 조사&선정

페이지 조사 결과 정리

• http://7ukmkdtyxdkdivtjad57klqnd3kdsmq6tp45rrsxqnu76zzv3jvitlqd.onion/
  • DAIXIN Team
  • 기업의 유출된 데이터
• http://3ev4metjirohtdpshsqlkrqcmxq6zu3d7obrdhglpy5jpbr7whmlfgqd.onion/
  • abyss free data
  • 기업 데이터 - 전부 접근 가능, 다만 용량 상당함
• https://cracked.io/
  • Cracked.io - 로그인 필요
  • 일부 유료, 개인 정보 데이터, 기타 등등
• http://darkleakyqmv62eweqwy4dnhaijg4m4dkburo73pzuqfdumcntqdokyd.onion/
  • data leak market
  • 내용 / 분량 충분하나 전부 유료 + 비쌈
• https://htdark.com/
  • HTdark
  • 개인 정보 데이터 등 / 로그인 필요, 유료, 일부 무료
• http://weg7sdx54bevnvulapqu6bpzwztryeflq3s23tegbmnhkbpqz637f2yd.onion/
  • blacksuit
  • 기업의 유출된 데이터
• https://leakbase.io/threads/1m-japan-private-combolist.29074/
  • leakbase.io - 로그인 필요
  • 많은 유출된 데이터, 일부 유료, 회원가입 허가제
• http://breached26tezcofqla4adzyn22notfqwcac7gpbrleg4usehljwkgqd.onion/
  • breachFourm - 로그인 필요
  • 과거 lg유플러스 데이터를 유출했음
  • 회원가입 까다로움
• http://ransomocmou6mnbquqz44ewosbkjk3o5qjsl3orawojexfook2j7esad.onion/
  • everest ransomware group
  • 기업 대상, 분량 많음 - 데이터 접근 불가해 보임
• http://cislandpsv4xex2cy4t3vx4ogswq375fwnarmtfyarqek5ikxq57ioyd.onion/
  • cracking island
  • 로그인 필요 없음
  • 자료 양 엄청남
  • 전부 무료
  • 용량 상식적(100 ~ 300mb 내외)

최종 후보 선정

1. http://cislandpsv4xex2cy4t3vx4ogswq375fwnarmtfyarqek5ikxq57ioyd.onion/
2. https://cracked.io/
3. http://breached26tezcofqla4adzyn22notfqwcac7gpbrleg4usehljwkgqd.onion/

• 크롤러 개발은 공통 부분 먼저
• 이후 1/2/3 번 사이트 순서대로 팀원 각자가 맡아서 개발해볼 예정
  • branch 등을 위한 별명 설정 1: island / 2: cracked / 3: breach