Project Preface

1.꾸준히 QA업무(데이터 검수, 품질검수)관련해서 관심이 많았음

• 실제 edutech에서 중2 수학 QA 컨텐츠 관리 (단기 프로젝트 3개월) 도 해봤고

  • crowdgen등에서 업무를 해본적도 있음. 다만 프로젝트가 너무 짧거나, 갑자기 조건 변경(실제 출근때 있었던 일), 금액이 터무니 없이 적고..
    돈으로 치졸하게 굴진맙시다

  • 꾸준하지 않아서 아쉬웠던 차.

2.알바 플랫폼에서 꾸준히 올라오기에, 공격적으로 지원

• 현금흐름 옵션 : 물론 떨어지거나 무응답이 대다수. 왜죠?경력자인데..

3. 개인적인 판단

• 재택근무/ 건당 금액등 업무대비 강도가 낮고, 자율성이 높거나, 적은 금액으로도 꽤 만족할만한 복지.

4. 개발자적인 시선

• mlOps, devOps로 경력을 쌓기전 실무의 대용량데이터(실제 Metadata)를 raw 한 상태로 볼수있다! 그리고 실제 검증, 검수 할 수 있는 기회라고 판단

5. 올해 2026/1/8~ 정책평가연구원에서 (언제넣었는지도 모르겠는데요) 감사하게도 연락을 주셔서 진행했음

• 주제: 정부에서 발표한 기업 경제활동친화성지표(59)개 가 있음. 이를 각 지자체별 자치법규(조례 및 행정 데이터)내 규제사항을 매칭하여 찾은 AI가 크롤링해 추출한 값에 대해 평가/검증.
  • 오류or이상치: 개인이 AI가 찾은 조례를 보고 검수자가 판단해서 맞는지 확인 및 재검수
  • 빈칸 : 찾아서 수치 및 세부조항 재입력
  • 그 외 : 59개 지표에 맞추어 만든 연구소의 AI 플랫폼 내 평가등급(S-D) 중 "가장 낮은 레벨 D-허용범위가 까다롭고/좁음/즉, 규제가 심함"에 맞춘건지 수치, 데이터가 기준에 맞게 들어갔는지 최종 확인
• 제출 대상: 상공회의소
• OT: 1차 검수때 3명인가 모임 (OT때 모인 모두다 인서울 중상급이라 ... 이 알바에.. 고급인력이라니 놀랐음)
• 원장님 이력: 박근혜 대통령비서실 경제수석비서관 출신의 어마무시한 경력의 무려!! 성균관대 경영학부 교수님 출신...!
• 업무툴 : 카카오채널로 소통. 갑자기 어디선가(?) 1명을 추가 구인하셔서 총 연구소의 담당자급인 연구원 포함 총 5명이서 검수를 진행
  • EXCEL 내 D(이상유무),E (조항내용)<-검수자 작업//G(참고조례).H(세부조례내용) <-AI가 크롤링한 결과값

Phase1

• 1차 검수 : 59개 지표중 /13개 담당 , 4000개라시던 데이터는 어느새 엑셀 토탈 3000행이 되었다 (*두 열다 채워야하니 실제 작업은 TWICE! 2배..)
  • 1차 총평: 1차 품질 데이터에 대한 제대로된 관리가 부재. 질문을 하라고 하셨지만 다들 재택근무+ 과도한 업무량으로 이해 제대로 이행을 한건지 의문이 듬. 데이터자체에 대한 일관된 지표가 부재했고. 서로 다른 판단값을 입력

Issue Logs

• 제한시간은 4일. (목~ 일요일(1/11) 자정 전까지)
  • 첫날, 1//8 : 개발팀장님이 엑셀 데이터가 준비가 안되서 그냥 흘러갔다
  • 둘째날 1/9 : 여전히 준비가 안된 모양.혼자 근무하시는건가?QA담당자가 별도로 없나
    • 오후 늦게 전달받음/ 그제서야 정확한 지표 및. 담당 범위와 데이터량 파악
  • 시작일: 1/9부터 작업진행, 재택근무라 그나마 다행인데, 문제는 나의 경우 잘못된 범위를 파악해서 남의것 먼저 해버림...
    • 물론, 개인적인 실수였으나 전달에 좀 미비가 있었다.
      • 카톡에 올리셨다고 했는데 공지로 고정되어있지 않아 메시지가 올라가는 바람에, 제대로 체크못함.
      • 당연히 엑셀을 쪼개서 줬을줄 알아서, 필터가 되어있길래(?) 그냥 차례로 했음
      • 실제 내 영역을 무려 1/11 일요일...에 알았다..세상에.
        • 카톡 채널에... 아니 내 담당 영역(경영학과 답게, 비용 산정이 주를 이룸) 아닌 조례(부지분할, 주차장, 조경 계획등)에 대해 질문 많이 드렸는데 왜... 검수자들이 왜 아무말도 안한건지도 아직도 의문.

Mid phase

• 1/9-1/10 까지 법조항 (행정법에 대해 정확히 파악하는 법률전문가들은 전혀~아니였음...) 세부 조례사항, 수치가 없다고 느껴지는 내 판단에 의문이 들때 질문을 계속 올렸음
  • 내 기준은 아래와 같음 (D,E열을 채울때 D는 간단혹은 자율적인 이유, E는 세부)
    • 빈칸 -> 수치값/이상유무등 + 세부조례(별표 이미지파일이 긁어질경우 그세부내용까지) 채우면 됨
    • AI가 찾은 수치/조례/수치값이 애매하다 판단-> 일단 엑셀데이터내 다른 열에이에 대한 사유도 적어놨길래(AI생성) 이를 가지고 회사 내 플랫폼 기준에 대해 꼬치꼬치 캐물음
    • 그냥 잘못참조/오판/혼돈으로 AI 이상치 -> 내가 키워드 바꿔서 찾음 (하수도 -> 수자원,수도, 공공하수도 ,공유자산-> 공공자산, 공리자산) <- 이게 거의 노가다급.

Issue Logs

• 아직 거기까진 세부 기준이 없다/신경쓰지말고 결과값만 봐달라/조례내 항,목 보시고 "개별"로 판단하신걸 D에 적어달라는 연구원님의 답변

  너무 많은 시간이 소요된다고 판단(생각한 거 언제 3000행에 다 일일이 적나요)
  - 내 검수 기준을 별도로 세움.
  - 지표보고 분석해서 작은 수치 vs 큰 수치가 필요한 조항별로 케이스 나누었음 (숫자만 적으면 됨)
  - 숫자 case: 식별이 확실/ 조항있고 없고 case : 식별 확실/가치판단 case: 그냥 AI가 맞는 조항 찾았으면 패스, 아무리봐도 애매하면 "확인요"
  - D열 인덱스 통일화 : " 이상없음", " 조례변경","조항추가", "수치변경" ,"확인요"

• 연구원님들의(물론 정책 전문가시겠으나) 각 답변이 너무 추상적/미래 지향적 이셨음, 납부 기일에 맞춘 제출에 우선순위가 더 커보였다
  • 실은 진행 내내 데이터 품질 검증에 대한 기준부재/QA관리자의 부재 에 의문이 들긴했다.
• 그렇게 급하게 밤새워서 월요일 새벽 2시에 밀린 담당 업무를 끝내고 (건당 비용이니 했던 범위까진 확실히 다시 적어서) 파일을 던짐
  • 완료일 1/12 02:00AM : 밥 먹으며 일하고, 잠 줄여가며 제한 시간까지 데이터 전송완료 / 내 기준상, 검수는 다 끝난 상황
• Phase 2 에서 계속

Phase2

• 중간 검수일 1/13: 갑자기 개발팀장님께서 중간 검수를 급히 요청

  • 조항 이름만 붙였거나/ 조례내 별표(세부 법령내용이 적힌 이미지파일)에 대한 세부 조항 내용을 왜 복붙해서 안붙였냐 가 요청사항.
    = 즉, 내용을 채워달라

    Issue Logs

  • 실은 위 내용은 이미 OT때 말했던 실무자급 요청사항이였어서, 난 좀 의아하긴했음

    • 다들 성실하게 하지 않았나? 물론 나도 내용은 보편적으론 안 채웠음(이상 없음 기준은 굳이 채울 필요를 못느낌)
      • 별표 파일중 지자체별로 이미지 파일, PDF로 넣은 것중 몇몇은 복붙이 안됨.
    • 1차 검증 중간에 엑셀파일을 달라하셨을때, 이 부분을 관리자가 제대로 확인했어야 했음
      • 내가 잘못된 범위에서 검수 작업하는것 분명 확인하셨을텐데.. 피드백이 전혀 없었음 (팀장님...바쁘셔서 그런거겠죠?)

  • 게다가 건당 비용은 200원이였는데요 > 이 경우 비용 정산이나, 개당 얼마를 주겠다는 말씀이 없으심

    • 이래서 근로계약서를 써야합니다 여러분..
    • 나는 ...교수님 출신 원장님이신데 떼먹진 않겠죠? 하며 일단 신분증 사본+입금 계좌 드리고 기다림.

  • 중간검수에 대해 다들 어떻게 대응했는지 모르겠으나 일단 채널에 더이상 질문은 올라오지 않는상황이였다

    • 나도 고민이 들었다. 어디까지 해줘야하는건가?
      • 근로계약서도 없고, 해당 업무에 관련해서 별도 안내도 없었다. 그저 내용을 채워달라는 실무자의 요청사항만 있어서
      • 기한은 또 언제..?(최대한 빨리해달라는 요청사항만 되돌아옴)

  Phase 3

  • 1/13 : 최대한 빨리해달라고 하니 빨리해줄 수 밖에?
    • 일단 던짐 (1/14:새벽 3시에 전달완료)

  Issue Logs

  • 지표중 애매했던 "확인요" 위주로 조항 채우기 해줌
    • 사유: 아무리 봐도 "확인요"를 판단할 기준이 부재/품질 검증 담당자 없네라는 개인적인 생각.
    • 중간 점검을 요청한 팀장님이 자신한테 물어보라길래 선택권을 드리며 물어봄
      • a,b 중 뭘 선택하나요? 라고 여쭤봤는데 개발자 팀장님이 그냥 그건 그대로 넣어주세요?라는 이상한 답변.....
      • 도대체 뭔소리야/ 참고로, 평가 등급은 회사내규로 연구원들이 만듬
        • 그래서 이 부분 관련 "수치/결과값" 대해 내가 초반에 질문할 땐, 등급은 신경쓰지말라며..
    • 그래서 요청하신대로, 그냥 그대로 옮겨드렸습니다 (조항그대로)

Phase 4

• 2차 검수자등록, 검수일 1/15 : 갑자기 원장님 전화오셔서 일 괜찮았냐 물어보더니 2차검증을 요청함
  • 나만 성실하게 한... 그런건가?, 중간검수..하긴 했나 다들? 에 대한 의문이 이어짐.
    • 통화요약: 이미 1차때 검증이 끝나서(과연?) 2차 검증자는 (인당 30개 지표로) 2명 정도로만 추렸다 였음
    • 돈 주시겠다고 하시니.. 감사합니다 하고 일단 마무리.
• 1/16: 갑자기 묻지마식 1차 QA 검수 입금 완료.
  • 원래는 두배를 생각했으나 (왜냐면 데이터량이 아무리 봐도 4000개는 넘어갔고, 채워야 할 열이 2배였기 때문이죠..?)
    • 건당 200원 -> 100원으로 변경!
      • 이래서 근로계약서를 써야합니다 여러분..
      • 나는 ...교수님 출신 원장님이신데 떼먹진...않으셨으나 금액을 50% 삭감한건 너무했다 싶음

  Issue Logs

• 잔혹한 금액 삭감
  • 여기서 이미 대부분 이탈시작 (중간 검수도 안한듯했음) 했다고 본다...
  • 나도 거의 봉사활동에 가까운 노가다를 계속해야하는지에 대한 의문 VS 재택근무치고 괜찮지않나 에 대한 생각으로 고민함
    • 하기로 결심
      • 유선상 내가 하겠다고 동의했음 (이래서 조건이 중요합니다)
      • 연구소에서 면접제안 (복선)
      • 게다가 2차에 2인이니 좀 더 제대로된 사람둘이서 하겠지 라는 희망..

Phase 5

• 2차 검수중 1/16 : 근무하는데 계속 원장님 연락옴 바빠죽겠는데
  • 솔직히 1차 검수 금액 보곤... 삭감 일방 통보에 기분이 좀 상했다.
  • 더 시킬일이 있는건가? ... 난 시킨 일만 하자의 마인드.
    • 자율적으로 검수 기준을 더 세부적으로 잡고 검수 하고 있었음.
    • 위 FLAG를 기준으로 D열에 통일
      • 타 검수자 엑셀 데이터 보고있는데 한숨만..
    • 1/17: 내가 담당한 지표 외 타 평가지표에 대한 이해도가 낮아서 ai를 활용해 분석하던 도중 다음날 아침에 다시 전화가 걸려옴

  Issue Logs

• 2차 최종 검수자 등록일 1/17: 개발팀장님으로 부터 원장님 전화 받아라고 카톡이 와서 받았더니, 2차 검수자가 도망갔다고 함.
  • 여행 계획이라고 하셨지만 도망이겠죠? 나도 도망가고싶었어
  • 통화 요약: 돈은 최대 두배로 줄수있다고 말 하시기에, 그리고 면접 얘기를 다시 꺼냄.
    • 그래서 다시 믿었습니다. 원장님
  • 일단 알겠다 하겠다고 함.
    • 근데 데드라인은 연장를 안해주시더라구요? (~1/18, 늦어도 19일 까지는 줘야하는..3일이라는 미친 일정)
• 2차 검수자? 그녀가 했다는 엑셀 데이터 전달 따위 없었다.
  - 내가 가진 xlsx 파일이 전부.

  - 총 59개 지표, 전체 지자체수 243개, 엑셀데이터 총 14000행(약)

• 개발자 팀장님은 되는대로 빨리달라는 요구사항뿐 (완벽을 바라지는 않으셨던 모양)
  • 수작업으론 안됨 = 무리라고 판단
    • 건당 받는건데 해내야 한다는 위급한 생각.

python 자동화 개발 진행 시작

"바이브 코딩 잘합니다"

• Onboarding
  - 1) D열 customized Idex 설정 완료 = 내가 만듦. 그냥.
  - 2차검수자 더미데이터: 4-1~5-2 범위를 참조해 통일화
  - 2) Flag D 열내 Index 지표는 어느정도 위에서 내 기준대로 세팅

  규칙생성

• fail

  • D,E 열 중 하나라도 비어있거나 둘 다 비어잇음
    • 추려내기 -> 수기 입력
  • G,H,I (AI)검증 데이터가 30자 이상 확실하게 있는경우
    • E 에 조례명+ 세부조항 복붙, D에 이상없음으로 넣을 것.
  • E 길이가 20자 이내로 짧은 경우
    • 중간 검증 안했음 -> 수기 입력
  • 별표 /첨부 확인
    • 중간 검증 안했음 -> 수기 확인

• pass

  • AI가 잘못 오탐한 것까지 키워드 필터링은 가능했으나(regex, Enum 사용시..) 패스.
    - 정확하진 않은 검증이라 느꼈고 (참고 조항이 지자체별로 사용하는 행정용어가 다름. 그래서 키워드가 다르더라도 평가지표는 또 맞는경우 )
    • 내가 혼자 그 Flag까지 이틀만에 분석하고 판단하기엔, 물리적 시간이 부족하다고 느꼈다.
      = 즉, 일단 AI 데이터 결과값을 신빙.
  • D에 이상없음 이 적히거나 길이가 충족하는경우 && E가 길이가 충족하는경우
    • 검수자가 자율 판단한 것으로 판단
      = 즉, 1차 검수자 판단값을 신빙.

  Flags

• 1차 Onboarding : 채워야할 것 우선순위 정하기
  EMPTY OK (D,E 비어있음)
  NOT_ENOUGH OK (E 내용 부족 = WEAK_E)
  AI조항복붙 OK (H→E 복사됨)
  filled OK (정상 완료)

프로젝트 진행 로직

• 1. 라벨 정규화(띄어쓰기, 오타등) script
  • D열 라벨 정규화 script
• 2. 규칙 필터링 script
  • flag 기준 filter script
• 3. filtering flags 용 sheet 생성 script
• 4. 최종 결과용 작업결과 sheet 생성 script
  • 결과 sheet 원본에 반영 script

내가 해냄
그래서 결국(?) 1/17 05:00AM <- 최종적으로 해냄

error

데이터가 누락되진 않았다.

• 다만, 도시명이 밀리면서 다른 행으로 덮여버림 (꼬리행 패턴)
  • 내가 copy sheet script를 짜다보니 스크립트가 로직이 작동하며 엑셀간 복붙하며 생긴 오류임.(빈행을 뒤에 붙이며난 오류)

대구광역시 동구    | 대구광역시
대구광역시 서구    | 대구광역시 중구
대구광역시 남구    | 대구광역시 동구
대구광역시 북구    | 대구광역시 서구

• 이유

  • None 으로 AI가 잡아낸 행들이 몇몇 지표마다 있었음.(아예 평가지표 관련 조례를 못찾은경우)

    • 때문에 g,h~ 뒷 열도 다 비어있던 경우
    • 자동화 script rule에도 필터링이 안됨.
    • 도시명이 없다고 판단한 행/빈행이 다음 copy, working 엑셀에서 꼬리를 물듯 이어짐
      • 이부분에서 대응이 깨짐.(원본과 비교시)
    • 원본에 붙일땐, 납품 기한에 우선순위를 뒀어서, 각 지표별로 모두 확인은 못했음.
    • 즉, 우선순위 위급한 flag 데이터는 전부 수동 충족 완료. 규칙에 맞춰 다 정렬되었으나 순서가 밀림.
      • 도시명이 한칸씩 위로 당겨지거나 밀림
      • 모든행이 연쇄적 틀어짐.

  • 1/19: 팀장님 연락. 이부분은 이때 알게됨.

    • 메타데이터 용량이 크다보니 전 데이터가 밀린것처럼 전달을 했어서 이부분은 다시 Debug 바이브코딩!
      • 스크립트 짜서 정상엑셀 전달완료.

    내가 또다시(?) 해냄
    1/19 10:30PM <- 최종적으로 해냄

  TIE-openxl,pandasError로 이어집니다