GPT 사용해 효과적으로 파일 포맷 변환하기

배경

• 공공데이터 API를 통해 제공되는 JSON 또는 CSV 파일을 프로젝트에 사용할 더미 JSON 파일로 변환할 필요가 있었다.
• 이 때 효율적으로 GPT를 활용하는 방법을 알아보자!

Raw 데이터 넣어 Raw 데이터 출력받기

• 첫 번째 방법은 csv, json 등 raw 데이터를 긁어넣고 그에 대한 데이터를 출력해달라고 요청하는 것이다.
• 이 경우 데이터가 조금만 커도 한 번에 입력하고 출력할 수 있는 크기를 넘어서는 경우가 많기 때문에 크기가 큰 데이터에 활용하기 어렵다.
• 또한 내가 쓸 수 있는 GPT 사용량을 너무 많이 잡아먹기 때문에 굉장히 비효율적이다!

데이터 예시를 주고 변환 로직이 담긴 파이썬 코드 요청하기

• 두 번째 방법은 원본 데이터와 원하는 출력 데이터 예시를 알려주고, 출력 데이터로 변환할 수 있는 파이썬 코드를 작성해달라고 요청하는 것이다.
• 이 방법은 데이터 처리 성능이 본인의 컴퓨팅 장치 성능에 달려있기 때문에, 거대한 크기의 데이터도 문제없이 변환이 가능하다는 장점이 있다.
• 다만 python, pandas 등의 지식을 알지 못하면 활용하기 어렵다는 단점이 있다.

파일을 통해 요청하고, 파일을 통해 출력받기

• 거대한 데이터 처리를 위해서 Raw한 데이터 내용을 입력 프롬프트에 전체 입력하지 않고, 파일의 형태로 첨부한 후 파일의 형태로 출력받는 방법이 있다.
• 이 방법은 굳이 파이썬을 몰라도, 프롬프트 입력 제한 걱정 없이 원하는 결과물을 얻을 수 있다는 장점이 있다.
• 그러나 너무 거대한 파일은 처리가 어렵고, 파일 크기가 클 수록 GPT가 처리하는 시간이 길어진다는 단점이 있다.

정리

• 여건이 된다면 GPT의 도움을 받아 파이썬을 사용한 코드를 작성하는 것이 가장 확장성 높고 재사용 가능한 솔루션이라고 생각된다.
• 다만 그러한 재사용성이 필요하지 않은 상황이라면 파일을 통해 GPT와 소통하는 방법을 선택하면 된다!