AI를 잘 쓴다는 건 대체 무슨 뜻일까

들어가며

최근 GPT 유료 플랜을 결제하고 Codex를 본격적으로 사용하면서 한 가지 질문이 머릿속에 계속 맴돌았다.

AI를 잘 쓴다는 건 도대체 무엇일까? 대체 그 기준이 뭐지?

처음에는 단순하다고 생각했다. AI에게 정확한 프롬프트만 던지면 원하는 답을 얻을 수 있고, 그러면 그걸로 충분한 것 아닌가 싶었다.

그런데 막상 계속 사용해보니, 같은 AI를 써도 결과의 차이가 분명하게 나타났다. 이 지점에서 다시 궁금해졌다.

왜 AI를 사용하는 데에도 실력이 필요할까?

AI에게도 한계는 있다

최근 이런 궁금증이 너무 커져서, AI 에이전트에 대해 더 깊게 파보았다.

AI 에이전트에는 Context Window, 즉 AI가 현재 대화에서 참고할 수 있는 기억 공간이 존재한다.

처음에는 이 공간이 많이 채워질수록 AI가 더 많은 정보를 기억하고, 더 좋은 답변을 해줄 것이라고 생각했다.

하지만 알아볼수록 전혀 다른 사실을 마주했다.

Context가 과하게 쌓이면 AI는 오히려 중요한 정보를 선별하지 못하고, 답변 품질이 급격히 떨어질 수 있었다. 이 상태를 흔히 dumb zone이라고 부르는데, 말 그대로 AI가 이전보다 훨씬 둔하고 이상한 답변을 내놓는 구간이다.

나는 데이터를 많이 쌓을수록 AI가 더 나아질 것이라고 믿었지만, 실제로는 내가 내 AI를 점점 더 혼란스럽게 만들고 있었던 것이다.

아니 AI에도 개념이있다고?

하지만 여기서 또 다른 궁금증이 생겼다.
그렇다면 AI가 dumb zone에 빠지지 않게 하려면, 우리는 AI를 어떻게 사용해야 할까?

나는 그 답이 궁금해 AI를 잘 쓰기로 유명한 우리 학교 선배님께 직접 질문을 드려보았다.

나:“선배님 AI를 잘 쓰는 방법은 무엇인가요?”

선배:“Harness Engineering을 공부해봐.”

나:“처음 들어보는 말인데요. 하나의 개념인가요?”

선배: “맞아. 작년에는 Context Engineering이 많이 이야기됐다면, 요즘은 Harness라는 개념이 새롭게 주목받고 있어. AI를 더 잘 활용하고 싶다면 Context와 Harness를 함께 이해하는 게 중요해.”

나는 그 말을 듣고 잠깐 뇌정지가 왔다.
AI를 잘 쓰기 위해서도 결국 따로 개념을 공부해야 한다는 뜻이었기 때문이다.
전공 공부만으로도 벅찬데, 이제는 AI까지 공부해야 한다니 솔직히 막막했다.
‘도대체 AI 공부는 또 언제 하지?’라는 생각이 가장 먼저 들었다.

반성

하지만 곰곰이 생각해보면, 이런 고민 역시 결국 하나의 핑계였는지도 모른다.
사실 공부할 시간은 없어서가 아니라, 아직 우선순위를 두지 않았던 것에 더 가까웠다.
(사실상 공부할 시간은 널려있음)

마무리

이번 일을 통해 나는 AI를 무작정 많이 쓰는 것보다, 제대로 사용하는 방법을 이해하는 일이 훨씬 더 중요하다는 사실을 깨달았다.
시대가 변하면서 AI를 다룰 줄 아는 능력은 이제 선택이 아니라 점점 더 중요한 역량이 되고 있다. 그렇기에 무작정 사용하다가 내 AI 에이전트를 오히려 비효율적으로 만드는 것보다, 그 원리를 이해하고 올바르게 활용하는 방법을 익혀 앞으로는 AI를 더 잘 다루는, 생산성 있는 개발자로 성장해야겠다.