✨ 왜 내가 쓰는 GPT는 원하는 대답을 못해줄까?
생성형 AI를 더 잘 활용하려면, 먼저 그 특성을 이해하는 것이 중요하다.
이번 한입 런치박스에서는 너무 유명한 박재호 연사님이 세미나를 진행하셨고 AI 관련한 LLM의 개념, 한계와 프롬프트 작성 팁을 알 수 있었다.
마침 오늘 gpt 이미지 생성 기능이 업데이트 되어서 프롬프트 작성 팁을 적용해서 이미지 생성 사례까지 다뤄봤다.
🔍 LLM(대규모 언어 모델)의 특성 이해하기
⭐️ LLM은 비결정론적이다.!
- 한 번 정답을 알고 있는 '지식 백과'가 아니라, 질문자가 입력한 내용과 맥락에 따라 매번 다르게 반응한다.
- 내가 이해한 만큼, 내가 어떻게 물어보느냐에 따라 답변의 수준도 달라진다.
🧠 LLM vs 인간 사고 방식
- 데이터 기반 처리 : LLM은 방대한 데이터를 학습하여 패턴을 기반으로 응답을 생성함
- 감정과 경험의 부재 : 감정을 경험하거나 시뮬레이션하거나 이해하지 않고, 단순히 데이터를 분석해 적절해 보이는 답변을 생성함
- LLM의 출력 결과는 학습된 데이터의 범위 내에서 이루어진다.
결국, AI는 상대방(나)의 입장이나 의도를 '눈치채지 않는다'.
→ 질문자가 명확하게 의도를 설명하지 않으면 "AI가 이상해요!"라는 답변이 나올 수밖에 없다.
📡 고맥락 문화 vs 생성형 AI
- 고맥락 문화란, 말보다는 상황·관계·비언어적 표현에 의존하는 커뮤니케이션 방식
- 비언어적 표현과 암시적 메시지를 선호하며 집단주의적 성향 장기적 인간관계 중시함
- 상황과 관계에 따라 동일한 단어와 행동이 다르게 해석됨
생성형 AI의 결과물에는 엣지가 없다.
- 학습된 데이터의 제약 : 어떤 주제에 대해 무한정 많은 데이터가 존재하지 않음
- 개성과 감정의 제약 : LLM은 모든 사람에게 동일한 엔티티이며 감정이 없다.
LLM은 이런 비언어적, 감정적 맥락을 고려하지 않는다.
그래서 “어딘가 비슷비슷하고, 감정 없는 답변”처럼 느껴지는 것.
🤖 생성형 AI의 한계 몇 가지
- 전문 지식에 대한 한계
- 단편적이거나 얕은 정보는 줄 수 있지만, 특정 도메인의 깊은 전문성은 부족하다.
- RAG 같은 기술을 통해 보완은 가능하지만, 여전히 완벽한 해결책은 아님.
- 산술 연산에 취약
- 수학적 개념은 알지만 계산 정확도는 떨어짐
- 경우에 따라 파이썬 코드를 생성해 계산하지만 여전히 실수가 많다.
- 실시간 학습 불가
- 사람처럼 새로운 정보를 대화 중에 바로 ‘학습’하지 못함
- 문제 맥락을 스스로 탈출하지 못함
- 잘못된 방향으로 대화를 유도하면 스스로 수정하지 못하고 오류에 빠짐
- → 개념을 확인하고, 원하는 방식으로 다시 유도하는 질문이 필요
함정에 빠진 LLM 구하기
- 방향을 전환할 수 있는 키워드나 개념을 제시해서 LLM이 함정에 빠지지 않고 제대로 결과를 도출할 수 있도록 교육을 시켜야한다.
- ex) 개념에 대해서 알고 있는지 물어보고 설명하게 한 후, 원하지 않은 결과에 적용하라고 시키기
🧩 생성형 AI를 보완하는 ‘에이전트(Agent)’ 기술
- 자율성: 스스로 판단하고 행동
- 반응성: 환경의 변화에 반응
- 사전 설계된 행동: 미래 예측과 예외 처리를 하며 선제적으로 대응한다.
- 사회성: 다른 에이전트 혹은 인간과 상호작용
→ 에이전트를 적절히 활용하면 LLM의 제한된 능력을 보완할 수 있음
✏️ 프롬프트를 잘 작성하는 2가지 팁
우리가 원하는 결과값을 받아내려면 결국 프롬프트를 잘 작성해야 한다. 그럼 어떻게 작성해야 만족스러운 결과를 얻을 수 있을까?
크게 두 가지 방법을 추천하셨다.
-
LLM에 요청할 때 내가 의도하는바와 관련한 사전 개념 유도
ex) “너 ~~~ 에 대한 개념 알고 있니? 그걸 나한테 최대한 자세하게 설명해줄래?”
-
의도하는 바, 기대하는 바를 명확하게 명시적으로 알려주기
ex) “나는 ~~~를 만들어보고 싶고 이를 만들었을 때 ~하게 실행되면 좋을 것 같아”
🎨 프롬프트 작성 Tip을 활용하여 이미지 생성하기
마침 오늘 ChatGPT 이미지 생성 기능이 업데이트 되었다. 관련영상
전문지식이나 개발 기능 구현과는 다르지만 위 두 가지 Tip(?)을 활용해서 이미지를 생성해보았다.
👩🏻💻 프롬프트 작성
"간단한 미니 프로젝트를 하고 있는데 이 프로젝트에 사용할 캐릭터 이미지를 만들어보고 싶어요.
이 미니프로젝트는 하루를 기록하는 다이어리 웹 애플리케이션이고,
간단하게 일기쓰기, 날짜 / 날씨 / 감정 등을 입력할 수 있어요.
이런 프로젝트를 대표할 캐릭터를 만들고 싶은데 부드러운 느낌을 주면서 귀엽고 발랄한 느낌이었으면 좋겠어요.
기하학적인 도형을 사용해도 좋아요"이렇게 프롬프트를 작성하면 gpt가 아래처럼 요구사항을 정리하기 시작한다.
✅ 캐릭터 이미지 생성 전 정리
목표:다이어리 앱의 마스코트 역할을 할 귀엽고 발랄한 캐릭터
느낌:
- 부드러운 분위기
- 귀엽고 발랄함
- 기하학적인 도형 사용도 OK
사용 목적:
- 로딩화면, 빈 페이지 안내, 안내 문구 옆에 배치 등
- UI 요소와 조화를 이루는 마스코트 이미지
💡 캐릭터 이미지 스타일 아이디어
- 형태: 동글동글한 원형 + 간단한 팔/다리
- 표정: 웃는 얼굴, 감정 아이콘을 연상시키는 눈 (예: 하트, 별, 물방울 등)
- 소품: 작은 연필, 구름, 해/달, 메모지 같은 다이어리 요소
- 색감: 파스텔 계열 (연노랑, 연분홍, 연하늘 등)
예시:
> "귀여운 파스텔톤 색상의 캐릭터. 동그란 얼굴에 웃는 표정, 손에 작은 연필을 들고 있음. 몸은 간단한 도형(원, 타원)으로 구성. 다이어리, 날씨, 감정 이모지를 연상시키는 아이콘이 옆에 떠 있음. 전체적으로 부드럽고 따뜻한 느낌."
> ✅ 생성 결과
여기에 조금 더 요구사항을 추가해서 프롬프트를 작성해보았다.
👩🏻💻 프롬프트 작성 (요구사항 추가)
제가 만든 서비스를 사용하는 사람의 이미지를 만들어보고 싶어요.
젊은 여성이 스마트폰을 들고 있고 그 스마트폰 안에는 방금 만들어준 이미지가 들어있어서
이 서비스를 실행하는 것처럼 보이면 좋을 것 같아요.
여성은 즐거운 표정이거나 힐링받는 표정이면 좋을 것 같고,
다이어리 앱이니까 실내에서 편안하고 따뜻한 느낌으로 이미지를 만들어주세요.→ 생성 결과가 일부 어색해서 스마트폰 방향, 인물의 시선 등을 고려해 프롬프트를 수정했다.
지금 이미지도 좋긴한데 방향을 조금 수정해야할 것 같아요.
지금은 여자를 정면으로 보이게 하고 스마트폰도 뒤집어서 들고 있어서 문제가 되어 해결해야해요
여자가 이 앱을 실행하고 있는 스마트폰을 바라보고 있는 모습을 이미지로 만들어주세요.
다만 여자는 지금처럼 전체적으로 보이는게 아니라 뒷모습 + 측면으로 보여지면 좋을 것 같습니다.✅ 생성 결과 (전/후)
 |  |
|---|
👩🏻💻 프롬프트 작성 (일러스트 기반 실사 스타일 요청)
방금 보내준 이미지는 일러스트인데 실제 사람과 폰 으로 만들어줄 수 있나요?✅ 생성 결과
🙋♀️ 사용 후기 & 느낀 점
예전에 AI로 이미지를 만들면 어색하고 똥파리 색의 홀로그램 색감.. 캐릭터도 촌스러운 느낌이 강해서 이미지 생성할 때는 AI 사용을 고려하지 않았다.
✅ 그러나 이번 업데이트 이후 훨씬 자연스럽고 만족스러운 결과물을 얻을 수 있었다.
⚠️ 다만 프롬프트를 구체적으로 하나하나 작성해야 원하는 결과물을 얻을 수 있다보니, 내가 원하는 바를 어떻게 잘 풀어 설명해야할지 고민이 되었던 것 같다.
⚠️ 그리고 이 프롬프트를 작성하는데 시간이 좀 걸리고 타이핑 하는게 길어지면서 귀찮다는 느낌도 없지 않았다…
이제는 AI와 함께 작업할 수 있는 능력이 경쟁력이 되는 시대가 되었다고 생각했다.
나도 프롬프트를 잘 쓰고, 생성형 AI를 효율적으로 활용하는 사람이 되어야겠다고 다짐했다.
