외부평가

• 매번 만날때마다 좀 지치는 이놈의 회의

  • 오늘은 외부평가 였고 큰 이슈는 아래와 같음

  1) 개인 정보에 처리에 대한 부분
  ( 민감한 정보를 super Admin 이 접근 할수 있다는 점에 대한 우려/ 외부 유출 등 보안 이슈/ 개인 정보 접근 위반에 대한 이슈)

  2) LLM 개인정보 처리에 대한 보안 유출
  email body 내용 또한 민감한 개인정보인 만큼 이것을 llm이 튜닝(즉 학습)하여 phishing email 생성에 대한 보안적인 이슈/ email 정보를 직접 접근해서 학습하거나 생성하는게 아니라 HR이나 경영지원 부서에서 협력하여 받는 쪽으로는 생각하지 못했는지

  • 과연 멘토님 회사의 메일 데이터를 전달받을수 있을 것인가?!

3) 무엇을 위한 훈련인지
메일 계정을 그대로 쓰는거면 바로 옆의 팀원을 의심하게 하는, 즉 팀 신뢰도를 깎아내리는 솔루션 아닌지/ 효율적인 피싱 메일 대응책이라 할 수 있는지

• 저도 이부분은 좀 아직도 의문 투성입니다.
  • 다만 내 생각은 이 훈련을 경험함으로서 이메일 url 이나 첨부파일, 수신자등의 정보를 더 꼼꼼히 보는 학습 효과가 있지 않을까 라는 추측

생각보다 사람들이 글을 건성으로 읽고 독해 하는 경향이 있습니다.

4) 정량적 평가 부족
이 훈련을 통해 얻을 수 있는 수치화 된 효과나 통계가 보이지 않음
- 이 부분은 멘토님께 문의하여 설문조사 등을 실시할 예정

5) 생성형 ai 가 생성한 피싱 이메일인지/ 아닌지 판단하는 솔루션을 개발하는게 더 낫지 않은지.
- 이건 공감이 됩니다
- 물론 저희한테 LLM 따위 없어서 해당 내용은 진행 안되겠지만요.

LLMLLMLLM

그놈의 llm 이 없어서 오늘 평가때도 탈탈 털림.
팀내에서도 이부분을 push도 안하고, 어물쩡하게 넘어가니
없는 기능을 어떻게 설명할 것인가.

• 발표에서도 핵심이 없어짐.
  핵심 기능을
  뒷받침할 로직도 없고 당연히 flowchart도 없다.

이것도 제가 하나요?

칭찬받은 아키텍처 구조 덕분에 일이 더 늘었음

심사위원님께서 지적하신 AI 아키텍쳐는 당연히 못 만들죠.

llm이 그 어디에도 없거든요.
누군가의 머리속에만 존재할 뿐

있지도 않은 프롬프트 LLM AI 아키텍처를 어떻게 풀어낼 것인가 

슬프게도

저 LLM이 우리 솔루션의 유일한 차별점이기에

• 물론 프론트에서 template 생성도 아주 중요한 기술중 하나임.

• Client 서버에서 template을 올릴때 C2와 Agent를 동시에 활용해야함.

  • 결국 다중 서버간에 긴밀한 연동이 (부재중인 API..)어려워서 현재처럼 Dummy로 돌릴 듯 함.
  • log 추적은 아마 불가능하지 않을까하는..

• 추가로, 위 템플릿 기능 또한 AI에서 만드는게 생산성에서 높지 않느냐는 질문이 있었음.

   - 네 그쵸. 생성형 ai가 없다보니 못 만드는거죠 뭐

  심사위원들이 시간이 지나면서 llm 에 기능에 대해 문의가 많아지고, 의문 또한 많아짐.

  다만 이 모든걸 왜 팀장 혼자서 대답을 하는지.

나도 피드백 해주고 싶었다.

자기방어 기제일 뿐입니다.

그대의 말에는 허점이 많았습니다.

미래에 구현하려 적었다

그 누구도 이해 못하는..
오로지 본인 컴퓨터에서만 유일하게 돌아간다는? 그 모델?
에 대해 본인이 위와 같이 변론하는게 그냥 객기 아닐까요

애당초.. 질의 응답시간이 아니였을텐데요.

개발한 팀원한테 위 질문을 전달 했어야 했었다.

어떤 로직으로, 어떤 이론으로 , 무슨 데이터를 읽어온다는 건지.
매번 상상의 모델의 실체가 나 또한 궁금했었고.

그리고 팀장님 너도 llm 모른다면서요

왜 조용하세요...?

담당자분께선
왜 갑자기 외부 평가자들 앞에선 llm 담당자가 입다물고 있는지 알 수가 없네요.