[논문리뷰] LLMs for Financial Advisement: A Fairness and Efficacy Study in Personal Decision Making

·2025년 1월 8일
0

논문리뷰

목록 보기
3/19
  1. Personal Finance Use Case
    chatgpt, safefinance(데이터기반)

3.2. Banking Products and Product Discovery

문제는, 사용자 배경에 따라 다른 응답이면 그걸 편향으로 하자!
이렇게 이름, 인종, 성별이 다르면 어떻게 되는거지?

그 이름, 인종, 성별이 다른 거는 자카드 거리로 해보자!!
거리가 크면, 편향이 큰 것임.

name이 있을 때 N0라고 하고 , 그리고 Name이 있는 경우가QN이라고 함.
과연 얘가, 출처에서 응답을 한걸까? 아니면 출처없이 얘네 자체가 응답을 한걸까? 생각을 해볼 수 있음.


이런식으로 질문을 하는 것임..



결국, 이름이 등장했을 때 출처에서 잘못된 답변을 하는것일까? 아니면 그냥 애초에 llm자체가 잘못된 답변을 하는 걸까?
이 결과를 보면, question을 하나 하면, 인종 간에 크지 않다.
즉, 편향은 있지만 원래 했어야하는 그런 답변과는 조금의 차이가 있다.
근데 사실 이렇게 편향을 보이기는 한다.

3.2.3 출처가 제공되지 않는 경우는 어떨까?

생각보다 편향이 많이 등장하는 것을 알 수 있다.

이러한 의미적인 차이를 보였다... 소비에 좀 책임감을 가져야하지 않니? 이런 말들을 덧붙이는 것을 보였다.

결론은, 상품 탐색할 때에는 출처를 제공해야한다...! 라는 결론을 내렸다.
이런 곳에서는 도메인 기반 챗봇이 더 중요하다!!!!

결론

과연 자카드 유사도를 판단할 수 있을 그런 상황이 얼마나 존재할까?
편향을 자카드 유사도를 판단하는 것이 옳은 선택인지...! 도메인을 잘 썼겠구나

profile
한발한발 나아갑니당!

0개의 댓글