25-1 소융창 수업에서 진행한 팀플
저작권은 같이 작업한 팀원들에게...
1. 서론 (Introduction)
시각장애인은 일상적인 소비 활동에서 여전히 높은 정보 접근 장벽에 직면해 있다. 특히 식품 구매 상황에서는 제품의 외형, 질감, 성분, 유통기한 등을 확인하기 어렵고, 이는 자율적 소비의 기회를 제한하고 건강상 위험을 초래할 수 있다. 기존 점자 표기나 일반적 음성 안내는 이러한 문제를 해결하기에 충분하지 않다.
본 연구는 시각장애인이 오프라인 빵 매장에서 스스로 빵을 탐색하고 선택할 수 있는 경험을 제공하기 위해, 접근성 중심 애플리케이션인 BreadSense를 제안한다. 이 앱은 NFC 태깅을 통한 진열대 인식, 감각 묘사 기반 AI 설명, 음성 안내, 장애 등급 맞춤 UI 등을 통해 정보 접근성과 자율성을 함께 향상시키는 것을 목표로 한다.
2. 관련 연구 (Related Work)
기존 연구에서는 시각장애인을 위한 정보 제공 앱에서 음성 인식과 사용자 맞춤형 UI의 중요성이 강조되어 왔다. 강솔지 외(2020)는 시각장애인이 식·의약품의 정보를 확인하기 어려워 복용 오류나 유통기한 초과 문제에 노출된다고 지적하며, 음성 및 이미지 인식을 통한 정보 탐색 기능을 갖춘 앱을 제안하였다. 이 앱은 카드형 구조로 정보를 시각화하여 사용자의 탐색 부담을 줄였다.
또한 고한슬 외(2018)는 음성 기반 인터페이스와 장애 등급에 따른 UI를 결합해 개인화된 접근성 환경을 제공하였다. STT, TTS, 딥러닝 기반 이미지 처리 등의 기술이 사용되었으며, 특히 음성 노이즈 제거를 통해 인식 정확도를 높였다.
그러나 기존 연구는 감각 묘사를 통한 제품 이해나 오프라인 환경에서의 자립적 탐색 흐름에 대한 고려가 부족하다. BreadSense는 이 한계를 보완하여, 시각장애인의 오감 기반 상상력과 공간 탐색 경험을 중심으로 한 접근성 앱 설계를 시도한다.
3. 사용자 요구분석 (User Requirements Analysis)
3.1 사용자 페르소나 정의 (Persona Definition)
사용자 요구사항을 효과적으로 파악하고 설계에 반영하기 위해, 본 연구는 대표 사용자 집단에 대한 페르소나를 설정하였다. 시각장애인의 시력 등급에 따라 요구의 양상이 다르므로, 저시력 사용자(4~6급)와 중증 시각장애 사용자(1~3급)를 구분하여 각각의 니즈와 제약사항을 정리하였다. 또한, 시스템 입력자인 점원 페르소나도 함께 정의하였다.
3.1.1 저시력 사용자 페르소나 – 이화연 (가명)
시각장애 등급: 5급 (저시력)
시각적 특성:
물체의 외형은 대략적으로 식별 가능 (예: 둥근/각진 형태)
글씨 크기가 작거나 조도 대비가 낮은 경우 정보 인식이 어려움
밝기 및 색채 인지 능력 제한
니즈 및 목표:
점원의 개입 없이 스스로 빵을 고르고 선택하는 경험을 원함
음성 기반으로 외형, 질감, 맛, 향 등 ‘감각 정보’를 제공받기를 원함
시각적 정보 없이도 구매 결정을 내릴 수 있는 사용자 자율성 확보
주요 문제점:
가격표, 성분표, 안내문 등의 정보 접근이 어려움
일반 진열대의 시각 중심 구조가 접근성과 자율성을 저해
요구사항 및 해결 방향:
시각정보를 대체할 수 있는 음성 설명 기능 탑재
진열대의 제품별 정보와 위치를 매칭하여 내비게이션 가능
제품 선택 UI는 색상 대비가 높고 글자 크기가 조절 가능해야 함
3.1.2 중증 시각장애 사용자 페르소나 – 김이화 (가명)
시각장애 등급: 2급 (중증 시각장애)
시각적 특성:
빛, 색, 모양 식별 불가능
손가락 수조차 인식할 수 없어 제품 위치 인지에 큰 어려움
니즈 및 목표:
음성으로 빵의 이름, 맛, 외형(비시각적 묘사), 향 정보를 전달받아 선택
담기, 계산 등 물리적 인터랙션은 점원의 도움 필요
빵 선택에 있어서 ‘결정 주체’로서의 경험 확보
주요 문제점:
진열대의 공간적 구성과 제품 위치를 인식하기 어려움
AI 설명이 일방적이거나 단편적일 경우, 선택에 필요한 정보 부족
요구사항 및 해결 방향:
제품 정보에 대한 체계적인 감각 묘사(질감, 향, 맛 등) 제공
진열대 내 제품의 상대적 위치 정보를 음성으로 가이드
점원 도움을 최소화하고, 선택 과정은 독립적으로 수행되도록 설계
3.1.3 점원 페르소나 (판매자 입장)
역할:
매장에 입고된 신상품을 시스템에 등록
빵의 감각적 특성(모양, 색상, 향, 질감, 맛)을 5단계 기준으로 입력
시각장애 사용자의 경험을 보조하되, 과도한 개입은 지양
니즈 및 목표:
빵 정보를 표준화하여 AI가 사용자에게 음성으로 설명 가능하게 입력
제품 정보를 매끄럽게 입력할 수 있는 직관적 인터페이스 필요
문제점 및 해결 방향:
주관적 설명 방식이 AI 설명의 품질 저하로 이어질 수 있음 → 감각 정보 입력의 표준화 필요
제품이 자주 바뀌는 경우에도 빠르고 유연하게 시스템에 등록 가능해야 함
4. 주요 기능 설명
4-1. 주요 기능 구성
사용자 음성 인식: 사용자의 요청을 음성으로 인식 → 해당 기능 제공
NFC 인식: 빵 코너의 NFC를 인식하면 어떤 빵이 진열되어 있는지 설명
BLE 기반 매장 자동 설정 기능: 매장 내 비콘 신호 감지 → 사용자 매장 자동 선택
빵 특성 설명 생성 기능: 빵의 특성 정보를 바탕으로 자동 문장 생성
점원 지원 기능: 사용자의 호출 요청을 점원 앱으로 전달하여 실시간 응답 가능
사용자 기능: 로그인 및 회원가입, 빵 선택, 점원 호출
점원 기능: 로그인 및 회원관리, 빵 정보 등록, 진열대 정보 등록, 점원 호출 응답
4-2. UX/UI 설계
시각장애인용 인터페이스 설계: 음성 중심의 단순 UI, 음성 내비게이션 지원
점원용 관리자 화면 설계: 빵의 특성이 단계별로 구성되어 있어 빵 등록이 편리
5. 사용자에 따른 시나리오
5.1. 저시력 사용자 (4~6급): 이화연 씨
[입장 및 진입]
이화연 씨는 매장 입장과 동시에 BreadSense 앱의 음성 안내를 통해 트레이 위치 등을 파악한다. 앱은 BLE 비콘을 인식해 자동으로 매장을 선택하며, 진열대 형태는 구분되지만 빵의 질감이나 밀도 등 세부 정보는 알기 어렵다.
[빵 선택 및 담기]
진열대 측면에 있는 NFC 태그를 스마트폰으로 태깅하면, 앱이 진열대 내 빵 목록을 음성으로 안내한다.
예: “진열대 2 – 카스텔라, 초코파운드, 호밀빵. 원하시는 빵을 말씀해주세요.”
이 씨는 빵 이름을 말해 설명을 듣고, 빵의 위치 정보를 안내받는다.
예: “오른쪽에서 두 번째입니다. 포장이 되어있어 손으로 짚을 수 있습니다. 크기가 작기 때문에 주의하여 짚는 것이 필요합니다.”
이후 본인의 시력을 활용해 직접 빵을 집어 담는다. 이 과정을 반복하여 쇼핑을 마무리하며, 필요 시 앱의 점원 호출 버튼을 눌러 도움을 요청할 수 있다.
[결제]
선택 완료 후 계산대로 이동하여 스스로 결제를 진행한다.
5.2. 중증 시각장애 사용자 (1~3급): 김이화 씨
[입장 및 태깅]
입장은 동일하며, NFC 태깅을 통해 진열대 정보를 음성으로 안내받는다.
[빵 선택 및 담기]
앱에 “카스텔라 설명해줘”와 같이 요청하면 상세 설명과 위치 정보가 제공된다.
선택은 음성 명령으로 진행하며, 담기는 점원의 도움이 필요하다.
예: “카스텔라 장바구니 담기” → “점원 호출 시 담아드립니다.”
[점원 호출 및 반복]
선택이 끝난 후 “점원 호출” 버튼으로 도움을 요청하면, 점원이 선택된 빵을 포장해준다. 이후 다른 진열대 탐색도 같은 방식으로 반복한다.
[결제]
결제는 점원의 도움을 받아 진행한다.
- 점원 페르소나 (판매자 입장)
[1단계: 빵 등록]
신상품 입고 시 관리자 앱에서 빵 정보를 입력한다. (예: 이름, 성분, 보관 방법, 알레르기, 가격 등)
이후 감각 정보 5단계를 체크리스트 방식으로 입력한다.
예:
형태: 네모나다
표면 질감: 부드럽다
속 질감: 촉촉하다
무게감: 가볍다
향/맛: 달콤하다 + 퍼진다
[2단계: 진열대 등록]
NFC 태그를 스캔하고, 해당 진열대에 진열된 빵을 선택 후 등록하면 완료된다.
[3단계: 실제 사용]
사용자가 NFC 태그를 태깅하면, 등록된 진열대 정보와 감각 묘사 기반 AI 설명이 음성으로 제공된다.
6. 시스템 설계 (System Design)
UML 다이어그램을 이용한 애프리케이션 소개, 와이어프레임을 사용한 UX/UI 설명, 수도코드와 시연은 설계보고서에 정리했음.
7. 구현가능성 (Implementation)
7.1. 기술적 구현 가능성
- 관련 하드웨어 기술
스마트폰 + 이어폰: 대부분 사용자 보유( 한국정보화진흥원의 실태조사에 따르면 시각장애인의 스마트폰 보유율은 2019년 기준 73%), 음성 안내 수신용으로 바로 사용 가능.
NFC 태그: 각 빵 진열대에 설치해 제품 정보 접근 가능. 저비용으로 상용 매장에 적용 가능.
BLE 위치 안내 시스템: 매장 내 위치 인식 기능 보완용. 고도화 시 선택적으로 적용 가능.
- 관련 소프트웨어 기술
TTS API 활용 (예: Google, Kakao, NAVER Clova): 감각 묘사를 음성으로 전달.
백엔드 DB: 빵별 감각 정보, 사용자 정보 저장용.
사용자 맞춤형 추천 시스템: 알레르기, 맛 선호도 기반 개인화 지원.
- 기술 스택 및 개발 환경
이미지 분석 모델 및 학습 가능성: 감각 묘사 자동화를 위한 모델 구현 가능.
시각화 및 음성합성 모듈: 오감 기반 텍스트 생성과 음성 출력 구현 가능.
UI 구현: 장애 등급에 따른 UI 분리 적용 가능.
7.2 경제성 및 기술 적용 가능성 분석
경제적 측면:
NFC 태그, 스마트폰, 기존 TTS API는 비용 부담이 크지 않음.
문제는 점원의 감각 정보 입력 시간 및 품질 유지 비용.
향후 제조 단계에서 감각 정보 디지털화 시 비용 분산 가능.
기술적 측면:
현재 보급된 기술(NFC, TTS, BLE, 앱 UI/UX 등)로 핵심 기능 구현은 충분히 가능.
AI 오감 묘사, 자동화된 진열 정보 갱신 시스템 등은 장기적 기술 개선 필요성 존재.
7.3 결론: 구현 가능성 종합평가
현실적 구현 가능성: 높음
→ 핵심 기능 대부분은 기존 상용 기술로 구현 가능
초기 도입 비용: 낮음~중간
→ 하드웨어 구축보다 점원 교육 및 데이터 입력 체계 확립이 핵심 부담
확장 가능성: 높음
→ AI 개선, 사용자 피드백 학습 등을 통해 지속 발전 가능
8. 결과 및 고찰 (Results and Discussion)
8-1. 시스템 테스트 및 사용성 평가
시각장애인의 정보 접근 특성과 제과점 운영 환경을 고려한 사용자 시나리오 기반 기능 설계를 바탕으로 시스템의 기대 효과와 잠재적 한계점을 분석하였다.
① NFC 기반 빵 정보 접근성: 제안된 시스템 구조에 따르면 시각장애인은 NFC 태그 인식을 통해 해당 빵의 감각 정보를 음성으로 안내받을 수 있다. AI 기반 오감 묘사는 빵의 질감, 형태, 향미 등에 대한 상상 가능성을 높여 정보 전달의 직관성과 풍부함을 향상시킬 것으로 기대된다.
② 점원 앱의 정보 관리 용이성: 점원은 전용 앱을 통해 빵의 기본 정보와 감각 묘사 데이터를 직접 입력할 수 있다. 또한 진열대별 매핑 기능을 통해 매장 내 진열 상태를 효율적으로 관리할 수 있다. 일관된 정보 제공과 빠른 수정 가능성 측면에서 실효성이 높을 것으로 기대된다.
③ UX/UI 설계 적합성: 중증 시각장애 사용자(1-3급)를 위한 ‘점원 호출 중심 UI’와 경증 사용자(4-6급)를 위한 ‘빵 고르기 중심 UI’를 각각 구현하였다. 이는 접근성과 자율성 간 균형을 고려한 맞춤형 UX 설계로 평가될 수 있다. 또한 UI 설계 측면에서 점원 호출 버튼은 접근성이 높은 위치에 배치되며, 호출 즉시 매장 점원 앱에 실시간 알림이 전송되도록 설계되어 있다.
8-2. 문제점 및 한계점 분석
① 정보 갱신의 번거로움: 진열 상태 또는 제품 구성이 변동될 때마다 태그 내용을 수시로 업데이트해야 하는 점은 운영 부담을 증가시킨다.
② 표준화의 어려움: 오감 정보는 본질적으로 주관적 경험에 기반하기 때문에, 개별 사용자에게 보편적으로 적합한 표현을 설계하는 데에는 한계가 존재한다.
8-3. 해결책 및 향후 개선 방향 제안
① 스마트 진열대 시스템: 진열대 단위로 NFC/RFID 리더를 탑재하거나, 카메라 기반의 이미지 인식(Object Detection)을 통한 자동 식별 시스템을 도입하여 관리 부담을 경감한다.
② AI 오감 묘사 모델의 고도화 : 사용자 피드백(만족도, 수정 요청 등)을 반영한 반복 학습 구조를 통해 묘사의 품질을 정교화한다. 일반 사용자들이 감각 정보를 기여하고 검수하는 구조를 마련하고, 참여 유인을 제공한다. 또한 제조 및 유통 단계에서 디지털 감각 정보를 수집·전달받는 구조를 통해 초기 구축 비용을 분산시킨다.
③ 태깅의 불편성 완화 : 향후에는 Apple Vision Pro와 같은 혼합현실(MR) 디바이스와의 연동을 통해, 시선 추적 및 실시간 빵 인식을 기반으로 음성 안내를 제공하는 확장도 가능하다. 이를 통해 BreadSense는 스마트폰을 넘어 몰입형 공간 내비게이션이 가능한 차세대 접근성 플랫폼으로 발전할 수 있다.
9. 결론 (Conclusion)
9-1. 연구 요약
본 연구는 시각장애인이 제과점에서 경험하는 정보 비대칭 문제를 해결하고, 보다 자율적인 구매 경험을 가능케 하기 위해 BreadSense 시스템을 기획·구현하였다. NFC 기반 식별 및 AI 오감 묘사 기술을 활용하여, 시각 정보를 청각적·감각적으로 재구성하고 제공하는 방식으로 정보 접근성을 개선해보았다. 점원 호출 기능, 등급별 UI 설계, 점원용 관리 앱 통합 등을 통해 사용자 주체성과 시스템 유지관리 효율성을 동시에 확보하였다.
9-2. 주요 기여
① 시각장애인의 자립적 쇼핑 경험 실현: 기존의 수동적인 정보 제공 방식을 넘어, 시각장애인이 오감 묘사를 통해 빵을 ‘상상’하고 ‘선택’할 수 있도록 함으로써, 독립적이고 주체적인 구매 경험을 가능케 했다. 이는 사용자 만족도 및 삶의 질 향상에 직접적으로 기여한다.
② AI 기반 오감 묘사 시스템의 적용 가능성 제시 : AI와 점원 입력 데이터를 결합하여 단순히 텍스트 정보를 읽어주는 것을 넘어, 시각적 정보를 오감으로 변환하여 묘사하는 새로운 정보 제공 방식을 제시했다. 이는 시각 정보 의존도가 높은 제품군에 대한 접근성 개선에 새로운 가능성을 열었다.
③ 접근성을 고려한 사용자 맞춤형 UI/UX 설계 : 시각장애 등급별로 최적화된 인터페이스를 제공하고, 대체 텍스트 API를 적극 활용하여 앱 사용 자체의 어려움을 최소화하였다.
10. 참고문헌 (References)
강솔지, 정지혜, 이윤희. (2020). 시각장애인을 위한 식·의약품 어플리케이션 제안. 한국디지털디자인학회 논문집, 20(3), 23-32.
고한슬, 강주현. (2018). 음성 인식 및 시각장애인용 UI를 통한 시각장애인 접근성 어플리케이션. 디지털디자인학연구, 18(4), 119-128.
