시각장애인 보행 보조 솔루션 'Walkmate'

Computer Vision Project 👥 3명

역할: 초기 서비스 기획, Back-end(서버, DB) 개발, BM 구체화

💻 GitHub

🔎 프로젝트 개요

  • 시각장애인의 보행 안전을 위해 온디바이스 AI 객체 탐지와 Tmap 내비게이션을 결합한 하이브리드 모바일 솔루션 ‘WalkMate’를 개발
  • 단순 길안내를 넘어 실시간 위험 데이터를 수집·시각화하여 도시 안전 인프라 개선을 위한 데이터 허브 플랫폼으로서의 가치를 증명

🚩 프로젝트 수행과정 요약

  • (기획 및 분석) 시각장애인 페르소나 설계를 통해 점자블록 파손 및 장애물로 인한 부상 위험 문제를 정의
  • (전략적 피벗) 초기 점자블록 탐지 모델의 기술적 한계를 인정하고, 실효성이 높은 장애물 객체 탐지 및 Tmap 경로 안내로 서비스 방향을 전환
  • (아키텍처 설계) 초저지연 환경 구현을 위해 온디바이스 AI와 클라우드 백엔드를 이원화한 효율적 데이터 파이프라인을 구축
  • (최적화 및 검증) 30FPS 이상의 실시간 인식 성능을 확보하고, 실제 보행 테스트를 통해 GPS 오차 보정 및 TTS 알림 로직을 고도화

🪄 활용된 기술(모델)

  • 프론트엔드 / 모바일 프레임워크
    • [언어] TypeScript, JavaScript
    • [프레임워크] React(Admin page), React Native(App)
  • 백엔드 / 데이터베이스(본인 역할)
    • [언어] Python
    • [프레임워크 및 플랫폼] FastAPI, Ngrok(터널링), Supabase(DB), AWS S3(Image)
    • [설계 목적] 무중단 API 아키텍처 설계 및 비동기 처리 기반 성능 최적화, 대용량 이미지 데이터의 효율적 적재 및 비용 최적화간 데이터 RPC 필터링 로직을 통해 응답 속도 제고
  • AI 모델 및 주요 라이브러리
    • Yolov26n, TFLite(모델 경량화용)

⚠️ 프로젝트 과정 중 발생한 문제-해결 과정

  • 실시간 로그 모니터링 체계 부재
    • 문제: Ngrok 테스트 시 팀원 간 실시간 로그 공유가 어려워 문제 파악의 어려움과 디버깅 속도 저하
    • 해결: FastAPI 전용 로그 엔드포인트를 개설하여 브라우저에서 즉시 API 상태를 체크할 수 있는 Log Sharing Endpoint를 구축
  • 서버 안정성 및 데이터 신뢰성 확보
    • 문제: 예외 처리 누락으로 인한 서버 크래시가 프론트엔드 에러로 직결
    • 해결: 전역 Exception Handling과 Soft Delete를 적용하여 통신 신뢰성을 높이고 서버 운영 안정성을 확보
  • API 설계 및 권한 설정 오류
    • 문제: 초기 설계가 RESTful 규격을 위반, AWS S3 이미지 로드 시 403 권한 에러 발생 등
    • 해결: 멘토링 피드백을 반영한 API 리팩토링, S3 Bucket Policy JSON 설정을 통한 퍼블릭 접근 권한 문제 해결
  • 모델 개발 지연 및 팀 내 의견 충돌
    • 상황: 모델 개발 담당자와의 기술적 견해 차이로 인해 최종 발표 하루 전까지 핵심 모델이 완성되지 못하는 초유의 위기 발생
    • 해결: 감정적인 대립 대신, 팀원들과 함께 관련 논문 및 레퍼런스를 스터디하여 객관적인 기술 근거를 제시
    • 결과: 자기중심적인 개발 프로세스를 ‘팀 공동의 목표’로 전환 유도, 협업을 통해 최종발표 하루 전날 극적으로 모델을 완성하여 프로젝트 주제에 부합하는 결과물을 도출

📊 회고 혹은 반성

  • (AI 시대 실전적 구현 역량 제고) LLM을 설계의 실체화 및 디버깅 가속기로 능동적으로 활용하되, 생성된 결과물을 시스템 전체 아키텍처에 녹여내고 최적화하는 ‘실체화’ 과정에 몰입, 이를 통해 머릿속의 추상적 구조를 실제 구동되는 코드로 빌드업하며 서비스 전체 라이프사이클을 장악하는 감각을 익혔으며, AI를 도구로 부려 복잡한 인프라를 직접 조립해 본 경험은 단순 지식 습득을 넘어선 실질적인 기술적 숙련도 향상으로 연결됨
  • (데이터 기반 의사결정) PostGIS 공간 쿼리를 직접 처리함으로써 시스템 응답 속도를 혁신적으로 단축한 경험을 통해 데이터 구조 설계의 중요성을 체감
  • (협업 시너지 체감) 현장 경험을 바탕으로 백엔드 권한 없이도 상태 확인이 가능한 로그 시스템을 구축함으로써 팀 전체의 개발 효율을 제고, 최종 발표 당시 우수 사례로 평가받음
  • (완성도 및 확장성) 소음 시 음성 인식 저하 등 기술적 한계를 명확히 인식하고, 골전도 이어폰 진동 안내나 VAD+LLM 연동 등 구체적인 고도화 로드맵 수립
  • (커뮤니케이션의 중요성) 개개인의 독단적 개발 방식이 프로젝트 전체에 미치는 리스크를 체감, 기술적 근거를 바탕으로 한 부드러운 설득 방법을 기반으로 위기 상황에서 포기하지 않고 팀원들의 집단 지성을 모아 모델을 완성시킨 경험을 통해 향후 어떤 난관도 기술적 소통으로 해결할 수 있다는 자신감이 생김
  • (지원형 리더십의 가치) 교육과정 합류 이후 PM과 리더를 도맡았지만, 팀원의 성장을 위해 익숙한 역할에서 벗어나 팀장 직책을 한번도 팀장을 해보지 못한 팀원에게 위임하고 리더가 역량을 펼칠 수 있는 환경을 조성함으로써, 가장 낮은 곳에서 팀을 떠받치는 ‘지원형 리더십’의 진정한 가치를 체감하는 ‘성숙한 성장’의 계기가 됨

(번외) 최종 평가결과

[3팀 CV 프로젝트 최종 평가 공유]

    • 유사한 project에 대한 benchmark가 충실히 되어서 필요한 기능과 목표설정이 잘되었습니다.

  • On-device processing이다보니 battery소모에 대한 부분이 고려되어야 할텐데 3초마다 scan해서 battery life에 대한 고려가 반영된게 좋았습니다.

  • 단순하게 경고를 주는데에 더해서 3단계로 위험도 level을 설정한부분, touch를 이용해서 최대한 단순한 입력으로 app구동이 되도록 한 부분등 app자체의 완성도를 높이는데에도 노력하신게 보입니다.

  • 팀내의 협업을 위해서 log system을 만든점이나 trouble shooting에 대한 history, 그리고 trouble shooting을 하면서 결론에 이르게 된 과정들도 논리적으로 잘 설명해주셨습니다.

  • 이후에 VLM을 고려해서 좀 더 복잡한 scenario에 대해 반영이 되어도 좋을 것 같습니다. (Nota.AI 참고)

  • Glass같은 portable device도 다음 version만드실 때 생각해보시면 좋을 것 같습니다.

  • 걷는속도가 있고 확보되는 거리가 있으니 실시간일 필요는 없어보이고 때때로 건널목과같이 차량감지가 필요한곳만 실시간이면 될 것 같습니다

  1. Vision 기능 뿐만 아니라 네비게이션에 다양한 기능을 추가한 것이 인상적입니다.

  2. 개발부터 발표까지 완벽한 것 같다.

  3. docker로 개발 환경을 통합한 점과 로깅 데이터를 실시간으로 공유한 점이 대단하다고 생각합니다.

  4. 전체적으로 너무 잘하셔서 대단하다고 느꼈습니다.

  5. 너무 잘해서 비교가 많이 됩니다. 발표 들으면서 많은 걸 배우고 부족한 부분을 알 게 되었습니다.

  6. 시간이 좀 더 있었다면 더 다양한 것을 시도할 수 있었을텐데 아쉽습니다! 하지만 3명이서 4명 이상의 퍼포먼스를 낸 것에 대해서 저희의 팀웍과 기술력을 자랑스럽게 생각합니다,

  7. 언제 한번 프로젝트를 가장 같이 하고 싶은 팀

  8. llm 활용이나 모델을 더욱 고도화 해보고 싶습니다.

  9. PPT를 통해 프로젝트를 설명하는 면에서 뛰어났고 구성 또한 좋았다고 생각합니다.

  10. 짧은 시간 동안 고민도 많이 하고 테스트도 많이 하신 것 같습니다. 보행약자의 정의부터 그들이 무엇을 필요로 하는지 잘 분석하시고 프로젝트를 진행하신 것 같습니다.

  11. 프로젝트 중간에 시각장애인 관점으로 다시 생각해서, 방해물 위주 탐지로 전환하신 것이 인상적이었습니다.

  12. 개발자는 기능을 개발하는 것과 함께 예외상황을 예측해서 처리해줘야 하는데 예외처리들을 잘 해주셨습니다. 걸어갈 때와 멈출 때의 상황을 고려해서 GPS+나침반을 함께 사용하는 것, 사용자를 고려해서 각도 정보를 알리기 보다는 시계 방향으로 알려주는 것, 음성이 겹치는 상황을 고려해서 우선순위를 정한 것 등.

로깅 시스템은 모든 서비스에서 필수적으로 구현해야하는 기능입니다. 짧은 시간 이면서 처음 하는 프로젝트에서 로깅 시스템을 넣으신 것은 깜짝 놀랄만큼 잘한 일입니다. 시각장애인에게 UI를 터치하도록 하는 것보다는 볼륨키를 사용하도록 하는 것도 한 가지 방법이라 생각이 듭니다. 아이디어, 개발과정, 기능 구현 등 에서 정말 잘하셨고 수고 많으셨습니다.

📎 산출물

시연 영상

소개 영상