diff --git a/README.md b/README.md index bd0ea94..de29441 100644 --- a/README.md +++ b/README.md @@ -47,15 +47,19 @@ ## 기술개발 연구 결과 - ### 시스템 구성도 +
+ + ![image](https://github.com/SMpanacea/FrontEnd/assets/101163897/695f2e13-e643-42c2-ba8c-039329d47129) - ![image](https://github.com/SMpanacea/FrontEnd/assets/101163897/695f2e13-e643-42c2-ba8c-039329d47129) - +
이 그림은 프론트엔드 개발을 위해 React Native를 사용하고, AXIOS를 활용하여 통신을 수행하며, YOLOv5와 PlayTorch를 이용하여 카메라로 촬영한 이미지를 분석한다. 백엔드는 CloudType으로 배포되며, Flask 프레임워크를 활용하고, Ray를 통해 멀티스레드 처리를 수행한다. 또한, PyTorch와 OpenCV를 활용하여 학습한 모델을 사용하여 알약 이미지를 분석하고 결과를 도출한다. 이미지 저장은 AWS S3를 활용하고, 데이터베이스로는 PostgreSQL을 사용하며, 이 또한 CloudType을 통해 배포되었다. - ### 알약 이미지 촬영을 통한 낱알 검색 기능 +
+ + ![image](https://github.com/SMpanacea/FrontEnd/assets/101163897/cbd71ab4-b728-4ab1-8915-0e753467878d) - ![image](https://github.com/SMpanacea/FrontEnd/assets/101163897/cbd71ab4-b728-4ab1-8915-0e753467878d) - +
본 연구에서는 식품의약품안전처가 공공데이터 포털을 통해 제공하는 알약 이미지 데이터(1.2TB)를 기반으로 총 525개의 알약 이미지 데이터를 확보하였다. 이 데이터를 활용하여 알약 이미지에 대한 학습 데이터셋을 구축하였다. 모델의 성능을 최대한 향상시키기 위해, 데이터 증강과 전처리 과정을 수행하였다. 데이터 증강과정에서는 원본 낱알 촬영 이미지에서 알약의 꼭짓점 좌표를 추출하여 이미지를 자르고, 5도 간격으로 이미지를 회전시키는 방식을 적용하였다. 이러한 과정을 통해 알약 한 품목당 총 2,880장의 증강 데이터를 생성하였다. @@ -65,9 +69,11 @@ 이후, 이를 바탕으로 알약의 이미지를 학습하고 예측하는 딥러닝 모델을 구축하였다. 본 모델은 PyTorch 프레임워크를 사용하여 3개의 합성곱-풀링 은닉 계층과 2개의 완전 연결 계층으로 구성된 CNN 모델로 구현되었다. 이러한 방법론은 알약 이미지의 특징을 정밀하게 추출하고 분류하는 데 매우 유효하였다. - ### 식·의약품 검색 가능한 바코드 이미지 검색 - - ![image](https://github.com/SMpanacea/FrontEnd/assets/101163897/979e7032-905f-4815-8b30-b01420a9435f) - +
+ + + +
시각장애인과의 인터뷰에서 시각장애인에게 우리 애플리케이션에서 추가해줬음 하는 기능에 대한 질문을 드렸었는데, 이때 의약품을 넘어서 식품의 점자도 명확하지 않다는 의견을 얻을 수 있었다. 따라서 의약품 검색 애플리케이션에 한정되어 있었던 우리 애플리케이션을 바코드 사진을 통해 식품과 의약품의 검색도 가능하게 기능을 추가하였다. ## 기술개발 기대효과