| 팀번호 | 팀명 | 프로젝트 |
|---|---|---|
| 1 | 따뜻한 코끼리 마리오 | 시각·청각장애 학습자를 위한 AI 기반 실시간 자막/대체텍스트 생성 및 학습자 맞춤형 대체 학습자료 콜론(:) 제공 프로그램 |
| 2 | Smiley(스마일리) | 부정적 감정을 인식하고 이를 극복하는 데 어려움을 겪는 20대 대학생들을 위해 일기기반 AI 감정분석을 통해 감정의 긍정적 변화 과정을 나무로 대상화한 후 솔루션을 통해 부정적 감정을 해소해주는 서비스 |
| 3 | 이대뎅김 | 독립영화를 좋아하는 사람들을 위해 선호 영화 선택 및 작품 키워드 추출을 통해 독립영화를 추천하는 플랫폼 |
| 4 | 티라노 | knowledge distillation을 통한 CLIP(멀티모달 모델) 가속화 |
| 5 | 그린나래 | 노인의 치매 예방을 위한 생성형 AI와 Google Cloud TTS, STT 기반 음성 챗봇 및 일기 생성 서비스 |
| 6 | 머스캣 | 장학금 정보를 찾는 대학생을 위해 분산된 장학금 정보를 통합하여 머신러닝을 통해 사용자 프로필에 맞는 장학금을 추천하고, 생성형 ai를 통해 지원서 작성 팁 제공 및 지원서를 자동으로 작성해주는 서비스 |
| 7 | 계단 | 간편하게 자서전을 만들고 싶은 일반인들을 위해 사용자가 직접 입력한 내용을 기반으로 생성형 ai 기술을 활용해 자서전을 만들어주는 웹서비스 |
| 8 | 익명의 뒤쥐 | 밴드 악기 연주자를 위한 개인 맞춤 오프라인 합주 기능과 연주 피드백을 제공하는 서비스 |
| 9 | 보성말차 | Multimodal LLM을 통해 학교 내 분실물을 쉽고 효율적으로 등록, 관리, 찾을 수 있는 웹서비스 |
| 10 | 하면함 | 건강한 조직문화를 위한 AI 동료평가 분석 서비스 |
| 11 | 힘찬유니콘 | Dietary Restrictions을 가진 한국에 머무르는 외국인들에게 생성형 AI을 사용하여 맞춤형 메뉴를 추천해주고 메뉴에 포함된 식재료 인지의 어려움을 해결해주는 채팅 앱 서비스 |
| 12 | 쿨라피 | 추위나 더위를 많이 타는 20대 여성들을 위해 개인화된 AI를 통해 그 날의 날씨에 맞는 옷을 추천하고 OOTD를 공유하는 SNS |
| 13 | AI:D | 딥러닝 기반 블랙박스 영상 속 불법주정차 실시간 탐지 및 크라우드(crowd) 신고 서비스 |
| 15 | 와일드 가오리 | 큐엔아트(QnArt) : LLM과 이미지 생성 AI를 이용한 대화와 그림 창작 기반 초등학생 대상 미술관 작품 감상 서비스 |
| 16 | 불사신 | 학습을 목적으로 On-line으로 노트를 작성하는 대학생을 위한, 작성된 노트로 AI 기반 퀴즈를 자동 생성하고 결과를 분석하여 복습을 통해 학습 효과를 높이는 웹 서비스 |
| 17 | 포카리 | 스마트푸푸: CNN 기반 이미지 분류 기술을 바탕으로 아기 변을 탐지 및 분석하여 건강상태 예측에 도움을 주는 시각장애인 대상 육아 다이어리 서비스 |
| 18 | 우주타이거 | 고민을 이야기할 곳이 없는 사람들을 위한 게임형 힐링 AI 챗봇 상담 앱 서비스 |
| 19 | 우엉 | YOLOv5s와 Resnet18을 활용하여 5가지 사용자 맞춤형 인물 사진 구도 옵션을 제공하는 스마트 카메라 |
| 20 | 무너지지않는문어 | 게임 속에서 실제 사람과 대화하는 것 같은 경험을 원하는 유저를 위한 OpenAI API의 STS(Speech to speech)와 LLM 기술을 활용한 AI NPC에게 물건을 판매해야하는 토킹 게임 |
| 21 | 반려코더스 | 체형 및 스타일 기반 매칭을 통한 코디 추천: 체형 및 스타일에 맞는 코디 추천을 원하는 시커에게 맞춤형 세터가 AI 분석을 활용하여 최적의 아이템을 선별해 코디 조언을 해주는 iOS 어플 |
| 23 | 이화도인지 | 고화질 실사 이미지 생성을 위해 멀티모달 데이터 처리 기술을 활용한 Stable Diffusion 모델 최적화 |
| 항목 | 내용 |
|---|---|
| 팀명 | 따뜻한 코끼리 마리오 |
| 프로젝트명 | |
| 서비스명 | COMMA |
| 키워드 | STT, Embedding, NLP, Vision, GPT-4o |
| 만들고자 하는 것 | 강의 자료를 AI로 학습하여 미리 파악한 후, 이를 바탕으로 대체텍스트와 실시간 수업 중에 정확도 높은 자막을 생성하고, 강의자료와 자막/대체텍스트를 통합한 학습자료 제공 프로그램 1) AI 기반 강의 보조 기능 : 실시간 자막 및 대체텍스트 - 실시간 자막 : 청각장애 학습자가 사전에 강의 자료를 업로드하면, 그 자료를 바탕으로 강의의 주제와 주요 용어를 미리 파악하여 학습자 맞춤형으로 인식률이 향상된 실시간 스크립트를 제공한다. 공식, 그래프나 코드 등을 사전에 학습한 강의 자료를 바탕으로 구어체가 아닌 ‘전문 지식’으로 인식한 고급 자막으로 번역한다. - 대체텍스트 : 시각장애 학습자가 사전에 강의 자료를 업로드하면, 그 자료에 포함된 그래프, 그림, 사진을 설명하는 대체텍스트를 생성한다. 2) 학습자 맞춤형 대체학습자료 콜론(:) 제작 - 청각장애 학습자 : 수업 중 실시간으로 생성한 스크립트를 강의 자료와 매치하여 '스크립트 + 강의 자료' 통합형 학습자료를 제공한다. - 시각장애 학습자 : 수업 전 생성한 강의자료의 대체텍스트와 수업 녹음본을 매치하여 '강의 녹음본 + 강의자료(대체텍스트 포함)' 통합형 학습자료를 제공한다. |
| 타켓 고객 | 청각장애·시각장애 대학생 1) 엘텍공과대학 컴퓨터공학 전공생 - 이름 : 나코딩 (22세) - 특징 : 청각장애 5급, 60db이상 들을 수 있으나 대화음영역(25db~60db)은 거의 들을 수 없음 - 수업 특징 : 수업 자료에 코드, 그래프, 공식(수학 기호,단위 등)이 제공됨. 교수님께서 코드, 공식(수학기호,단위)등 대화 중심 단어보다는 전문 단어를 섞어서 강의하심. - 겪고 있는 어려움 : 이화나래벗(장애학생 도우미)을 구하지 못해 Naver CLOVER NOTE를 통해 수업을 듣고 있다. 그러나 ‘Sync fork하세요’를 ‘잉크 포크하세요’, ‘DFA’를 ‘디에페이’로 번역하는 등, 전공과 관련된 전문 용어를 단순한 구어체로 번역하는 낮은 민감도 때문에 큰 도움을 얻지 못하고 있다. 또한, 수학 공식에 대한 설명이 주인 미분적분학 수업에서는 CLOVER NOTE가 제공한 스크립트가 읽지 못할 수준으로 정확도가 낮아 어쩔 수 없이 해당 수업을 독학하고 있다. 2) 간호대학 간호학 전공생 - 이름: 나간호(24세) - 특징: 시각장애 2급, 좋은 눈의 시력이 0.04이하로, 중증 시각장애인 - 수업 특징: 수업 자료에 신체 기관과 관련된 그림이나 사진이 많이 제공됨. - 겪고 있는 어려움 : 이화나래벗(장애학생 도우미)을 통해 수업 자료나 ppt 자료 등을 필기한 텍스트 문서 형태로 전달받고 있다. 그러나 한 강의자료에서만 수십 장에서 수백 장에 달하는 그림과 사진이 포함되어 있지만, 그림에 대한 대체텍스트가 따로 제공되지 않아 이화나래벗이 전달해주는 필기 문서에 의존할 수밖에 없다. 그렇기 때문에 수업 전에 강의자료를 스크린리더를 통해 학습하고 싶어도, 대체텍스트가 포함되어 있지 않은 경우 텍스트만 들을 수 있어 충분한 학습이 불가능한 상황이다. |
| Pain Point | 1) 현재 대부분의 대학이 장애 학생 지원 프로그램을 운영하고 있지만, 이는 대부분 비장애인 학생의 ‘자발적인 봉사 지원’에 의존한 형태로 운영되어 적합한 조건의 지원자가 없을 경우 장애 학생 지원 인력 마련에 큰 어려움을 겪고 있다. (관련 강의 수강 유경험자, 속기사 자격 여부, 워드 타수 일정 이상 요건 필요) → AI 기반 실시간 자막/대체텍스트 자동 생성으로 대체 2) 청각장애 학습자는 클로바노트 등의 서비스를 통해 자동 자막 생성 기능을 이용할 수 있지만, 기존의 STT 서비스는 도표나 그래프에 대한 전문적인 설명을 단순한 대화체로 번역하여 제공한다. 번역 정확도가 현저히 감소하기 때문에 학습자가 글을 읽고 내용을 이해하기 어렵다. 강의 특성에 맞는 맞춤형 ‘전문 번역’이 어려운 것은 청각 장애 학생 도우미가 직접 자막을 작성하는 경우에도 마찬가지이다. → AI가 강의 자료를 기반으로 전문 용어를 포함한 자막을 제공하여 번역 정확도/수업 연관도 향상 3) 대학의 시각장애 학생 지원 프로그램 매뉴얼은 대부분 ‘교과목의 특성에 따라 도표나 그래프가 많을 경우, 장애 학생과 필기 방법에 대해 조율하거나 교수님께 도움을 요청할 수 있다.’ 정도로 안내하는데 그치고 있다. 중증 시각장애 학습자의 경우, 스크린리더를 이용하여 전자자료를 읽는다. 이들이 강의자료에 포함된 이미지를 이해하려면 이미지의 내용을 설명하는 대체텍스트가 별도로 생성되어 있어야 하지만, 대부분의 강의 자료에는 포함되어 있지 않아 스크린리더로도 강의자료를 학습할 수 없고, 비장애인 도우미의 필기 지원에 의존할 수 밖에 없다. → AI가 강의 자료의 그래프, 그림, 사진 등을 설명하는 대체텍스트 제공 4) 청각장애 학습자는 실시간 정확한 자막을 제공받고, 시각장애 학습자는 강의자료의 대체텍스트를 제공받더라도 이를 그대로 수업 후 복습을 위해 사용하기에는 어려움이 있다. 수업 후, 청각장애 학습자는 강의 내용을 복습하기 위해 강의 전체의 전사본을 강의 자료와 번갈아 가며 읽어야 하고, 시각장애 학습자는 강의의 전체 녹음본을 강의자료, 대체텍스트와 함께 반복해 듣는 등의 비효율적이고 제한적인 방식으로 공부해야 한다. → 각 장애 학습자의 특성에 맞추어 수정한 대체학습자료 콜론(:) 제공 |
| 기술적 해결방안 |
1. STT (Speech To Text) 및 NLP (Natural Language Processing) : 교수자의 음성을 STT 기술을 이용하여 인식하고, NLP 기술을 이용하여 인식한 수업 내용을 요약 및 분석한다. 2. Embedding 및 Vision : 학습자가 사전에 수업 자료(.pdf, .pptx 등)를 업로드하면, 해당 자료를 이미지로 변환하여 AI가 이미지 속의 그래프, 공식 등의 복잡한 내용을 인식하고 이해할 수 있도록 한다. |
| Big Data, AI 전략 | [AI 전략] 1. 교수님께서 그라운드에 대한 충분한 설명 없이 바로 특정 그래프나 공식에 대한 설명을 시작하시더라도, 설명의 맥락이나 강의자료의 내용을 바탕으로 AI가 주제 정보를 유추하여 보다 정확한 스크립트를 제공할 수 있다. 교수님의 설명이 강의 자료의 어느 부분에 해당하는 것인지 AI가 추측하여 실시간으로 자막과 함께 해당 강의자료 페이지를 표시함으로써 청각장애 학습자들이 수업 중에 실시간으로 더 깊이 참여할 수 있도록 돕는다. [Big Data 전략] 1) 축적된 데이터 : 다양한 목소리 데이터(높낮이, 어투, 말 습관 등), 다양한 전공의 전문 지식 2) 데이터로부터 창출할 수 있는 가치 : 더 다양한 외적 변수에 대비한 인식 정확도, 더 다양한 전문 분야에 대한 내용 인식률, 대체텍스트 정확도 향상 |
| 기대 성과 | 1. 시각·청각장애 학생들이 외부의 도움으로부터 독립하여 학습 자율성을 회복할 수 있다. 2. 시각·청각장애 학생들이 매 학기 받을 수 있는 지원의 품질을 일정 수준으로 보장할 수 있다. (장애학생 도우미 구인에 대한 우려, 도우미의 실력에 대한 우려 해결) |
| 오픈소스 리스트 명칭과 URL |
[Frontend] - React : https://ko.legacy.reactjs.org/ [Backend] - Node.js :https://nodejs.org/en - SpringBoot : https://spring.io/projects/spring-boot - MySQL : https://www.mysql.com/ |
| AI 알고리듬, 모듈 등 리스트 |
1. Whisper (https://openai.com/research/whisper) : STT (Speech To Text) → 교수자의 강의를 인식하여 텍스트로 변환, 실시간 자막을 생성하는 데 사용 2. Google Speech-To-Text (https://cloud.google.com/speech-to-text) : STT (Speech To Text) → 교수자의 강의를 인식하여 텍스트로 변환, 실시간 자막을 생성하는 데 사용 3. GPT-4o (https://openai.com/gpt-4) : Embedding, Vision - 학습자가 업로드한 수업 자료를 이미지 기반으로 인식하고 이해하는 데 사용 - 강의자료의 핵심 키워드를 추출하는 데 사용 - 강의자료의 대체텍스트를 생성하는 데 사용 |
| Team Ground Rule |
Click to visit |
| 최종수정일 | 2024-06-10 |
| 항목 | 내용 |
|---|---|
| 팀명 | Smiley(스마일리) |
| 프로젝트명 | |
| 서비스명 | 스마일로그 SmileLog : ) |
| 키워드 | 텍스트 기반 감정 분석, 감정 알아차리기, 또 다른 자아인 나무 육성, 부정적 감정 해소 솔루션 |
| 만들고자 하는 것 | - 부정적 감정을 인식해서 이를 극복하는 데 어려움을 겪는 20대 대학생들, 사회 초년생들을 위해 일기 기반 AI 감정분석을 통해 감정의 변화 과정을 나무로 대상화하여 보여주고 맞춤 솔루션을 제시하며 수행과정을 통해 부정적 감정을 해소해주는 서비스 - 사용자가 일기를 쓰면 감정을 분석하여 그 수치를 기반으로 게이지를 증감시킨다.(긍정이면 +, 부정이면 -) 게이지가 다 차면 다음 레벨로 올라가고, 사용자를 대상화한 나무가 더 자란 모습으로 바뀐다. 또한, 사용자는 나무에 열린 열매를 클릭하면 기분을 나아지게 도와주는 챌린지를 수행할 수 있다. 챌린지를 수행하면 게이지가 상승한다.(부정적 일기로 인해 낮아진 게이지를 증가시킬 수 있다.) 한 달 간의 감정 통계도 제공하여 사용자가 자신의 감정을 알아차리는 것을 도와 궁극적 선순환을 이끌어내고자 하는 서비스이다. 사용자가 지속적으로 부정적 감정을 나타낸 경우에는 오늘 하루가 어땠는지 물어보는 알림을 보내 사용자가 하루를 돌아보고 기분이 나아지는 챌린지를 수행하도록 유도한다. -구상한 챌린지들 1. 미소짓는 셀카 찍기(표정 인식 ai) 2. 긍정확언 보여주고 읽게 하기(음성 인식 ai) 3. 춤추기/운동/명상/요가 등 보여주기⇒ 챌린지들을 수행 후 도움이 되었는지 피드백 받기. -매일 접속 유도 전략 1. 오늘의 감정 기록 (감정 카테고리 중에 선택, 이유 카테고리 중에 선택) 2. 오늘의 감사한 일 기록 3. 며칠간 연속 접속 시 나무 성장 가속화 |
| 타겟고객 | 1) 대학교 1학년 심리학 전공생 김유연(20세) 특징 : 유연은 대학에서 심리학을 전공하고 있으며, 대학 입학 후 첫 동아리에 들어가게 됐다. 그녀는 새로운 환경, 새로운 사람들을 만나 어울리는 것이 낯설고 어렵지만 이 동아리와 잘 맞지 않은 건지 아니면 그저 낯선건지 스스로 파악하지 못하고 있다. 하지만 가까운 친구가 없어 자신의 고민을 털어놓지 못해 혼자 끙끙 앓으며 답답해하고 있다. 심리학을 전공하는 만큼, 자기 자신의 감정에 대해 잘 파악하고 싶어하고 건강한 마인드와 긍정적 삶을 살고 싶어한다. 2) 초과학기 재학 중인 컴퓨터공학 복수전공생 조유은(25세) 특징 : 유은은 컴퓨터공학을 복수 전공하고 있다. 복수전공을 늦게 시작했을 뿐더러 휴학을 길게해 컴퓨터공학과에 아는 친구가 많지 않은 상태이다. 친구들은 취업이나 취준을 하고 있지만, 아직 학기가 남아있어 본격적인 취준을 하지 못하고 있으며 개발 공부보다는 학교 공부에 전념해 개발 실력에 대한 자신감도 부족한 상태이다. 부모님에게 털어놓고 싶지만, 복수전공을 반대했던 부모님에게 힘들다는 이야기를 꺼내기 어려워하고 있으며 자신의 미래가 걱정되어 밤이 되면 잠에 들지 못하기도 한다. 어떻게 하면 이러한 상황을 긍정적으로 해결해나갈 수 있을지 방법을 찾고자 한다. |
| Pain Point | - 최근 20대의 정신건강 관련 상담 수가 21% 증가했으며, 특히 대학생들은 청소년에서 대학생으로, 대학생에서 직장인으로의 전환기 동안 미래에 대한 불확실성으로 인해 불안과 스트레스를 경험한다. 하지만 이들은 부정적인 감정을 혼자서 정리하고 건강하게 해소하는 데 많은 어려움을 겪는다. 또한 사회 초년생인 20대 대학생들은 자신의 감정과 내면을 이해하고 파악하는 데 어려움을 겪는 경우가 많다. 스마일 로그는 이러한 20대 대학생들이 자신의 감정을 이해하고 관리할 수 있도록 도와주며 긍정적인 정신 건강을 유지하는 데 도움을 준다. - 단순히 일기 텍스트를 분석하여 감정을 알아내는 것이 아니라, 자신도 몰랐던 내면 속 감정을 인식하게 되고, 자신을 3D '나무'를 통해 대상화하여 확인하게 된다. 더 나아가, 기분이 안 좋아져 나무가 시들게 되는 변화에 그치지 않고, 긍정적 변화를 이끌어낼 솔루션을 제시함으로써 사용자의 긍정적 행동 변화를 이끌어내어 부정적 감정을 해소할 수 있는 방안을 제시해주는 동반자의 역할을 하게 된다. |
| 기술적 해결방안 |
[주요 기술] - 자연어 처리 NLP : 오늘 하루 있었던 일과 감정을 일기에 쓰고 이를 활용해 감정을 분석하고 즐거움, 기쁨, 화남, 우울함 등을 수치화한다. (Clova Sentiment AI는 긍정, 부정 두 가지 감정의 분류로만 할 수 있지만, 모델을 구체화하여 다양한 감정의 분류를 가능하게 하려고 함) - Three.js : 자신의 감정 변화가 반영된 제 2의 자아인 나무의 변화 과정을 3D화해서 보여줌 (감정 수치에 따라 나무가 다양하게 변화하게 하고자 함) [부가적인 기술] - 표정인식 AI : 입꼬리가 올라가는 셀카를 찍음으로서 잠시나마 긍정의 감정을 느끼게 함. (솔루션 중 하나) - 음성 인식 AI : 긍정 확언을 입으로 말하며 자아 효능감을 높임 (솔루션 중 하나) |
| Big Data AI 전략 |
[AI 전략] - 감정 분석 AI: 사용자의 일기에서 자연어 처리(NLP) 기술을 이용해 텍스트 기반 감정 분석을 수행합니다. 이를 통해 사용자가 어떤 감정을 느끼고 있는지 분석하고, 감정 패턴을 추적합니다. - 표정인식 AI : 사용자의 부정적 감정을 해소하기 위한 “웃으며 셀카 찍기” 솔루션을 제공할 수 있습니다. - 음성인식 AI : 사용자의 부정적 감정을 해소하기 위한 “긍정 확언 말하기” 솔루션을 제공할 수 있습니다. [Big Data 전략] 데이터 수집 및 저장: • 일기 데이터: 일기 내용, 작성 시간, 감정 태그 등의 데이터를 수집합니다. • 챌린지 수행 데이터: 각 챌린지 선택 및 완료 정보, 챌린지 수행 전후의 감정 상태 데이터를 수집합니다. • 피드백 데이터: 사용자로부터 받는 피드백 데이터를 수집하여 서비스 개선에 활용합니다. 데이터 분석 및 활용: • 개인화 알고리즘 개발: 수집된 데이터를 분석하여 각 사용자의 감정 패턴과 챌린지 선호도를 파악합니다. 이를 기반으로 사용자에게 가장 적합한 챌린지를 제안하는 개인화 알고리즘을 개발합니다. • 감정 변화 추적 및 예측: 감정 데이터와 챌린지 데이터를 결합하여, 특정 챌린지가 사용자의 감정에 어떤 영향을 미치는지 분석하고, 이를 바탕으로 사용자의 감정 변화를 예측합니다. • 서비스 개선: 사용자의 행동과 반응을 분석하여 서비스의 효과를 평가하고, 이를 통해 서비스 내용을 지속적으로 업데이트하고 개선합니다. |
| 기대성과 | - 사용자는 자신이 작성한 일기를 통한 감정 분석 기능을 통해 자신의 감정을 더 잘 이해하고, 자기 인식을 향상시킬 수 있습니다. - 자신의 현 상태가 반영된 나무를 통해 현재 본인의 감정 상태를 객관적으로 인식할 수 있게 되며 긍정적 변화에 대한 의지를 끌어올립니다. - 제공되는 솔루션과 보상 시스템을 통해 사용자는 부정적인 감정을 적극적으로 관리하고 긍정적인 생활 습관을 형성할 수 있습니다. - 장기적으로는 사용자의 정신 건강을 개선하고, 삶의 질을 향상시키는 데 기여할 것입니다. |
| 오픈소스 리스트 명칭과 URL |
[FE] - Language : Typescript - https://www.typescriptlang.org/ - Library : React.js 18, three.js - https://react.dev/blog/2023/03/16/introducing-react-dev, https://threejs.org/ - Framework : Next.js 14 - https://nextjs.org/ [BE] - Language : Javascript - Framework : Node.js, Express - https://nodejs.org/en - https://expressjs.com/ko/ - DB : MySQL - https://www.mysql.com/ |
| AI 알고리듬, 모듈 등 리스트 |
[AI] - 텍스트 감정분석 : naver clova sentiment AI https://www.ncloud.com/product/aiService/clovaSentiment - 표정인식 : megvii face++ emotion recognition AI https://www.faceplusplus.com/emotion-recognition/ - 음성인식 : google cloud speech to text AI https://cloud.google.com/speech-to-text |
| Team Ground Rule |
Click to visit |
| 최종수정일 | 2024-06-05 |
| 항목 | 내용 |
|---|---|
| 팀명 | 이대뎅김 |
| 프로젝트명 | |
| 서비스명 | IndiePicks |
| 키워드 | 독립영화, 영화 추천, NLP, 생성형 AI |
| 만들고자 하는 것 | 기존 선호 영화 선택을 바탕으로 리뷰와 작품 소개 분석을 통해 키워드를 추출해 독립영화를 추천하는 플랫폼 |
| 타겟고객 | 1. 독립영화를 좋아하지만, 다양한 사이트에 분산되어 있어서 찾아보기 힘든 사람들 2. 자신의 취향에 맞는 독립영화를 효율적으로 찾아보고 싶은 사람들 |
| Pain Point | 1. 상대적으로 접근성이 떨어지고, 리뷰가 적은 독립영화의 특징으로 자신의 취향에 맞는 독립영화를 찾기가 어렵다는 불편함 2. 자신에게 맞는 영화를 찾기 위해, 분산되어 있는 정보를 수집하는 수고와 독립영화 시청비용이 필요하다는 비효율적인 상황 |
| 기술적 해결방안 |
- 독립영화의 폭이 넓기 때문에 회원가입 시, 선호하는 키워드를 선택하게 해 이를 바탕으로 추천 영화를 제공한다. - 리뷰를 분석해 선호도를 판별하고, 이를 화면에 보여준다. - 작품 소개가 짧고, 리뷰가 적어 키워드 빈도수로는 제대로 된 키워드를 추출하기 힘들기 때문에, 생성형 AI를 통해 키워드를 추출한다. - 유저의 좋아요/리뷰를 바탕으로 사용자의 취향을 분석한다. |
| Big Data AI 전략 |
- 축적된 리뷰와 추천데이터로 사람들의 취향에 맞는 더 정교한 추천이 가능하다. - 결집된 유저를 통해 독립영화 산업을 부흥시킬 수 있고, 독립 영화 감독들은 영화 사이트에 영화를 등록함으로써 영화 홍보가 가능해진다. |
| 기대성과 | - 독립영화의 접근 장벽을 낮출 수 있다. - 선곡 시 걸리는 시간을 줄인다. - 독립영화 산업을 부흥시킬 수 있다. |
| 오픈소스 리스트 명칭과 URL |
[BE] SPRING BOOT : https://github.com/spring-projects/spring-boot [FE] REACT : https://github.com/facebook/react NLTK : https://github.com/nltk/nltk VADER : https://github.com/cjhutto/vaderSentiment Gemini : https://ai.google.dev/ |
| AI 알고리듬, 모듈 등 리스트 |
VADER : 리뷰에서 선호도(긍정,부정)을 감지하기 위해 사용하는 감정 분석 모델 Gemini : 구글 딥마인드에서 개발한 LLM 모델로, 무료로 API를 제공한다. |
| Team Ground Rule |
Click to visit |
| 최종수정일 | 2024-06-04 |
| 항목 | 내용 |
|---|---|
| 팀명 | 티라노 |
| 프로젝트명 | |
| 서비스명 | Tyrano-CLIP |
| 키워드 | CLIP, 멀티모달, 딥러닝, 경량화, CV, NLP |
| 만들고자 하는 것 | knowledge distillation 기술을 활용하여 멀티모달 모델인 CLIP (Contrastive Language-Image Pre-training)을 경량화한 작은 모델 Tyrano-CLIP을 개발한다. Tyrano-CLIP이 원본 모델인 CLIP과 유사한 성능을 발휘하면서도 더 빠른 추론 속도를 제공할 수 있도록 한다. |
| 타겟고객 | (연구트랙 팀이기 때문에 연구 과제의 필요성에 대해 설명하겠습니다.) 현대 사회에서는 이미지와 텍스트 데이터가 빠르게 쌓이고 있으며, 이러한 다중 모달 데이터를 처리하고 이해하는 Multimodal AI 기술의 필요성이 점차 더 커지고 있습니다. 특히 이미지와 텍스트 간의 상호작용을 이해하는 Vision-Language Model에 대한 연구는 컴퓨터 비전 및 자연어 처리 분야에서 중요한 과제 중 하나가 되었습니다. CLIP(Contrastive Language-Image Pre-training)은 2021년 OpenAI에서 발표한 Vision-Language Model로, 대량의 이미지와 텍스트 쌍을 사용하여 학습되었으며 다양한 이미지에 대한 텍스트 설명을 이해하고, 반대로 특정 텍스트에 맞는 이미지를 찾아낼 수 있는 능력을 갖추고 있습니다. 이미지 분류, 검색 등 다양한 태스크에서 강력한 성능을 보이며, 특정 도메인에만 국한되는 기존 기술들과 달리 다양한 작업에 적용할 수 있는 범용성을 갖고 있습니다. 그러나 CLIP과 같은 대규모 모델은 막대한 양의 컴퓨팅 자원을 요구하기 때문에 추론 속도가 느려 실제 환경에 적용하는 것에 한계가 있습니다. 특히 에너지 효율성이 중요한 엣지 디바이스에 활용하기 위해서는 경량화가 필수적으로 이루어져야 합니다. 이에 저희 팀은 CLIP 모델을 경량화하여 CLIP과 유사한 성능을 제공하면서도 추론 속도를 향상시킬 수 있는 효율적인 사용 환경을 조성하고자 합니다. |
| Pain Point | (문제 정의에 이어 연구 과제의 목표에 대해 기술하겠습니다.) 본 연구의 목표는 CLIP (Contrastive Language-Image Pretraining) 모델의 경량화를 통해 추론 속도를 향상시켜 보다 효율적이고 실용적인 사용 환경을 조성하는 것입니다. 구체적으로는 다음과 같은 목표를 설정하였습니다. 1. CLIP 모델의 추론 속도를 기존보다 최소 2배 이상 향상시키는 것을 목표로 합니다. 이를 통해 모델의 사용성을 향상시키고, 실제 환경에서의 빠른 응답이 가능하도록 합니다. 2. 작은 모델에서도 CLIP과 유사한 성능을 제공하여 모델의 크기를 줄이고 자원을 효율적으로 활용할 수 있도록 합니다. 이를 통해 모바일 및 임베디드 시스템에서도 CLIP 기술을 적용할 수 있는 환경을 조성합니다. 3. 추론 속도의 향상이 모델의 정확도에 부정적인 영향을 미치지 않도록 합니다. 즉, 속도와 정확도 간의 균형을 유지하여 실제 사용 시에도 뛰어난 성능을 제공하도록 합니다. 위 목표를 달성함으로써, CLIP 기반의 멀티모달 모델을 보다 효율적으로 개발하고 실제 응용 환경에서의 적용 가능성을 높이고자 합니다. |
| 기술적 해결방안 |
knowledge distillation: 좋은 성능을 가지고 있는 큰 교사 모델의 지식을 작은 학생 모델로 전달시키는 기술입니다. 큰 모델이 가진 복잡한 정보와 능력을 작은 모델로 전달하여 모델의 성능을 유지하면서 크기를 줄이고자 할 때 사용합니다. Quantization: 딥러닝 모델에서 사용되는 데이터와 모델의 가중치를 더 낮은 비트 수의 정수로 표현함으로서 메모리 요구량을 절감하고 계산 속도를 향상시킬 수 있는 기술입니다. |
| Big Data AI 전략 |
(연구트랙) CLIP은 텍스트 인코더와 이미지 인코더를 모두 사용하는 모델로, 각 인코더와 해당 인코더의 각 레이어들은 서로 다른 정보를 보유하고 있습니다. 네트워크의 어느 부분이 가장 중요한 정보를 담고 있는지, 그리고 어떤 요소들이 학생 모델의 성능 향상에 기여하는지를 분석하고 연구합니다. 또한 Tiny-CLIP, CLIP-KD 등 CLIP compression을 연구한 논문들을 비교하고, 직접 실험하며 가장 효과적인 distillation 접근 방식을 탐구합니다. 연구된 방법으로 경량화된 모델은 더 적은 컴퓨팅 자원을 사용하여 실행될 수 있도록 하며, CLIP의 장점 중 하나인 Zero-shot 성능을 집중적으로 향상시키고 평가합니다. |
| 기대성과 | (연구트랙) Tyrano-CLIP은 기존 모델 대비 추론 속도를 최소 2배 이상 향상시켜 모델을 실시간 처리가 필요한 환경에 적용할 수 있게 하며, 사용자 경험을 개선합니다. 또한 추론 속도의 향상과 모델의 정확도 사이의 균형을 유지하는 것을 목표로 합니다. Tiny-CLIP, CLIP-KD 등 먼저 연구된 CLIP 경량화 모델들보다 더 작은 모델임에도 불구하고 유사한 수준의 성능을 유지합니다. 이를 통해 자원이 제한된 환경에서도 고품질의 멀티모달 인터랙션을 가능하게 하며, 모바일 및 임베디드 시스템에서의 광범위한 적용 가능성을 기대합니다. |
| 오픈소스 리스트 명칭과 URL |
1. PyTorch: https://pytorch.org/ 2. TensorFlow: https://www.tensorflow.org/ 3. OpenAI CLIP: https://github.com/openai/CLIP 4. Tiny-CLIP: https://github.com/wkcn/TinyCLIP 5. CLIP-KD: https://github.com/winycg/CLIP-KD |
| AI 알고리듬, 모듈 등 리스트 |
1. CLIP 2. Knowledge Distillation 3. Quantization |
| Team Ground Rule |
Click to visit |
| 최종수정일 | 2024-04-13 |
| 항목 | 내용 |
|---|---|
| 팀명 | 그린나래 |
| 프로젝트명 | |
| 서비스명 | 소담 |
| 키워드 | NLP, 생성형 AI, 치매 예방, STT, TTS |
| 만들고자 하는 것 | 음성 챗봇이 치매 예방에 도움이 되는 질문을 통해 사용자의 일상에 대해 물어보면서 하루를 회상하도록 하여 기억을 훈련시키고, 이를 gpt-4o를 활용하여 일기로 기록해주는 서비스 |
| 타겟고객 | - 고객: 떨어져 사는 만 65세 이상의 부모님을 둔 자녀. - 페르소나1: 서울에 거주하고 있으며, 부산에 사는 70세의 어머니를 둔 43세 최지영씨. 회사 일로 바쁘고, 거리적인 문제로 자주 어머니를 뵙기 어려워 일주일에 하루, 전화로만 소통한다. 최근 들어 깜빡하는 일이 많아진 어머니를 보며 치매에 걸리실까 걱정이 되어, 치매 예방을 위한 기억력 훈련을 할 수 있는 방법을 알아보다가 ‘Remember Me’ 앱을 발견하였다. - 페르소나2: 해외에 거주하고 있으며 대전에 사시는 70대 부모님을 둔 외동 아들 박준호씨는 시차와 바쁜 일정으로 인해 부모님과 자주 연락을 드리지 못하고 있다. 부모님의 일상을 알고 싶지만, 물리적 거리와 시간적 제약으로 인해 이를 실현하기 어렵습니다. 이에, 본인을 대신하여 부모님의 하루를 물어봐주고 직접 하지 못한 말들을 전달 받을 수 있는 방법을 찾고 있다. |
| Pain Point | - 중앙치매센터가 발간한 ‘대한민국 치매현황 2018’ 보고서에 따르면 전국의 65세 이상 노인인구(706만6,201명) 가운데 치매환자는 70만5,473명으로 추정되며, 치매유병률은 10.0%로 나타났다. 65세 이상 노인 10명 중 1명은 치매를 앓고 있는 것이다. 또한 추정 치매환자 대비 의료기관에서 치매진단 및 치매진료를 받은 환자(치매상병자)의 비율은 93.7%였다. 앞으로도 치매환자수는 지속적으로 증가할 것으로 예상되며, 2024년 100만명, 2039년 200만 명, 2050년에는 300만 명을 넘어설 만큼 빠른 속도로 늘어날 것으로 예상된다. - 2018년 중앙치매센터의 자료에 따르면 치매환자 1인당 연간 관리비용은 약 2,074만 원으로 추정되고, 국가치매관리비용은 약 14조6,000억 원으로 추정된다. 이는 GDP의 약 0.8%에 달하는 상당한 금액이다. 65세 이상인 치매환자 전체의 연간 진료비는 약 2조3,000억 원, 1인당 연간 진료비는 약 344만 원으로 나타났다. 치매는 중증화가 될수록 장기 요양의 필요성이 늘어나게 되고 비용 지출도 이에 따라 증가하게 되므로 중증도가 높은 치매 환자일수록 연간 관리 비용이 높아진다. 따라서 이로 인한 개인적, 사회적 부담을 낮추기 위해서는 증상 악화를 지연시키는 것이 필요하며, 환자가 시간을 가장 많이 보내는 집에서 편리하게 증상에 도움되는 인지 훈련을 할 수 있어야 한다. |
| 기술적 해결방안 |
- gpt-4o: 사용자와의 대화 및 일기 생성, Report 생성 - TTS/STT: 음성으로 대화하기 위함 - 감정 분석 모델: 작성된 일기를 바탕으로 그 날의 감정 분석 리포트 제공 |
| Big Data AI 전략 |
- 사용자 대화 데이터 축적→ 사용자의 대화 및 일기 데이터를 분석하여 치매 예방에 도움이 되는 패턴을 도출 가능. - 데이터를 기반으로 사용자의 치매 발병 가능성을 예측가능 |
| 기대성과 | - 미국 뉴욕대학 의대 신경과 전문의 요엘 살리나스 박사 연구팀의 결과에 따르면 노년기에 자신의 말을 귀담아 들어줄 가족이나 친구가 있으면 인지 탄력성(cognitive resilience)이 높아져 치매 예방에 도움을 줄 수 있다고 한다. 그날 하루를 떠올리며 소담이에게 자연스럽게 입으로 소리내어 사물의 이름과 형태를 말하는 기억훈련을 하여 치매를 예방한다. - 윤영철 중앙대병원 신경과 교수는 “치매를 예방하려면 매일 두뇌 활동을 해야한다. 날마다 일기를 쓰는 것도 인지 능력을 유지하는 데 도움이 된다. (중략) 무엇보다 이런 인지 활동을 ‘매일, 꾸준히’ 하는 게 중요하다.”고 말했다. 스스로는 잘 쓰지 않게 되는 일기를, 소담이 규칙적으로 사용자에게 하루를 물어보도록 함으로써 사용자는 하루를 회상하는 습관을 들이고, 이를 통한 사용자 인지 능력 유지를 도모한다. |
| 오픈소스 리스트 명칭과 URL |
[Frontend] -언어: Dart -프레임워크: Flutter(https://flutter-ko.dev/) [Backend] - 언어: JavaScript, sql - 프레임워크: node.js( https://nodejs.org/en , https://expressjs.com/ko/) - DB: MySQL(https://www.mysql.com/) [AI] - PyTorch: https://pytorch.org/ - koBERT : https://github.com/SKTBrain/KoBERT |
| AI 알고리듬, 모듈 등 리스트 |
- GPT-4o: https://openai.com/index/hello-gpt-4o/ - Google cloud Text-to-Speech: https://cookbook.openai.com/examples/chat_finetuning_data_prep - Google cloud Speech-to-Text: https://cloud.google.com/speech-to-text?hl=ko - koBERT : https://github.com/SKTBrain/KoBERT |
| Team Ground Rule |
Click to visit |
| 최종수정일 | 2024-06-01 |
| 항목 | 내용 |
|---|---|
| 팀명 | 머스캣 |
| 프로젝트명 | |
| 서비스명 | SCHOLLI  |
| 키워드 | LLM, 생성형 AI, 머신러닝 |
| 만들고자 하는 것 | 장학금 매칭 및 이전 합격자의 노하우를 활용한 맞춤형 지원서 자동 작성 서비스 |
| 타겟고객 | (1) 이름: 김이화 연령: 24 성별: 여성 직업: 대학생(2학년) 경력: 프랜차이즈 카페에서 1년째 근무중임. 소득분위 : 4분위 거주 지역: 경기도 특징: 부모님으로부터의 지원금과 알바 소득만으론 금전적 여유가 없어서 자신의 소득 분위에 해당하는 장학금을 알아보고 있음. (2) 이름 : 박연새 연령 : 25 성별 : 남성 직업 : 대학생(4학년) 경력 : 다수의 공모전 입상 경험이 있음. 소득분위 : 10분위 거주 지역 : 서울 특징 : 국가장학금을 받을 수 있는 소득분위에 해당하지 않음. 막학기를 다니고 있으며 취업을 준비하고 있음. 현재 창업 공모전을 진행중임. |
| Pain Point | 1. 다양한 장학금 정보가 분산되어있어 자신에게 해당하는 장학금을 찾기 힘들다. 2. 장학금마다 요구하는 지원 문항이 달라 여러 장학금을 지원하는 경우, 장학 유형별 지원서 작성에 많은 시간을 소비한다. |
| 기술적 해결방안 |
1. 통합된 데이터: 셀레니움을 통한 크롤링으로 다양한 기관과 단체의 장학금 정보를 통합하여 하나의 데이터베이스로 관리 2. 맞춤형 추천 시스템: 사용자의 프로필을 분석하여 TF-IDF와 코사인 유사도 측정을 통해 개인에게 최적화된 장학금을 추천 3. 지원서 작성 팁 제공: 생성형 AI 기술을 활용하여 이전 수혜자들의 조언 및 팁을 추출하여 제공 4. AI 기반 지원서 작성: LLM 기술을 활용하여 사용자가 지정한 작성 방향을 바탕으로 지원서 작성 |
| Big Data AI 전략 |
- 학생의 학력, 소득 분위, 거주 지역 등의 데이터 수집 → 국가 장학금, 지역인재 장학금 추천 - 학생의 경험, 역량 등의 데이터 수집 → 성과형 장학금, 취업 연계 장학금 추천 |
| 기대성과 | 1. 장학금 정보 제공 : 학생들이 다양한 장학금에 대한 정보를 쉽게 얻을 수 있도록 도움을 준다. 이를 통해 학생들은 시간을 절약하고 여러 장학금에 지원할 수 있다. 2. 개인 맞춤형 추천 서비스 : 학생의 학력, 소득분위, 거주 지역, 학습경험 등의 정보를 기반으로 적합한 장학금을 추천해준다. 이를 통해 학생들은 자신의 상황에 알맞은 장학금을 놓치지 않고 지원할 수 있다. 3. 지원서 작성 지원 : 장학금 신청에 필요한 지원서 자동 작성 기능을 통해 학생들이 자신의 경험과 역량을 효과적으로 표현할 수 있도록 도움을 준다. 이 서비스는 AI 기술을 활용하여 학생들이 자신에게 가장 적합한 장학금을 찾고, 지원 과정을 효율적으로 진행할 수 있도록 돕는다. 장학금 추천에서 지원서 작성에 이르기까지 전 과정을 지원함으로써, 학생들의 시간과 노력을 절약할 수 있으며, 장학금 지원의 성공 가능성을 높일 수 있다. 이는 학생들의 경제적, 정서적 부담을 줄여줄 뿐만 아니라 교육 기회를 확대할 수 있을 것으로 기대된다. |
| 오픈소스 리스트 명칭과 URL |
[AI] - TensorFlow 2.16.1: https://www.tensorflow.org/ - PyTorch 2.2: https://pytorch.org/ [Crawling] - Selenium 4.21.0: https://www.selenium.dev/ [Frontend] React 18.3.1: https://ko.legacy.reactjs.org/ [Backend] Django 5.0.6: https://docs.djangoproject.com/ko/5.0/ |
| AI 알고리듬, 모듈 등 리스트 |
- GPT-4o (https://platform.openai.com/docs/models/gpt-4o) 를 통한 지원서 작성 팁 추출 및 자동 작성 시스템 - TF-IDF 벡터화 (https://scikit-learn.org/stable/) - 코사인 유사도를 통한 추천 시스템 (https://scikit-learn.org/stable/) |
| Team Ground Rule |
Click to visit |
| 최종수정일 | 2024-05-28 |
| 항목 | 내용 |
|---|---|
| 팀명 | 계단 |
| 프로젝트명 | |
| 서비스명 | 유북 |
| 키워드 | 생성형 ai, 문장 생성, 그림 생성 |
| 만들고자 하는 것 | 생성형 ai를 이용하여 누구나 쉽게 간단한 문장 및 이를 기반으로 생성한 삽화로 만들 수 있는 나만의 자서전 |
| 타겟고객 | 연령 : 50대 직업 : 직장인 매일 챗바퀴처럼 반복되는 직장생활에 지친 상태. 자존감 및 삶에 대한 만족도 하락. 많은 돈과 시간이 드는 자서전은 대단한 사람들이나 만드는 것이라고 생각하여 자서전을 만든 사람들을 보며 부러워함. 출판을 하지 않더라도 자기 만족을 위한 자서전을 만들고 싶어함. 자신의 삶을 한번쯤 돌아볼 시간을 가지고 싶어함. |
| Pain Point | 자서전을 만들기 위해 비싼 돈을 주고 대필 작가를 구해야 하는 불편함. 제한적인 인터뷰 및 수정 횟수로 인한 불편함. 자서전을 만들때 삽입할만한 적절한 사진을 찾아야 하는 불편함 |
| 기술적 해결방안 |
생성형 ai 웹생성 |
| Big Data AI 전략 |
생성된 이야기 및 문장에 대한 사람들의 선호도에 대한 데이터 이용자들이 선호할만한 문장을 생성하여 만족도를 높여줄 수 있음. |
| 기대성과 | 접근성이 떨어지는 자서전의 장벽을 낮춤으로서 자서전에 대한 관심도를 높여줌. 자서전을 만듦으로서 본인의 삶에 긍정적인 관심을 가지게 해줌. 자서전을 만들고 싶었으나 다양한 이유로 여건이 안되던 사람들의 욕구를 충족시켜줌. |
| 오픈소스 리스트 명칭과 URL |
DALL·E (openAI) - https://platform.openai.com/docs/guides/images?context=node GPT4 (openAI) - https://platform.openai.com/docs/guides/text-generation Whisper(openAI) - https://platform.openai.com/docs/guides/speech-to-text |
| AI 알고리듬, 모듈 등 리스트 |
DALL·E (openAI) - 원하는 삽화를 생성하는 용 GPT4 (openAI) - 입력된 정보를 바탕으로 문장을 만드는 용 Whisper(openAI) - 음성을 텍스트화하여 문장생성을 위한 정보로 만드는 용 |
| Team Ground Rule |
Click to visit |
| 최종수정일 | 2024-4-12 |
| 항목 | 내용 |
|---|---|
| 팀명 | 익명의 뒤쥐 |
| 프로젝트명 | |
| 서비스명 | JAMBAND |
| 키워드 | 딥러닝, AI, 학습알고리즘 |
| 만들고자 하는 것 | 밴드 악기 합주 시뮬레이션을 제공하고, 앱 자체에서 연주를 점수로 평가해주고, 이에 따른 피드백을 생성해주는 어플리케이션 |
| 타겟고객 | -밴드 합주를 하고 싶지만, 모든 연주자들이 시간을 맞추어 대면으로 한 곳에 모이는 것이 어려웠던 사람 -전문적인 피드백을 받고 싶지만, 주변에 멘토가 없는 사람 |
| Pain Point | 주변에 가르쳐줄 멘토가 없기 때문에 악기 학습을 효율적으로 하지 못하고, 자신이 하는 방식이 옳은지 모름. 자신의 여가시간에 맞추어 밴드 합주를 연습하고 싶지만, 매번 대면으로 시간을 맞추어 모이는 것이 부담스러움. |
| 기술적 해결방안 |
음성 인식 기술: 사용자가 연주한 악기 소리를 인식하여 디지털로 변환하고, 이를 통해 악기 연주의 음향적 특성을 분석하고 평가함. 기계 학습 및 데이터 분석 기술: 수집된 음악 데이터를 기계 학습 알고리즘에 적용하여 사용자의 연주를 분석하고 난이도를 평가하며, 머신러닝 및 딥러닝 알고리즘을 사용하여 사용자의 연주 기술을 개선하고 연습을 스케쥴링 해준다. 사용자 인터페이스 및 시각화 기술: 사용자가 앱을 사용하여 악기 연주를 기록하고 분석 결과를 시각적으로 확인할 수 있는 사용자 인터페이스를 설계함. |
| Big Data AI 전략 |
사용자의 합주 음성 데이터 축적으로 스코어링 및 평가 방식이 개선된다. 다른 사용자의 합주 음성을 가져와 합주 시뮬레이션을 할 수 있으므로, 연습할 수 있는 음악의 폭이 넓어진다. |
| 기대성과 | 합주는 대면으로 모여야만 가능하다는 기존의 인식에서 벗어나, 비대면으로도 각자의 일정에 맞추어 유동적으로 연습하고 합주하는 것이 가능해짐. 혼자서만 악기를 연주하는 것에서 그치지 않고 어플이 제공하는 밴드 합주 기능을 통해 더욱 다양한 경험을 함으로써 악기 학습에 흥미를 쉽게 잃지 않고 꾸준히 지속할 수 있음 |
| 오픈소스 리스트 명칭과 URL |
mySQL https://www.mysql.com/ 텐서플로 https://www.tensorflow.org/?hl=ko 케라스 https://keras.io/ 달리2 https://openai.com/dall-e-2 |
| AI 알고리듬, 모듈 등 리스트 |
DEMUCS 모델을 이용하여 노이즈나 다른 악기 소리를 제외하고 원하는 악기 소리를 추출한다. BASIC PITCH와 CNN 모델을 이용하여 사용자의 연주 소리를 midi 형식 데이터(디지털 악보)로 변환하여 원본 악보와 비교하며, 사용자의 연주가 악보에 맞게 진행되고 있는지 판별한다 |
| Team Ground Rule |
Click to visit |
| 최종수정일 | 2024-6-07 |
| 항목 | 내용 |
|---|---|
| 팀명 | 보성말차 |
| 프로젝트명 | |
| 서비스명 | Lost but Found |
| 키워드 | 분실물, 생성형 AI, LLM 멀티모달 모델, 웹서비스 |
| 만들고자 하는 것 | 분실물을 쉽고 효율적으로 등록, 관리 그리고 찾을 수 있는 웹서비스입니다. 분실물을 획득한 사람이 이미지를 올리면 생성형 LLM 모델이 물건이 가지고 있는 시각적 특징을 텍스트로 생성하고, 그 중 중요 키워드(모양, 재질, 색, 텍스트 유무 등)를 활용하여 분실물 데이터베이스를 객관적이고 효율적으로 구축합니다. 물건을 찾으려는 사람이 자신의 잃어버린 물건에 대한 설명을 프롬프트로 제시하면 해당 설명과 DB 내 키워드들의 유사도 검사를 통해 유력한 분실물을 필터링하여 제공합니다. 현재 이화여대 학생서비스센터에서 제공하는 분실물 게시판은 내용이 방대하고, 검색 기능이 제대로 작동하지 않는 불편함이 있습니다. 는 분실물을 제대로 관리하고 찾기 힘들다는 pain point를 개선한 서비스로서, 분실물을 발견한 사람과 찾는 사람 모두 쉽고 간편하게 이용할 수 있다는 기대효과가 있습니다. |
| 타겟고객 | 페르소나 : 이화여대 기숙사에 거주하는 24학번 컴퓨터공학과 새내기 영희 벗 20살 영희벗은 이화여대에 24학번으로 입학한 뒤 기숙사 E-House에 거주하게 되었습니다. 여러 교양과 전공 강의를 수강하는 영희 벗의 교내 활동 범위는 정문 ECC에서 학생문화관, 중앙도서관, 공대까지 매우 넓습니다. 물건을 자주 잃어버리는 영희 벗은 자신이 언제 어디에서 물건을 잃어버렸는지 특정하기 어려웠습니다. 교내 커뮤니티에 글을 올려서 분실물을 찾아보기도 하였지만 쉽지 않았습니다. 교내 학생 서비스 센터에서 게시하는 분실물 게시판에 검색해보아도, 분실물 여러 개가 하나의 게시글로 게시되어있어 일일히 찾아들어가야 했기 때문에 쉽지 않았습니다. 영희 벗은 자신이 학교에서 잃어버린 물건을 쉽게 찾을 수 있는 서비스가 있으면 좋겠다고 생각했습니다. Demographic 정보 : 서비스의 주 타겟층은 캠퍼스 내에서 물건을 습득하였거나 잃어버린 대학생입니다. 교내에서 활발하게 활동하는 20대 대학생들은 금전적 가치가 있는 물건을 잃어버렸을 때 분실물을 찾으려 다양한 매체를 활용하기 때문에, 웹페이지에 익숙한 대학생들에게 서비스가 흥미롭게 느껴질 것입니다. |
| Pain Point | - 이화여대 학생서비스센터는 유레카 게시판에 습득한 물건들에 대한 사진과 정보를 매일 제공하고 있지만 대부분의 물품 종류가 기타로 처리되어있고 제목에서 어떤 분실물에 대한 설명인지 전혀 유추가 안되는 등 사용자는 원하는 분실물 검색에 대한 어려움을 겪고 있습니다. - 분실물을 등록하는 입장에서도 매번 분실물 정보를 수동으로 입력해야한다는 점에서 번거로움을 느끼고 있으며 통일된 기준이 없기 때문에 주관적으로 게시물의 정보가 기준없이 정렬되어 있습니다. - 현재는 사용자가 ‘공학용 계산기’라고 검색해도 습득물 사진에 전혀 접근할 수 없기 때문에 최적의 검색 기능을 제공하는 서비스가 필요해보입니다. |
| 기술적 해결방안 |
현재 학생서비스센터에서 제공하고 있는 분실물 이미지는 매일 수집된 분실물들이 한 장의 이미지에 담겨있기 때문에 이미지 비전(object detection & segmentaion) 기술로 물체를 분리하여, 멀티모달 LLM 모델을 확용하여 분실물 이미지에 대한 텍스트 정보를 생성합니다. 이렇게 생성된 텍스트 정보에서 중요 키워드(색깔, 카테고리, 모양 등)만 추출하기 위해 NLP 기술을 활용하여 전처리하고, 데이터베이스에 넣어둡니다. 사용자가 자신의 분실물을 프롬프트 창에 묘사하면, DB 내의 존재하는 분실물 중 유사한 물건들을 보여주어 검색 피로도를 줄여주는 효율적인 검색 서비스를 개발하고자 합니다. |
| Big Data AI 전략 |
서비스 사용자인 교내 학생들의 분실물 패턴, 장소, 시간대, 분실한 물건 특징 등의 데이터가 축적될 것으로 예상됩니다. 축적된 데이터를 이용해 분실물이 자주 발생하는 시간대, 장소를 예측할 수 있을 것이고, 발생한 분실물의 복구 확률을 높일 것으로 기대합니다. 이화여대에서 성공적으로 서비스를 배포하여 분실물과 관련한 데이터가 쌓인다면, 분실물 반환율을 높이기 위해 효과적인 요소들이 무엇인지 파악하기 용이할 것으로 예상합니다. 뿐만 아니라, 교내에서의 성공 경험을 바탕으로 다른 대학교에 서비스를 제공하는 수익화 전략을 세울 수 있을 것으로 기대합니다. |
| 기대성과 | 유저들은 분실물을 빠르고 효율적으로 찾을 수 있게 되어 일상 생활의 불편함이 감소하고, 분실물을 습득한 사람들도 추가 과정 없이 이미지를 올리는 것으로도 물건의 주인을 찾아줄 수 있습니다. 등록자들은 사진을 찍기만 하면 생성 AI가 분실물의 특징을 자동으로 입력해주어 매번 분실물 정보를 수동으로 입력할 필요가 없으며 수동으로 입력하는 것보다 훨씬 상세히 분류해주어 부담을 줄일 수 있습니다. 교내에서 주인을 찾아줄 수 있어 유용합니다. 매년 발생하는 수 십만 건의 분실물을 저장하는 공간과 재정적 낭비를 줄일 수 있습니다. |
| 오픈소스 리스트 명칭과 URL |
1. Pytorch : https://pytorch.org/ 2. openCV : https://opencv.org/ 3. github : https://github.com/ 4. React : https://ko.legacy.reactjs.org/ 5. MySQL : https://www.mysql.com/ 6. JetBrains-Intellij : https://www.jetbrains.com/ko-kr/opensource/idea/ |
| AI 알고리듬, 모듈 등 리스트 |
1. re/OpenCV : 이미지 데이터셋 전처리 2. Selenium : 데이터 크롤링 3. ChatGpt 4o : 멀티모달 LLM 4. Word2Vec& cosine similarity : 텍스트 유사도 |
| Team Ground Rule |
Click to visit |
| 최종수정일 | 2024-6-04 |
| 항목 | 내용 |
|---|---|
| 팀명 | 하면함 |
| 프로젝트명 | |
| 서비스명 | 피어리 |
| 키워드 | 조직문화, 동료평가, 생성형AI, 자연어처리 |
| 만들고자 하는 것 | 생성형 AI 기술을 활용한 동료평가 피드백 분석을 통해 조직 내의 문제를 파악하고, 구성원 및 조직에게 맞춤화된 솔루션을 제공하는 서비스 본 서비스에서 제공하는 기능은 다음과 같습니다. 1. 팀 스페이스 생성 사용자는 팀 스페이스를 생성하고 팀원들을 초대할 수 있음. 팀 스페이스를 생성한 사용자에게 자동으로 팀 리더 권한이 부여됨. 2. 피드백 전송 사용자는 같은 팀 스페이스에 속한 팀원에게 피드백을 전송할 수 있음. 어떤 팀원이 어떤 피드백을 누구에게 전달했는지는 절대 공개되지 않음. 피드백 전송 시, (1)팀원을 선택하고 (2)보낼 피드백 종류(태그)를 선택한 후 (3)전송하고자 하는 피드백 내용을 서술형으로 작성함. ‘보낼 피드백 종류(태그)’는 리더십, 업무 능력, 태도, 소통 등으로 구성되며, 사용자에게 피드백 내용에 대한 가이드로써 제공됨. 3. 피드백 분석 및 결과 제공 - 개인 솔루션 제공 : 전송된 피드백 내용 중 개인과 팀의 성장을 위해 불필요한 부분(불필요하게 감정이 드러나는 부분, 비속어, 팀과의 연관성이 떨어지는 부분, 답변의 일관성이 없는 부분 등)을 문장에서 분리하고, 나머지 부분에 대한 종합 피드백 분석 결과 및 개인별 솔루션을 제공함. (업데이트 주기: 일주일) - 팀 솔루션 제공 : 각 피드백에서 분리된 부분의 내용, 분리된 부분의 비율, 피드백 빈도 등의 데이터를 분석하여 ‘팀 건강도’에 대한 수치를 제공하고 팀의 문제점을 파악하여 팀에 특화된 솔루션을 제공함. (업데이트 주기: 한달) 4. 피드백 설문 : 사용자가 다른 팀원에 대한 피드백에 소극적인 경우 혹은 피드백 내용의 일관성이 떨어지는 경우 등 특정 기준에 미달되었을 때, 선택형 피드백 설문을 필수 제출하도록 할 예정임. 이 선택형 피드백 설문을 제출하지 않는 경우 피드백 결과를 확인할 수 없음. 이 설문 데이터 또한 팀 건강도 분석 시 포함하여, 보다 다각적인 접근을 통한 분석 결과를 제공하고자 함. |
| 타겟고객 | 혁신과 변화를 추구하는 조직 : 기존의 조직문화를 개선하거나 조직 내에 효과적인 변화를 도입하고자 하는 다양한 형태의 기업, 그룹, 팀을 대상으로 함. 구체적으로는 CEO, HR 매니저, 팀 리더 등의 리더십 포지션에서 조직 내 변화를 주도하고 팀원들 간의 협업 및 업무 능력을 향상시키기 위해 이 서비스를 활용할 수 있을 것으로 기대됨. 페르소나: 33세, 여성, 중소기업 HR 매니저(조직문화 팀) -상황: 조직 개편 및 조직문화 개선 프로젝트를 앞두고 있음 -성격: 주변의 소식에 민감하고 눈치가 빨라 직원들 간의 갈등을 빠르게 알아차림 -목표: 좋은 시너지를 낼 수 있는 직원들을 한 팀으로 배치하여 팀의 성과를 향상시키기 위해 새로운 기술과 방법을 탐구하고 있음. 특히, 조직 내의 문제를 효과적으로 파악하고 개인 및 팀 수준에서 발전을 이루기 위한 도구와 솔루션을 찾고 있음. |
| Pain Point | 각 기업은 고유 업종과 경영 철학을 반영한 조직문화를 형성함으로써 구성원과 조직의 지속가능한 성장을 추구합니다. 이러한 조직문화는 각 조직의 가치와 목표 실현을 위해 필수적이며, 사업 성과와도 밀접한 연관이 있습니다. 현재 많은 혁신적인 기업들은 조직문화 형성을 위해 ‘동료평가’라는 수단을 도입하고자 합니다. 이러한 ‘동료평가’는 팀원들에게 문제 개선의 기회를, 조직에게 리더십 및 역할 분배의 기회를 제공하여 팀 내부 협업을 강화할 수 있다는 장점을 가지고 있습니다. 하지만, 조직 내 경쟁이 심화되는 경우 악용의 가능성이 있고, 익명성에 의해 평가와 무관한 내용까지 평가 결과에 포함될 수 있다는 단점이 존재합니다. 무엇보다도, 동료평가를 시스템을 도입하기 위해서는 추가적인 비용이 필요합니다. 우리 팀은 동료평가의 이러한 문제점(pain point)을 해소하고 장점을 살릴 수 있는 혁신적인 서비스를 계획하고 있습니다. 기업들이 최소한의 비용으로 조직문화를 개선할 수 있도록 돕는 서비스를 통해 각종 AI 기술을 활용해 조직 내 문제를 지속적으로 파악하고, 구성원들에게 맞춤화된 솔루션을 제공하고자 합니다. |
| 기술적 해결방안 |
1. CLOVA Sentiment: 피드백의 텍스트 데이터에 대한 감정 분석 수행하여 긍정적, 부정적 측면의 객관적 수치 도출 2. 생성형 AI: 피드백을 종합 및 분석하고 개인별 및 팀 전체에 대한 솔루션 생성 |
| Big Data AI 전략 |
- 동료평가 트렌드 및 패턴 분석: 수많은 동료평가 데이터를 분석하여 팀 간 혹은 부서 간의 동향을 식별할 수 있습니다. 어떤 리더십 스타일이 가장 효과적인지, 어떤 피드백이 가장 증진적인지 등을 파악하여 기업에 맞춤형 조언을 제공할 수 있습니다. - 문제 예측 및 조기 해결: 머신러닝 알고리즘을 사용하여 조직 내 문제를 예측하고 사전에 해결할 수 있는 시스템을 구축할 수 있습니다. 예를 들어, 충돌 가능성이 높은 팀을 사전에 식별하여 리더십 트레이닝이나 특별한 팀 빌딩 활동을 제안할 수 있습니다. - 조직 문화의 진화 및 성과 측정: 데이터를 통해 조직 문화의 변화를 추적하고, 특정 개선 프로그램이나 정책 도입의 영향을 측정할 수 있습니다. 이를 통해 기업 리더들에게 조직 문화에 대한 투자의 효과를 시각적으로 제시할 수 있습니다. |
| 기대성과 | 이 서비스를 이용하는 기업들은 적은 비용으로 새롭고 혁신적인 조직 문화를 구축할 수 있습니다. 이를 통해 동료평가 시스템을 효과적으로 도입하여 구성원들이 자신의 강점과 약점을 파악하고 개선할 수 있으며, 이는 결과적으로 팀 성과 향상에 크게 기여하게 됩니다. 또한 이 서비스를 통해 축적된 조직문화 데이터를 활용하여 조직문화에 대한 투자 효과를 객관적으로 제시한다면, 많은 기업에서 건강한 조직 문화를 형성하기 위해 노력할 것으로 기대됩니다. 이를 통해 우리 서비스는 모든 기업이 건강한 조직 문화를 만들기 위해 노력하는 첫걸음이 될 것입니다. |
| 오픈소스 리스트 명칭과 URL |
React(https://ko.legacy.reactjs.org/) TypeScript(https://www.typescriptlang.org/) Spring Boot(https://spring.io/projects/spring-boot) |
| AI 알고리듬, 모듈 등 리스트 |
CLOVA Sentiment : 텍스트에서 감정 식별 및 분석 GPT-4 : 각 피드백 종합 및 분석을 통한 솔루션 생성 |
| Team Ground Rule |
Click to visit |
| 최종수정일 | 2024-4-18 |
| 항목 | 내용 |
|---|---|
| 팀명 | 힘찬유니콘 |
| 프로젝트명 | |
| 서비스명 | FoodieBuddy |
| 키워드 | Dietary restrictions (건강상의 이유, 문화적, 종교적 이유, 또는 개인적인 선호 등에 따라 특정 음식이나 영양소를 제한하는 것), 텍스트/이미지 생성형 AI, 멀티모달 |
| 만들고자 하는 것 | Dietary restriction으로 인해 한국에서의 외식에 어려움을 겪고 있는 한국 체류 외국인들을 위해, gpt-4o와 stable-diffusion3를 사용하여 dietary restrictions에 기반한 1) 식당 메뉴판 설명, 2) 밑반찬 설명, 3) 한식 메뉴 추천 을 제공하는 채팅 기반 앱서비스를 만들고자 한다. |
| 타겟고객 | 타겟층은 dietary restrictions을 가진, 한국에 머무르는 외국인들이다. 이들은 한식이 낯설고 한국어로 된 정보로의 접근이 어려운 상황에서 본인이 먹을 수 있는 음식을 가려내야 하는 상황이다. 이를 바탕으로 페르소나는 프랑스 국적의 20대 여성인 소피아로 설정하였다. 소피아는 채식주의자이고 현재 교환학생으로 한국에 체류 중이다. 음식을 밖에서 사 먹어야 하는 상황이 생길 때, 재료 정보의 부족과 소통의 어려움으로 인해 음식점 선택과 메뉴 선택에 불편함을 겪고 있다. |
| Pain Point | 한국어를 하지 못하는 경우, 정보에 대한 접근성이 현저히 떨어질 뿐만 아니라 주변에 도움을 요청하기도 어려워진다. 게다가 사전이나 번역을 이용하더라도 이해가 어려운 음식과 재료를 접하기도 한다. 또한 메뉴의 커스텀 주문 등, dietary restrictions을 고려한 선택지를 제공하는 음식점 또한 흔치 않다. 이러한 제약들은 dietary restrictions을 가졌으며 정보가 많이 없는 외국인들을 제한적인 선택지 안에서만 머물게 만든다. 위 상황에서의 pain point를 세가지로 나누어 정리해보면 다음과 같다. • 번역기만으로는 이해하기 어려운 한식 메뉴명 • 다른 문화권의 사람들에겐 낯설 수 있는 “밑반찬”의 존재 • dietary restrictions을 가진 상황에서 한정적인 정보를 갖고 한식 메뉴를 선택해야하는 상황 |
| 기술적 해결방안 |
1) gpt-4o를 활용한 메뉴판 사진의 메뉴명 인식 및 설명 채팅 2) gpt-4o를 활용한 밑반찬 사진 인식 및 설명 채팅 3) gpt-4o를 활용한 dietary restrictions 기반 한식 추천 채팅 4) stable-diffusion 3를 활용한 추천 메뉴 및 관심 메뉴 이미지 생성 |
| Big Data AI 전략 |
사용자가 글루텐 프리, 비건, 견과류 알러지와 같은 본인의 dietary restrictions 정보를 입력하게 된다. 사용자들의 데이터가 쌓이면, 앱 서비스의 collaborative filtering을 통한 추천 시스템을 강화할 수 있다. 또한, 공공 데이터 포털의 음식 재료 정보 API를 활용해 재료 정보를 프롬프트에 포함하여, 한식 메뉴 이미지 생성 시 정확도를 향상시킬 수 있다. |
| 기대성과 | 한국에 머무르는 외국인들이 한식에 대한 정보 접근성을 크게 향상시킬 수 있다. 특히, dietary restrictions을 가진 사람들에게는 자신에게 적합한 음식을 안전하게 선택할 수 있는 도구를 제공하여 불안감을 해소하고, 메뉴 선택의 자율성을 확대해준다. 메뉴 설명과 밑반찬 정보 제공으로 인해 한국 음식 문화에 대한 이해가 높아진다. 이로써 외국인들이 한국 생활에 적응하는 과정이 더욱 원활해질 것이다. 나아가, 한식 메뉴 추천 기능을 통해 다양한 음식을 시도할 기회를 제공함으로써 외국인들이 한국 음식 문화를 즐기고 그에 대한 긍정적인 경험을 쌓도록 돕는다. 이는 결과적으로 한국 생활에 대한 진입장벽을 낮추고, 더 많은 외국인들이 한국에서의 생활에 긍정적인 인식을 가지도록 기여할 것이다. |
| 오픈소스 리스트 명칭과 URL |
[FE] • Language : Typescript https://www.typescriptlang.org/ • Library : React native https://reactnative.dev/ [BE] • Language : JAVA https://www.java.com/ / python https://www.python.org • Framework : Spring https://spring.io / FastAPI https://fastapi.tiangolo.com • DB : MySQL https://www.mysql.com/ / AWS RDS https://aws.amazon.com/ko/rds • 이미지 저장 : AWS S3 https://aws.amazon.com/ko/pm/serv-s3/ • 배포 : AWS EC2 https://aws.amazon.com/ko/ec2/ / Docker https://hub.docker.com / gunicorn https://gunicorn.org [Data] • 음식(한식) 재료 정보 API https://www.data.go.kr/data/15081026/openapi.do?recommendDataYn=Y#/tab_layer_recommend_data |
| AI 알고리듬, 모듈 등 리스트 |
[AI] • Language : Python • Gpt-4o https://platform.openai.com/docs/models/gpt-4o : 기능별 채팅 진행 및 메뉴판/밑반찬 이미지 설명을 위한 LLM API • Stable Diffusion 3 https://platform.stability.ai/docs/api-reference : 추천 메뉴 및 관심 메뉴 이미지 생성을 위한 이미지 생성 모델 API |
| Team Ground Rule |
Click to visit |
| 최종수정일 | 2024-10-1 |
| 항목 | 내용 |
|---|---|
| 팀명 | 쿨라피 |
| 프로젝트명 | |
| 서비스명 | 왓(wot) |
| 키워드 | CNN, Transformer, DNN, 날씨에 맞는 옷 추천 |
| 만들고자 하는 것 | - 사용자가 옷을 입은 사진을 업로드하면 그 사진을 찍은 날짜의 날씨를 토대로 개인화된 생성형 AI를 만들어 그 날의 날씨에 따른 옷차림을 추천해주고, 추천받은 사진과 OOTD를 친구들과 공유할 수 있는 폐쇄형 SNS 서비스 - 사용자가 업로드한 사진 중 옷을 추출 및 분류하고, 메타 데이터로 받은 날짜 데이터를 토대로 그날의 날씨를 가져와 데이터로 넣은 후, 오늘 날씨에 맞는 옷을 사용자의 옷에서 찾아 제시하는 생성형 AI를 이용 |
| 타겟고객 | - 24세 대학교 4학년 김이화씨는 아침마다 어떤 옷을 입을지 고민이다. 5월 7일 오늘, 일교차가 크고 비 예보가 있어 어떤 옷을 입어야 날씨에 딱 맞을지 고민이 된다. 저번에 비슷한 날씨일 때 어떤 옷을 입었는지, 추웠는지 더웠는지도 매일 기억하기가 어렵다. 김이화씨는 추위를 많이 타는 편이라 다른 사람보다 일교차에 영향을 많이 받아 옷을 너무 두껍게 입고 더워하거나, 얇게 입어 후회하는 날이 많다. - 22세 대학교 2학년 이예림씨는 평소 SNS와 패션에 관심이 많다. 친구들이 어떤 옷을 입는지도 궁금하고 내가 입은 코디를 자랑하고 싶은데 인스타그램이나 블로그에 옷을 올리기엔 부담스럽다. 그래서 옷 사진을 가볍게 올리고 공유할 수 있는 소셜 네트워크 서비스를 찾고 있다. |
| Pain Point | - 매일 아침 어떤 옷을 입을지 고민하는 사람들이 있다. 특히 오늘 날씨(비, 기온)에 맞는 나의 옷이 어떤 게 있는지, 비슷한 날씨에 그 옷을 입고 내가 더웠는지 추웠는지 기억하기 어려워 날씨에 딱 맞는 옷을 고르기가 어렵다. - 에브리타임에 ‘날씨’ 게시판이 있다. 해당 게시판은 지역, 현재 기온, 입은 옷, 체질(예를 들어, 추위를 많이 타는 편) 내용을 포함한 게시글을 올려 날씨 데이터베이스를 만들어 어떤 옷을 입어야 좋을지 참고할 수 있도록 하는 게시판이다. 이 게시판의 사용자 수와 글 빈도수를 보면 많은 사람들이 날씨에 맞는 옷차림을 고민한다는 것을 알 수 있다. - 우리 서비스는 이런 사용자들을 대상으로 ‘내가 가지고 있는 옷’ 과 내가 그 옷을 입고 어땠는지 입력 받은 데이터를 바탕으로 모델을 계속 업데이트해 사용자에게 딱 맞는 옷을 추천하고자 한다. |
| 기술적 해결방안 |
[이미지 Segmentation] - CNN(U-Net)과 Transformer를 통해 이미지의 특성을 추출하여 사진 속 옷을 자동으로 인식하여 분리해내고, 상의/하의/아우터 중 어떤 종류인지 분류한다. - DNN을 통해 사용자의 기존 패턴을 분석하고 날씨에 맞는 사용자의 개성에 기반한 그날의 옷 추천을 생성한다. [위치 기반 서비스] - 사용자의 현재 위치 정보 활용하여 정확한 날씨 데이터를 추출한다. [얼굴 인식 서비스] - 얼굴 감지를 위한 OpenCV lib의 Haar Cascades 또는 Dlib의 HOG 기반 감지기 - 특징 추출을 위한 CNN 기반의 VGGFace 또는 FaceNet - 얼굴 인식을 위한 Siamese Networks를 사용하는 딥러닝 모델 [옷차림 공유 기능] - 사용자가 친구들을 추가하여 옷차림을 공유할 수 있는 SNS 기능을 제공한다. |
| Big Data AI 전략 |
[AI 전략] - 이미지 분석 AI : 사용자의 사진에서 옷차림을 자동으로 분석하고, 이를 바탕으로 사용자의 옷장을 데이터베이스화한다. - 기후 데이터 분석 : 실시간 위치 정보와 기후 데이터를 분석하여 사용자에게 최적의 옷차림을 추천한다. [Big Data 전략] - 사용자의 사진 데이터 : 옷차림 사진, 메타데이터 (위치, 날짜) - 사용자의 행동 데이터 : 옷차림 선택, 평가 및 공유 활동 - 개인화 알고리즘 개발 : 수집된 데이터를 바탕으로 개인 맞춤 옷차림 추천 알고리즘을 개발한다. |
| 기대성과 | - 사용자는 날씨에 맞는 최적의 옷차림을 쉽게 선택할 수 있어 날씨에 영향을 많이 받는 사람도 맞는 옷차림을 생각하기 쉽다. - 날씨에 맞는 옷차림을 선택하여 하루 종일 높은 만족도와 쾌적함을 제공한다. - 추천 받은 옷과 OOTD를 공유하는 기능을 통해 친구들과 스타일을 공유하고 참고할 수 있다. - 사용자의 만족도 및 서비스 이용률 증가로 인해 장기적으로 사용자의 일상 생활과 날씨에 맞는 패션 센스를 향상시키는 데에 기여한다. |
| 오픈소스 리스트 명칭과 URL |
[FE] - REACT: https://ko.legacy.reactjs.org/ [BE] - Node.js: http://nodejs.org/en - Express: https://expressjs.com/ko/ - MySQL: https://www.mysql.com [AI] [Library] - TensorFlow: https://www.tensorflow.org/ - PyTorch: https://pytorch.org/ - Flask: https://flask.palletsprojects.com/ |
| AI 알고리듬, 모듈 등 리스트 |
[Clothing Segmentation] - DeepLabV3+ : 이미지에서 옷을 segmentation 하는 데 사용되는 모델 - Transformer Networks : 다양한 패턴과 스타일을 인식하는 데 사용 [얼굴 인식] - OpenCV Haar Cascades : 간단하고 빠른 얼굴 감지 방법 |
| Team Ground Rule |
https://github.com/Coollaafi/Coollaafi_Frontend/blob/main/ground.md |
| 최종수정일 | 2024-5-07 |
| 항목 | 내용 |
|---|---|
| 팀명 | AI:D |
| 프로젝트명 | |
| 서비스명 | Gotcha |
| 키워드 | 클라우드, AI, 딥러닝 |
| 만들고자 하는 것 | 불법주정차 및 이로인한 사고를 예방하기 위해 딥러닝, 클라우드를 활용하여 블랙박스에 포착된 불법주정차를 자동으로 탐지하고 신고해주는 실시간 서비스를 만들고자 함. |
| 타겟고객 | 어느 날, 33세 회사원 김철수는 아침 일찍 출근을 위해 집을 나섰다. 그런데 집앞 도로는 불법주정차로 가득 차 있었고, 차를 주변에 주차해두었는데도 불구하고 다른 차들로 인해 자신의 차를 찾기가 어려웠다. 차를 빼내느라 시간을 지체한 그는 서둘러 운전을 시작했고, 어린이보호구역에서 신호를 받아 정차했다. 그 시간은 아이들이 학교로 향하는 시간이었고, 도로 위에는 어린이들이 건너편에 있는 학교로 향하고 있었다. 하지만 불법주정차로 인해 도로가 혼잡해져 어린이들이 도로를 건너기가 위험했다. 무질서한 운전자들을 꾸짖고 싶다가도, 직접 일일이 해당 차들을 신고하는 것은 번거롭고 귀찮다는 생각에 결국 그는 그대로 회사로 향했다. 이런 상황에서 불법주정차를 탐지하고 자동으로 신고처리할 수 있는 기술이 있다면, 자신과 어린이들의 아침이 더욱 쾌적해질 것이라고 그는 생각했다. |
| Pain Point | - 주정차 단속이 부족하여 불법주정차 차량들이 계속 증가하며 교통 혼잡이 심해짐. 불법주정차로 인해 주차 공간이 제대로 활용되지 못하고, 주차 공간 부족으로 불편함을 겪는 사람들이 발생함. 또한 보행자 보호 구역이 막혀 안전에 위협을 받는 사람들이 발생하기도 함. |
| 기술적 해결방안 |
클라우드 딥러닝 |
| Big Data AI 전략 |
축적된 데이터: 불법주정차가 다량 신고되는 지역 및 구역, 시간대 등의 통계적 패턴 1. 불법주정차 위험 예측 및 사고 예방: - 축적된 데이터를 활용하여 특정 지역이나 조건에서 불법주정차가 발생할 경우 사고가 발생할 확률 예측 - 이를 통해 사전에 경고를 제공하거나 교통 인프라를 개선함으로써 사고 예방 2. 시민 안전 강화: - 축적된 데이터를 기반으로 도로의 안전성 평가 - 이를 통해 시민들의 안전을 강화하기 위한 정책과 조치 수립 |
| 기대성과 | 고객: 운전자 1. 신고 자동화로 인해 운전자들은 불법 주정차를 신고하기 위해 시간을 소비할 필요가 없어짐. 이는 운전자들의 편의성을 향상시키고, 주행 중에 발생하는 스트레스를 감소시킴. 2. 불법 주정차로 인한 도로의 혼잡을 줄이고 합법적인 주차 공간을 활용함으로써 전반적인 교통 환경이 개선됨. 3. (긴급 차량) 응급차나 소방차 등 긴급 차량의 통행을 원활하게 하여 응급 상황에서의 대처가 빨라지도록 도움. 그 외: 정부 1. 자동화된 불법 주정차 신고 서비스는 불법 주정차에 대한 엄격한 단속을 가능케 하여 교통법규를 준수하는 문화를 확립하는데 기여함. 2.불법 주정차로 인한 벌금 수입이 증가함으로써 국가의 세입이 증가할 수 있으며, 이는 공공 서비스 및 시설 개선 등 다양한 사회적 이익으로 이어질 수 있음. |
| 오픈소스 리스트 명칭과 URL |
YOLO5: https://github.com/ultralytics/yolov5 OpenCV: https://opencv.org/ TensorFlow: https://www.tensorflow.org/?hl=ko PyTorch: https://pytorch.org/ EasyOCR: https://github.com/JaidedAI/EasyOCR AWS: https://aws.amazon.com/ko/?nc2=h_lg |
| AI 알고리듬, 모듈 등 리스트 |
1. 배경 인식 - 추후 수정 예정 2. 주정차 구분 - 추후 수정 예정 3. 번호판 인식 및 메타데이터 추출 3-1) 번호판 인식: YOLO, OpenCV, TensorFlow, PyTorch, EasyOCR 3-2) 메타데이터 추출 및 필터링: AWS Lambda, S3 |
| Team Ground Rule |
Click to visit |
| 최종수정일 | 2024-6-14 |
| 항목 | 내용 |
|---|---|
| 팀명 | 와일드 가오리 |
| 프로젝트명 | |
| 서비스명 | 큐엔아트(QnArt) |
| 키워드 | 미술 교육, 자연어 처리, LLM, 이미지 생성 |
| 만들고자 하는 것 | 미술관에서 작품 정보를 기반으로 생성된 질문에 아이가 답하면서 그림을 감상하고, 감상을 바탕으로 아이가 표현하고 싶은 것을 글로 적으면 그림으로 만들어냄 |
| 타겟고객 | 아보카도(10세, 초등학생) : 주입 위주의 미술관 관람에 흥미가 없는 초등학생 부모님과 함께 미술관이나 박물관에 종종 견학을 가지만, 큰 흥미를 느끼지 못하고 휴대폰만 하다가 돌아오는 일이 부지기수이다. 큐레이터와 함께 다니거나 오디오 가이드를 사용해본 경험이 있으나 어렵고 지루해서 제대로 듣지 않았다. 작품을 여럿 보아도 기억에 남는 것이 별로 없다고 생각한다. 재미도 없는데 부모의 권유로 여기저기 끌려다니는 바람에 미술관 자체를 싫어하게 되었다. 당근 (12세, 초등학생) : 창작 위주의 미술 교육에 흥미가 없는 초등학생 저학년 때는 친구들과 좋아하는 캐릭터를 그리기를 좋아했으며 미술 교과에 흥미를 가지고 있었지만, 고학년이 된 후 그림을 못 그린다 생각해 미술 교과에 자신감이 떨어졌다. 자신의 아이디어를 그림으로 표현하는 것을 어려워하고, 창작과 평가 위주의 미술 수업에 흥미를 느끼지 못한다. 샌드위치(40세, 아보카도의 부모) 예술 교양 함양이 아이에게 중요하다고 생각하여 아이를 데리고 많은 경험을 시켜주기 위해 노력한다. 그러나 해설 위주의 전시로 아이가 미술관에 흥미를 느끼지 못한다. 학창시절 주입식 미술교육, 창작 위주의 표현 수업을 주로 받아와서 본인도 미술 감상을 어떻게 해야할지 잘 모른다. 아이에게는 미술 작품을 잘 감상할 수 있는 안목을 길러 주고 싶어한다. |
| Pain Point | 작품에 대한 일방적이고 주입식 위주의 해설로 인해 초등학생들의 미술관 관람 경험이 만족스럽지 않음. 아이디어는 있지만 미술적 표현력이 부족한 학생들이 미술 교과에 흥미를 느끼기 어려움. |
| 기술적 해결방안 |
프롬프트 : 기존의 일방적인 미술 감상법에 벗어나 관람자 중심의 주체적인 미술 감상이 이루어 질 수 있도록 제시된 ‘펠드먼의 비평 4단계’와 ‘아레나스의 대화 중심 미술 감상법’을 고려하여 프롬프트를 작성한다. LLM : 자연어 처리 기술을 통해 주어진 작품의 정보를 이해하고, 문장 생성 기술로 작품 정보를 기반으로 하여 초등학생이 작품을 자세히 관찰하고 깊이 생각할 수 있도록 하는 열린질문을 생성한다. 아동 관람자가 자신의 의견을 적극적으로 표현할 수 있도록 고려하여 대화 시스템을 설계한다. 이미지 생성 AI : 질문-답변으로 이루어진 작품 감상을 끝나면, 관람자가 표현하고 싶은 대상을 텍스트로 적는다. text to image 생성 기술을 이용하여 해당 작품의 정보, 관람자의 답변을 토대로 한 그림을 만들어낸다. |
| Big Data AI 전략 |
아동의 답변 데이터 : 답변 스타일, 자주 나오는 단어 등을 통해 어린이에게 더욱 최적화된 질문세트 생성 가능 사용자 맞춤형으로 생성된 그림 데이터 : 사용자의 피드백 바탕으로 주어진 프롬프트에 더욱 적절한 그림 생성 가능 교육 분야에 활용된 LLM 데이터 : 미술관에서 더 나아가 박물관, 역사관에서 초등학교 대상 교육 현장에서 쓰이는 교육 모델로서 활용 가능 |
| 기대성과 | 그림에 관한 질문을 보고, 그림을 더 자세히 들여다보며 답변을 고민함으로써 어린이의 스스로 생각하는 힘을 길러줄 수 있다. 아이는 새로운 그림을 통해 미술에 대한 흥미를 느낄 수 있고, 더 나아가 기존 작품을 재해석하고 자신의 생각을 시각화, 표현하며 작품을 보는 눈을 기를 수 있다. 만들어진 그림에 자신만의 표현을 추가하거나, 타인과 결과물을 공유함으로써 표현력을 기르고 의사소통 능력을 향상시킬 수 있다. |
| 오픈소스 리스트 명칭과 URL |
DALLE(OpenAI) https://openai.com/dall-e-2 gpt-3.5-turbo(OpenAI) https://openai.com/gpt-4 |
| AI 알고리듬, 모듈 등 리스트 |
text-to-image generation NLP |
| Team Ground Rule |
Click to visit |
| 최종수정일 | 2024-4-12 |
| 항목 | 내용 |
|---|---|
| 팀명 | 불사신 |
| 프로젝트명 | |
| 서비스명 | 복습 서비스 QRAB |
| 키워드 | LLM, OCR, 크롤링 |
| 만들고자 하는 것 | 학습을 목적으로 On-line으로 노트를 작성하는 대학생을 위한, 작성된 노트로 AI 기반 퀴즈를 자동 생성하고 결과를 분석하여 복습을 통해 학습 효과를 높이는 웹 서비스 |
| 타겟고객 | 온라인 노트 작성을 주로 하며 반복적인 학습을 필요로 하는 대학생 * 이름 - 김이화 (23세) - 서울시 서대문구 대현동 거주 - 이화여자대학교 컴퓨터공학과 4학년 1학기 기말고사 준비 중 * 행태적 인구통계학 정보 - 미혼 - 부모님, 여동생 (19세) - 대학생 - 하반기 취업 준비 중 - 전공 지식 공부와 복습이 중요 |
| Pain Point | <읽고 외우는 학습 방식에 적합하지 않음> 단순히 본인이 작성한 강의 노트와 강의 자료만을 반복해서 읽는 학습 방식에 효능감을 느끼지 못함. 기억력이 부족해 적은 횟수의 학습, 혹은 한 주제를 한 번에 오랫동안 들여다보는 방식의 학습으로는 만족스러운 성과를 거둘 수 없음. 인턴 채용 면접에서 면접관이 물어본 기술 질문에 대한 답변이 잘 기억나지 않아 대답을 얼버무림. 본인이 작성한 강의 노트를 펼칠 때마다 어디서부터 공부해야 할지 막막함. <퀴즈 풀이로 학습을 원하지만 적합한 퀴즈가 없음> 1학기 중간고사 때 시험 준비를 위해 본인이 직접 문제를 출제해서 풀었음. 출제자가 본인이었기 때문에, 진지하게 테스트에 임하려 해도 답이 어렴풋이 떠올라 제대로 문제를 풀 수 없었음. <꾸준한 복습을 원하지만 습관 개선이 어려움> 매번 시험이 다가오면 급하게 벼락치기를 하는 습관이 있음. 이제라도 평상시에 꾸준히 복습을 하고 싶어함. 읽고 외우는 방식의 학습보다는 사용자가 퀴즈를 풀게 하여 원하는 주제만 집중적으로 학습하고, 틀린 문제와 맞힌 문제를 여러 번 복습할 수 있도록 해야 함. 현재 velog나 notion, tistory와 같이 자신이 작성한 글을 기록해 놓는 공간은 많지만, 그러한 학습 기록을 이용해서 사용자의 복습을 도와주는 서비스는 없음. 이에 따라 사용자가 외부 플랫폼에서 작성한 필기 텍스트를 바탕으로 퀴즈를 내 주는 서비스가 필요함. LLM을 통해 퀴즈를 생성하고, 이를 바탕으로 유사한 퀴즈를 재생성하는 것은 물론 사용자에게 주기적으로 알림을 보내 사용자의 꾸준한 복습을 유도하고자 함. |
| 기술적 해결방안 |
OCR API - 다른 곳에 한 필기를 스크린샷을 통해 가져오고, 텍스트로 변환하기 위해 사용. GPT-3.5-Turbo - 저장된 공부 기록을 바탕으로 사용자가 설정한 난이도의 퀴즈를 생성하고, 이미 생성한 퀴즈를 바탕으로 유사한 퀴즈를 재생성하기 위해 사용. |
| Big Data AI 전략 |
사용자가 직접 작성한 학습 기록 데이터, 사용자가 복습하고 싶은 외부 자료 데이터, 생성한 퀴즈 내용에 대한 데이터, 사용자의 퀴즈 풀이 결과 데이터, 복습 주기 데이터가 축적되어 있을 것임. 이를 이용해 같은 분야 내에서 사람들이 주로 어떤 문제를 틀리는지 알 수 있으며, 그 분야를 처음 공부하는 사람들에게 집중적으로 학습할 부분을 추천해 주거나 다른 사람들의 정답률이 낮았던 문항을 풀게 하여 보다 효율적인 학습을 도울 수 있음. 또, 복습 주기 데이터를 통해 다른 사람들의 복습 주기 중 가장 정답률 상승 폭이 높거나 높은 정답률이 오랫동안 유지되는 복습 주기를 찾아내 이를 사용자에게 권할 수 있음. |
| 기대성과 | 사용자가 자신이 정리한 필기 자료를 편리하게 찾아볼 수 있으며, 필기 자료를 바탕으로 생성된 퀴즈를 통해 효율적으로 지식을 습득할 수 있을 것임. 또한, 사용자는 자신이 틀리거나 맞힌 퀴즈로 유사한 퀴즈를 재생성하여 약점을 보완하고, 강점을 강화할 수 있음. 사용자는 자신의 학습 결과에 대한 분석 자료도 제공받을 수 있음. QRAB은 정답률 상승 그래프와 퀴즈 알림을 통해 사용자의 꾸준한 복습을 유도하는데, 이는 사용자에게 동기를 부여해주는 역할을 할 것임. 결과적으로 사용자는 꾸준히 복습하고 학습 동기를 부여받아 기존에 비해 효과적으로 학습 목표를 달성할 수 있음. |
| 오픈소스 리스트 명칭과 URL |
GPT-3.5-Turbo API: https://chat.openai.com/ Naver Clova OCR API: https://www.ncloud.com/product/aiService/ocr |
| AI 알고리듬, 모듈 등 리스트 |
GPT-3.5-Turbo: https://chat.openai.com/ Naver Clova OCR API: https://www.ncloud.com/product/aiService/ocr Claude-3-Opus: https://poe.com/Claude-3-Opus |
| Team Ground Rule |
Click to visit |
| 최종수정일 | 2024-4-18 |
| 항목 | 내용 |
|---|---|
| 팀명 | 포카리 |
| 프로젝트명 | |
| 서비스명 | 스마트푸푸 |
| 키워드 | 시각장애인, 영유아, 육아, 건강, 기저귀 확인, 변 분석 |
| 만들고자 하는 것 | 촬영된 영유아의 변을 토대로 이상 여부와 가능성을 제시하고, 소아과 내원시 참고할 수 있도록 ‘변 다이어리’가 자동으로 기록되는 어플 |
| 타겟고객 | 시각장애인 양육자 - 시각이 아닌 다른 감각으로 사회적 맥락을 알아차려야 하기 때문에 타인의 시선에 특히나 민감하다. - 시각장애인이 아이를 잘 키울 수 있겠느냐는 주변과 사회의 시각을 인지하고 있기 때문에, 되도록 스스로의 힘으로 육아를 해내고 싶어한다. - 아이의 기저귀 속 변의 색을 확인할 수 없어 늘 직접 변을 만져본다. - 활동지원사에게 변 사진을 보내고 어떤 색인지 알려달라는 부탁을 해도 될지 염려한다. |
| Pain Point | - 변은 사람의 건강 상태를 짐작케 해주는 바로미터로 통한다. 특히 아기는 스스로의 상태를 말로 전달할 수 없어 변의 색과 형태를 관찰하는 것은 필수적인 양육 행동이다. 그러나 시각장애인은 눈으로 변을 확인할 수가 없어 매번 직접 만지는 식으로 이를 대체한다. - 양육을 담당하는 시각장애인은 아기의 불편을 알아차리는 것도, 병원을 방문하는 것도 비장애인에 비해 훨씬 늦다는 보고가 있다. - 변 사진은 누구에게 쉽사리 공유하기가 어려운 특수성이 있다. 특히 생후 1년 미만의 아기는 하루에도 5-6번 변을 보기 때문에 가족이나 활동지원사에게 매번 확인받는 데에 어려움이 있다. - 현재까지는 유사 서비스로 매일유업의 “아기똥솔루션”이 있으나 업로드 후 24시간 가량 기다려야 한다. 또 웹과 앱 모두 비장애인을 대상으로 디자인되어 있어 전맹 시각장애인이 사용하는 것이 불가능에 가깝다. |
| 기술적 해결방안 |
- YOLOv5 : 다양한 촬영 환경과 각도의 기저귀 이미지에서 변을 탐지 - Auto White Balance : 다양한 조명 조건의 영향 최소화 - CNN: 입력된 이미지의 변이 어떤 상태에 해당하는지 제시 |
| Big Data AI 전략 |
변 데이터 분석을 통한 유아식 개발: 변 데이터를 통해 아기의 소화 상태와 영양 요구를 분석하여 맞춤형 유아식을 개발하고 판매 맞춤형 영양 상담: 아기의 변 데이터를 분석하여 맞춤형 영양 상담을 제공하는 서비스. 어떤 음식이 아기에게 적합한지, 알레르기나 불내증이 있는지 등을 파악하여 맞춤형 식단을 제안 |
| 기대성과 | 1) 밤낮에 구애받지 않고 수시로 아이의 변 상태를 체크할 수 있어 시각장애인에게 병원 방문의 문턱과 양육장벽을 낮출 수 있다. 2) 시각장애인 양육자가 직접 아이의 건강 상태를 모니터링 및 관리하게 함으로써 모·부성권을 보호할 수 있다. 3) 장애인 양육자에게 주어지는 유일한 지원이 일회성 출산 장려금 뿐이며, 장애별 특성을 고려한 육아 지원은 전무한 상황에서 시각장애인 부모 맞춤형 서비스를 제공함으로써 복지 사각지대를 일부 해소한다. 4) 시각장애인 양육자에게 특화된 육아용품이나 교육프로그램을 판매할 수 있다. 시각장애인 육아커뮤니티를 운영할 수 있다. |
| 오픈소스 리스트 명칭과 URL |
[FE (Frontend)] - Language: TypeScript https://www.typescriptlang.org/ - Library: React.js 18, three.js https://react.dev/blog/2023/03/16/introducing-react-dev https://threejs.org/ - Framework: Next.js 14 https://nextjs.org/ [BE (Backend)] - Language: TypeScript https://www.typescriptlang.org/ - Framework: Node.js, Express https://nodejs.org/en https://expressjs.com/ko/ - DB: MySQL https://www.mysql.com/ |
| AI 알고리듬, 모듈 등 리스트 |
- Language: Python https://www.python.org/ - Framework: Flask https://flask.palletsprojects.com/en/3.0.x/ - DB: MySQL https://www.mysql.com/ - Library: sklearn, PyTorch, Keras https://scikit-learn.org/stable/ https://forms.gle/tLLyss6TiVw9fKhj7 https://pytorch.org/ https://www.tensorflow.org/guide/keras?hl=ko - Image Processing: * 합성신경망 (CNN) : 이미지 분류 * whitebalance : 백색 물체 기반 컬러밸런스 조정 * openCV : 이미지 전처리 https://opencv.org/ |
| Team Ground Rule |
Click to visit |
| 최종수정일 | 2024-06-01 |
| 항목 | 내용 |
|---|---|
| 팀명 | 우주타이거 |
| 프로젝트명 | |
| 서비스명 | 미정 |
| 키워드 | NLP, LM, AI |
| 만들고자 하는 것 | chatGPT를 통해 다양한 대화 스타일의 인공지능 상담 NPC(동물 캐릭터)가 사용자의 고민에 답변을 해주고, 지속적인 상담을 유도하기 위한 게이미피케이션 요소를 추가한 상담 앱 서비스 |
| 타겟고객 | 스트레스, 불안, 우울 등의 감정을 겪고 있지만 마음을 털어놓을 수 있는 안전한 장소가 부족한 사람들, 고민이 있어도 이를 표현하고 해결책을 찾을 수 있는 곳이 없어 고립된 느낌을 받는 사람들. 페르소나 : - 대학교 4학년에 재학 중인 김화연 씨는 학업과 취업 준비를 병행하느라 상당한 스트레스를 받고 있다. 우울과 불안이 점점 깊어지지만 이런 깊은 이야기까지 다 들어줄 수 있는, 털어놓을 만한 사람이 없다. 상담을 받아볼까 했지만 학교에서 제공하는 무료 상담은 예약이 이미 다 차 있고, 사설 상담은 시간당 5만 원이 넘는 금액이라 엄두가 나지 않는다. 자신이 부담할 수 있는 저렴한 가격에 자기의 고민을 털어놓고 도움받고 싶다. - 직장에 다니는 27세 이화연은 최근 우울감을 느끼고 있고, 업무와 일상생활에 지장이 갈 정도로 지속되고 있다. 주변 사람에게 고민을 털어놓을 곳이 없어 답답함을 느낀다. 전문적인 상담 치료를 받아볼 생각이 있지만, 여러모로 부담되어 망설인다. 주로 젊은 청년층에서 인기 있는 캐주얼한 힐링 게임을 즐긴다. |
| Pain Point | 일상적인 고민을 편안하게 털어놓을 수 있는 안전하고 이해심 깊은 환경의 부재. 전문적인 상담 치료를 받아보고 싶어도 높은 가격과 시간 부담, 심리적인 장벽으로 받지 못하는 사람이 많음. 꾸준히 정기적으로 방문하는 것에 어려움을 겪음. 만족하는 상담사를 찾는 것에 시행착오를 겪음. |
| 기술적 해결방안 |
- 언어 모델(ChatGPT)을 활용하여 사용자가 입력하는 채팅을 이해하고 상담 지식에 기반한 적절한 응답을 제공하도록 함. - 친근하고 편리한 상담 환경을 조성하기 위해 STT, TTS API를 활용하여 음성 인식을 통한 텍스트 대화 지원 기능을 제공하도록 함. - 게임 엔진은 Unity를 활용하도록 함.(게임 컨텐츠는 일일퀘스트, 미니게임, 포츈쿠키 등으로 구상 중) |
| Big Data AI 전략 |
- 사용자들의 대화 데이터를 수집하고 분석하여 사용자의 요구와 감정에 대한 인사이트를 얻을 수 있을 것이다. - 사용자들이 자주 호소하는 문제에 대한 data를 얻으면 그 문제에 대한 data set을 중심으로 더 학습시킬 수 있고, 사용자에게 제일 효과적이었던 조언과 해결책에 대한 data를 기반으로 다시 학습시킨 AI가 더 나은 서비스를 제공할 수 있을 것이다. - 사용자가 선호하는 말투와 스타일에 따라 더 다양한 버전의 AI를 제공하여 사용자가 원하는 상담 AI 선택의 폭이 넓어질 것이다. |
| 기대성과 | - 이 서비스를 통해 사용자들에게 안정적이고 효과적인 상담 서비스를 제공하여 스트레스 감소와 삶의 질 향상에 기여할 것으로 기대한다. - 사람들은 실제 사람이 아닌 상대에겐 더 쉽게 털어놓는 경향이 있기 때문에 사용자들이 자신의 감정을 더 자유롭게 표현하고 해결책을 찾을 수 있는 공간을 제공하여 사회적 연결성을 증진하고, 개인적인 성장과 변화를 이끌어낼 것으로 기대한다. |
| 오픈소스 리스트 명칭과 URL |
- 답변 생성 OpenAI ChatGPT API: https://platform.openai.com/ - Speech To Text / Text To Speech CLOVA Speech API : https://www.ncloud.com/product/aiService/clovaSpeech CLOVA Voice API : https://www.ncloud.com/product/aiService/clovaVoice - SQLite : https://www.sqlite.org/ |
| AI 알고리듬, 모듈 등 리스트 |
GPT-4o Unity Asset Store SQLite |
| Team Ground Rule |
Click to visit |
| 최종수정일 | 2024-6-18 |
| 항목 | 내용 |
|---|---|
| 팀명 | 우엉 |
| 프로젝트명 | |
| 서비스명 | 포토AI디어 (포토 아이디어) |
| 키워드 | Object Detection, CNN, Computer Vision |
| 만들고자 하는 것 | 실시간으로 사용자에게 맞춤형 사진 촬영 구도, 사진 촬영 각도 등의 가이드를 제공하는 서비스 |
| 타겟고객 | - 친구 사진을 잘 찍어주지 못해 고민인 A양 - 100장 넘게 사진을 찍어도 마음에 드는 사진 한 장 건지기 힘든 B군 - 친구가 찍어주는 사진 구도가 마음에 들지 않는 C양 |
| Pain Point | - 남이 찍어준 사진이 마음에 들지 않거나 남의 사진을 찍어줄 때 아쉬움을 느낌. - 사진이 원하는 각도나 구도로 찍히지 않고 발끝이 잘리거나 배경이 과하게 나오는 경우가 있음. - 사진 피드백을 줄 전문가가 없어서 꿀팁과 가이드를 일일이 검색해야 함. - 기본 카메라 앱은 맞춤형 가이드를 제공하지 않음. - 마음에 안 드는 사진은 보정이 필요해 별도의 시간과 노력이 듦 |
| 기술적 해결방안 |
1. YOLOv5s - 객체 탐지 기술을 통한 이미지 내 구도 파악 (사진 속 인물과 배경의 비중, 카메라의 구도를 파악하기 위해 Bounding box의 좌표값을 활용), 구도를 6가지 클래스로 분류함 2. ResNet18 (CNN) - 이미지 처리 모델 학습시켜 이미지 분류 검증(class별 정확도를 분석하여 결과를 바탕으로 적절한 사진 촬영 가이드 제공) |
| Big Data AI 전략 |
1. 모델 성능 향상: YOLOv5s의 빠른 처리 속도와 학습된 이미지 처리 모델 CNN을 활용하여 사용자에게 필요한 이미지 분석 및 촬영 가이드 제공함 2. 사용자 경험 최적화: "포토아이디어"는 사용자가 5가지 유형의 사진 구도 중 원하는 옵션을 선택할 수 있는 기능을 제공하여, 개인의 취향에 맞는 촬영 가이드를 제공함. 3. 사용자의 pain point 해결: 사용자가 더 만족스러운 사진을 얻을 수 있도록 도와주며, 그들의 촬영 실력을 향상시키는 데 기여할 수 있음 |
| 기대성과 | 사용자가 선호하는 구도와 각도로 사진을 찍을 수 있게 되어 만족도가 향상될 수 있음. 수집된 데이터를 바탕으로 서비스의 기능을 지속적으로 업데이트하고 최적화하여 사용자에게 더 나은 경험을 제공함 |
| 오픈소스 리스트 명칭과 URL |
[Front-end] - 웹앱으로 진행 React Native : https://reactnative.dev/ [Back-end] MySQL : https://www.mysql.com/ Spring Boot : https://spring.io/projects/spring-boot [AI] YOLOv5s : https://github.com/ultralytics/yolov5 ResNet18 (CNN) : https://pytorch.org/vision/main/models/resnet.html Mask R-CNN : https://github.com/matterport/Mask_RCNN PyTorch : https://pytorch.org TensorBoard : https://www.tensorflow.org/tensorboard?hl=ko |
| AI 알고리듬, 모듈 등 리스트 |
YOLOv5s - 빠른 속도와 높은 정확성을 제공하여 실시간 시스템에서 널리 사용되는 YOLO의 v5s 모델 적용 ResNet18 (CNN) - simple한 layer 구조 사용 Mask R-CNN - 객체 탐지 및 segmentation 동시 수행 TorchServe, Torchvision (PyTorch) TensorBoard |
| Team Ground Rule |
Click to visit |
| 최종수정일 | 2024-06-21 |
| 항목 | 내용 |
|---|---|
| 팀명 | 무너지지않는문어 |
| 프로젝트명 | |
| 서비스명 | 길거리 판매왕 Sales King |
| 키워드 | 음성 인식, 게임, AI, 챗봇, S2ST |
| 만들고자 하는 것 | 실시간 상호작용이 가능한 AI NPC를 플레이어가 본인의 음성으로 직접 설득하여 정해진 상품을 판매하는 것이 목표인 롤플레잉 시뮬레이션 게임입니다. |
| 타겟고객 | 페르소나 1. 20대 초반 여성 게이머 000는 평소 친구와 대화하는 걸 좋아하고, 특히 자신의 의견을 표출하는 것을 좋아한다. 시뮬레이션 게임을 좋아하고 재밌어 보이는 게임이 생기면 돈을 아끼지 않고 구매한다. 게임을 플레이할 때도 NPC와의 대화 스크립트에 집중하는 편이다. 대화 선택지 중 원하는 선택지가 없고, 몇 번 대화하면 반복되는 대사에 항상 아쉬움을 느끼고 있다. 2. 30대 초반 남성 게임 스트리머 000은 게임 방송을 진행하며 시청자들과 소통하는 시간을 가진다. 하지만 최근 들어 좀 더 다양하고 신박한 콘텐츠를 제공하고자 하는 욕구가 생겼고, 자신만의 재미있는 플레이를 보여줄 수 있는 자유도 높은 게임이 없을지 궁금해졌다. 타깃고객 유형 많은 유저들은 자신의 선택에 맞추어 기민하고 적절하게 변화하는 게임 환경을 원하고 있고, 게임 기술의 발전에 따라 그런 욕망은 이전보다 훨씬 실현가능해질 것으로 보인다. 대시뮬레이션과 롤 플레잉 게임을 즐겨하는 플레이어 개별화된 경험을 중시하는 플레이어자신만의 개성있는 컨텐츠가 필요한 스트리머들, 그리고 스트리머의 플레이 영상을 소비하는 팬층 |
| Pain Point | AI가 탑재되지 않은 게임 속 NPC와 대화할 때 플레이어가 선택할 수 있는 답변은 한정되어 있으며, 게임 내에서 제공하는 선택지 대사 이외에는 NPC에게 말을 건넬 수 없다. 또한 플레이어가 해당 NPC의 라이브러리에 있는 대사를 모두 확인한 경우, 그 이후의 게임 플레이에서는 플레이어 입장에서 이 NPC가 이전에 했던 말을 반복한다고 느껴질 수밖에 없다. 이는 게임 플레이에서 몰입도를 해치는 강력한 요소 중 하나이다. |
| 기술적 해결방안 |
Naver Clova의 STT와 OpenAI api의 LLM 기술을 활용하여 유저의 음성을 인식하고 텍스트로 변환해AI와 대화를 한다. 음성인식 기술 : 플레이어가 발화하면, 해당 음성을 인식한 후 Text로 변환한다. LLM 대규모언어처리 모델 : 인식된 Text를 이해하고 이에 NPC가 응답을 작성한다. FineTuning : 인식된 플레이어의 Text를 평가하고, 자신의 상황(부의 상태, 물건에 대한 필요도, 성격)를 고려해 적절한 행동 결론을 낸다. 이때 자신의 상황 역시 AI가 개발자가 만들어낸 템플릿 형식에 맞춰서 창조해낸다. |
| Big Data AI 전략 |
행동 분석: 사용자가 NPC를 설득하는 방법을 분석함으로써, 특정 상황에서의 인간의 의사소통 방식과 설득 기법에 대한 깊은 이해를 얻을 수 있습니다. 이는 마케팅, 교육, 심리학 등 다양한 분야에서 응용될 수 있는 귀중한 정보입니다. 언어 모델 개선: 다양한 배경을 가진 사용자들이 제공하는 다양한 목소리 데이터와 전문 지식은 AI의 언어 이해 능력을 향상시킬 수 있습니다. 특히, 다양한 어투, 말 습관, 전공 용어 등을 포함한 데이터는 AI가 더 넓은 범위의 상황과 전문 분야에서 높은 정확도로 작동할 수 있도록 도와줍니다. |
| 기대성과 | 플레이어의 창의적이고 다양한 답변을 통해 수만 수천 가지의 재미있는 플레이가 가능하고, 이를 관전하는 과정마저 하나의 콘텐츠가 될 수도 있다. 플레이어는 창의적이고 전략적인 플레이로 획일적인 플레이가 아닌, 자신만의 방법으로 상대를 설득했다는 성취감을 얻을 수 있을 것이다. 또한 게임 업계에 생성형 AI를 활용하는 새로운 방향성 제시할 수 있을 것이다. |
| 오픈소스 리스트 명칭과 URL |
답변생성용: gpt 3.5-turbo https://platform.openai.com/docs/models/gpt-3-5-turbo STT Naver Clova: https://console.ncloud.com/naver-service/application Unity OpenAI: https://github.com/OkGoDoIt/OpenAI-API-dotnet 게임 클라이언트: c++ AI 모델, 백엔드용: python, flask |
| AI 알고리듬, 모듈 등 리스트 |
OpenAI API- STT(Whisper) - LLM(GPT 3.5 turbo) - TTS(unreal 5.1 tts function) |
| Team Ground Rule |
Click to visit |
| 최종수정일 | 2024-06-18 |
| 항목 | 내용 |
|---|---|
| 팀명 | 반려코더스 |
| 프로젝트명 | |
| 서비스명 | 패션시커 (Fashion Seeker) |
| 키워드 | 퍼스널 쇼퍼, 체형맞춤, 코디, 스타일 맞춤 |
| 만들고자 하는 것 | 코디를 추천 받고 싶은 시커가 저장한 옷장에서 평소 활용하지 못한 옷들중 입고자 하는 아이템을 골라서 견적서를 제출한다. 시커와 체형과 스타일이 비슷하면서 코디하는 일에 관심이 있는 세터를 매칭시켜준다. AI 모델이 특정 아이템에 대한 모델샷,리뷰 중 가장 보편적인 착장을 분석하여 세터에게 코디 후보를 제공하고, 세터는 그 중 제일 잘 어울린다고 생각되는 옷을 셀렉하여 시커에게 코디를 어드바이스 해주는 iOS 어플 |
| 타겟고객 | 자신이 원하는 스타일이 어떤 스타일인지 파악하지 못하는 시커와 ai 도구를 통하여 동시간에 보다 많은 사람들에게 코디를 해주고 싶은 세터 |
| Pain Point | 급속하게 변하는 패션 트렌드를 쫓아가기 어려워한다. 옷을 사도 매칭하기 어려워한다. 한 번에 많은 사람들에게 코디를 해주고 싶지만,각자의 옷장을 정확하게 파악하기엔 시간적, 물리적 한계를 느낀다. 어떤 옷을 같이 매칭하면 좋을지 감은 오지만 어울리는 코디를 바로 찾아서 제시하는 것이 어렵다. |
| 기술적 해결방안 |
1. 데이터 수집 및 관리: 특정 쇼핑몰로부터 제품 정보, 이미지, 리뷰 등을 수집하기 위해서 웹 크롤링 기술 또는 제공되는 API를 사용한다. python의 BeautifulSoup 또는 Scrapy와 같은 라이브러리가 유용하다. 수집한 데이터를 효과적으로 저장하고 검색하기 위해 관계형 데이터베이스 시스템을 사용한다. 예를 들어, PostgreSQL이나 MySQL 같은 데이터 베이스를 사용할 것이다. 2. 이미지 및 텍스트 분석: 의류 이미지에서 스타일, 색상, 패턴을 인식하기 위해 컴퓨터 비전 기술을 활용할 수 있다. TensorFlow나 PyTorch를 기반으로 하는 CNN (Convolutional Neural Networks) 모델을 개발한다. 3. 추천 시스템 구현: 사용자의 선호도와 기존 사용자의 데이터를 분석하여 맞춤형 추천을 제공한다. Python의 scikit-learn 라이브러리를 사용하여 이러한 모델을 구현할 수 있다. 혹은 복잡한 사용자 및 제품 특성을 학습하기 위해 딥러닝 기반의 추천 시스템을 개발할 수 있다. 이때는 Keras나 TensorFlow의 Sequential API를 사용하여 모델을 설계해야한다. |
| Big Data AI 전략 |
1. 개인화된 패션 추천 시스템 강화: ‘나만의 옷장’에 저장된 의류 데이터, 사용자의 체형 정보, 스타일 선호도, 구매 및 리뷰 데이터를 활용하여 AI 모델을 학습시켜, 사용자 맞춤형 의류 추천을 제공한다. 이를 통하여 사용자 개개인의 선호와 체형에 맞춰 더 정교하고 만족도 높은 의류 조합을 추천함으로써, 사용자 경험을 향상시키고 재방문율을 증가시킨다. 2. 멘토-멘티 매칭 알고리즘 최적화: 멘토와 멘티의 스타일 선호, 체형 데이터 및 컴플렉스 정보를 통합 분석한다. 이 데이터를 기반으로, 두 사용자 간의 유사성을 분석하고 최적의 매칭을 제공하기 위한 알고리즘을 개발한다. 이를 통해, 멘토와 멘티 간의 상호 만족도를 높이고 보다 효과적인 스타일 공유를 지속할 수 있도록 한다. 3. 패션 트렌드 분석 및 신상품 추천: 구매 데이터, 사용자 리뷰를 분석하여 현재 패션 트렌드를 파악할 수 있다. 이를 통해 신상품이나 트렌드에 맞는 의류를 추천하고, 시장 요구에 빠르게 대응할 수 있는 데이터 기반 의사 결정을 지원한다. 이를 통해서 시장의 최신 동향을 파악하고, 그에 맞는 상품 추천을 통해 사용자의 만족도를 높이고, 어플의 경쟁력을 강화할 수 있다. 4. 데이터 기반의 지속 가능한 패션 소비 촉진: 사용자가 생성한 ‘나만의 옷장’을 활용하여 코디를 추천 받아 하나의 옷을 다양하게 코디할 수 있다. 이를 통하여, 의류 폐기물 문제를 해소하는 데 도움을 줄 수 있다. |
| 기대성과 | 시커들은 앱을 활용하여 자신의 스타일을 찾아나갈 수 있다. 그렇게 찾아낸 스타일 및 체형이 유사한 세터들에게 자신의 옷을 최대한 활용할 수 있는 코디를 배울 수 있다. 세터 역할을 하는 사용자들은, 자신의 체형 커버 팁이나 스타일을 시간 대비 많은 사람들에게 전달할 수 있어 그 과정에서 금전적 이득을 취할 수 있다. |
| 오픈소스 리스트 명칭과 URL |
TensorFlow https://github.com/tensorflow/tensorflow (딥러닝 모델 구축 및 훈련 시 사용. 이미지 분석, 분류, 스타일 매칭의 작업을 수행하기 위해서 필요하다.) PyTorch https://github.com/pytorch/pytorch(딥러닝 모델 구축 및 훈련 시 사용. 이미지 분석, 분류, 스타일 매칭의 작업을 수행하기 위해서 필요하다.) DeepFashion2 https://github.com/switchablenorms/DeepFashion2(의류 이미지 인식과 분류에 특화된 오픈소스 데이터셋이자 연구 프로젝트. 이를 통해 의류의 다양한 속성과 스타일을 인식할 수 있는 모델을 개발할 수 있음) Scrapy https://github.com/scrapy/scrapy(웹 크롤링 및 데이터 추출) |
| AI 알고리듬, 모듈 등 리스트 |
Convolutional Neural Networks (CNNs): 이미지 인식과 분류에 주로 사용되는 딥러닝 모델. 의류 이미지를 분석하여 유사한 스타일이나 특징을 매칭할 수 있음(라이브러리:TensorFlow, PyTorch) Recommender Systems: 사용자의 이전 선택이나 행동을 분석하여 개인화된 추천을 제공하는 시스템. 협업 필터링, 콘텐츠 기반 필터링 기법이 일반적(라이브러리: scikit-learn, Surprise) Natural Language Processing (NLP) :사용자 리뷰 및 피드백에서 유용한 정보 추출 및 분석(라이브러리: NLTK, spaCy, Transformers) |
| Team Ground Rule |
Click to visit |
| 최종수정일 | 2024-04-21 |
| 항목 | 내용 |
|---|---|
| 팀명 | 이화도인지 |
| 프로젝트명 | |
| 서비스명 | DoInJi-Diffusion |
| 키워드 | 생성형 AI 최적화, Stable Diffusion, DDPM, DDIM, Quantization |
| 만들고자 하는 것 | (연구 트랙임을 고려하여 읽어주시면 감사하겠습니다.) Quantization을 이용하여 Stable diffusion model의 inference 속도를 향상시키고자 합니다. |
| 타겟고객 | (연구 트랙임을 고려하여 읽어주시면 감사하겠습니다.) 고객: 중소 규모의 광고 및 마케팅 에이전시, 디지털 콘텐츠 제작 회사, 교재 출판사 등 특징: - 고객사의 요구사항을 만족하는 독특하고 맞춤화된 이미지를 필요로 한다. - 신속하게 고품질의 이미지를 생성해야 한다. - 제한된 예산 내에 최대한의 효과를 내야 한다. |
| Pain Point | (연구 트랙임을 고려하여 읽어주시면 감사하겠습니다.) 현재의 stable diffusion 모델은 각 time step에서 이미지를 생성하기 때문에 생성 시간이 상당히 길다는 고질적인 단점이 있습니다. 이러한 한계로 인해 생성형 AI를 이용하는 사용자들은 고품질의 맞춤형 이미지를 얻기 위해 높은 비용과 시간을 투자해야 합니다. 또한, 모델은 많은 계산 리소스를 필요로 하기 때문에 GPU 사용이 필수적입니다. 그러나 이는 에너지 소모와 환경 부담을 증가시킬 수 있습니다. 따라서 저희 연구의 주된 목표는 stable diffusion 모델을 최적화하여 생성 속도와 효율성을 향상시키는 것입니다. 이를 통해 GPU 의존성을 줄이고, 더 적은 리소스를 사용하여 모델을 더 빠르고 효율적으로 실행할 수 있는 방법을 모색하는 것이 저희 연구의 목표입니다. |
| 기술적 해결방안 |
(연구 트랙임을 고려하여 읽어주시면 감사하겠습니다.) - 기존 초고화질 이미지 생성 모델 Stable Diffusion을 최적화한 모델 구현 - DDPM - DDIM - Quantization - Prunning - Knowledge distillation |
| Big Data AI 전략 |
(연구 트랙임을 고려하여 읽어주시면 감사하겠습니다.) 다양한 학문에 대한 방대한 양의 이미지 데이터를 축적하여 앞으로 학습할 데이터 양은 지속적으로 상승할 전망입니다. 이러한 빅데이터를 빠른 속도로 학습하여 이미지를 생성하려면 더 많은 GPU가 필요로 할 것입니다. 따라서 해당 데이터들을 활용하여 AI 모델의 성능을 지속적으로 개선하고, 사용자가 선호하는 이미지 스타일과 트렌드를 식별할 수 있고, 보다 개인화되고 창의적인 이미지 생성 서비스를 제공할 수 있도록 모델을 구축할 예정입니다. |
| 기대성과 | (연구 트랙임을 고려하여 읽어주시면 감사하겠습니다.) 현재 다양한 분야의 창의적인 아이디어를 실제 이미지로 생성하기 위해서는 많은 비용과 시간을 소모해야합니다. 앞으로 생성형 AI 모델을 최적화한다면 고객들은 비용과 시간을 크게 절약하면서 품질과 다양성을 크게 향상된 이미지를 얻을 수 있습니다. 이를 통해 광고 및 마케팅, 디지털 콘텐츠, 출판 산업 등 예술 분야 뿐만 아니라 다양한 산업 분야의 발전에 크게 기여할 것입니다. |
| 오픈소스 리스트 명칭과 URL |
GAN (https://github.com/eriklindernoren/Keras-GAN/tree/master/gan) DCGAN (https://github.com/carpedm20/DCGAN-tensorflow) Stable Diffusion (https://github.com/AUTOMATIC1111/stable-diffusion-webui) CLIP (https://openai.com/research/clip) Denoising (https://github.com/lucidrains/denoising-diffusion-pytorch) DDPM(https://github.com/hojonathanho/diffusion) DDIM(https://github.com/ermongroup/ddim) PTQ(https://github.com/ziplab/PTQD) |
| AI 알고리듬, 모듈 등 리스트 |
CLIP(Contrastive Language-Image Pre-training) Quantization(양자화) Pruning(모델 가지치기) Knowledge Distillation(지식증류) DDPM DDIM |
| Team Ground Rule |
Click to visit |
| 최종수정일 | 2024-6-27 |