Advanced RAG

[Mujae]

🚀 Feature Request

현재 구현된 RAG는 사용자의 query로 retrieve를 하고, 후속처리가 없는 Naive한 RAG입니다.
이에 inference 시간을 최대한 고려하면서 query 수정, post-retrieval 같은 과정들을 추가해보는 실험을 하고자 합니다.

📎 Additional context

• Query Rewriting
• Rerank
• Summary
• finetuning 데이터에도 적용

[elwhyjay]

현재 re-ranking은 적용(de3a0ae)이되어있고 summary등을 적용해볼 순 있을것같습니다. Langchain에서 이를 지원해주는 기능이있으니 찾아 볼 수 있는데 이를 이용하지않고 직접 LLM을 사용해도되겠지만 전체 파이프라인의 속도를 고려하는게 좋아보입니다.

[Mujae]

좋은 의견 감사합니다~
query rewrite와 summary 위주로 해보겠습니다.

혹시 re-ranking을 하게 되면 속도가 어느 정도 느려지나요?

[elwhyjay]

후보군에서만 re-ranking을하기때문에 아주 큰 속도저하는 없습니다.