RAG-FUSION: A NEW TAKE ON RETRIEVAL-AUGMENTED GENERATION

필승! 강화도에서 해병대 장교로 국방의 의무를 다하고, 현재는 대학원에서 인공지능을 공부하고 있는 규씨입니다.

단순히 읽고 이해하는 것만으로는 기억에 오래 남지 않는다는 것을 깨닫고, 공부한 내용을 정리하고 공유하면서 더 오래 기억하기 위해 블로그를 시작하게 되었습니다.

읽으시면서 틀리거나 제가 잘못 이해한 부분 지적해 주시면 정말 감사하겠습니다.  함께 배우고 성장하는 공간이 되기를 바랍니다. 감사합니다!

---

RAG-FUSION: A NEW TAKE ON RETRIEVAL-AUGMENTED GENERATION

 

 

□  Abstract
Infineon은 엔지니어, 계정 관리자 및 고객이 제품 정보를 신속하게 얻기 위한 RAG-Fusion 모델 제시

RAG-Fusion은 RAG와 RRF(Reciprocal Rank Fusion)를 결합하여 여러 쿼리를 생성하고 상호 점수로 재순위(리랭킹)

 

 

□  RAG-Fusion

1. 원래 쿼리를 LLM(대형 언어 모델)에 보내 원래 쿼리에 기반한 여러 새로운 검색 쿼리 생성

2. 생성된 쿼리를 사용하여 관련 문서를 벡터 검색을 통해 찾음검색된 문서들을 상호 점수(rrf scores)를 사용하여 재순위(상호 점수는 문서의 현재 순위와 일정한 스무딩 팩터(k)를 사용하여 계산)

3. 재순위된 결과와 생성된 쿼리 및 원래 쿼리를 LLM에 보내 최종 출력 생성

rrf score

RAG-Fusion

 

 

□  Results
RAG-Fusion 챗봇의 성능을 평가한 결과 전통적인 RAG 모델보다 더 나은 성능을 보임

하지만 RAG-Fusion 모델은 복잡한 LLM 호출 및 문서 처리로 인해 전통적인 RAG 모델보다 응답 시간이 더 오래 걸림

 

□  Conclusion
Infineon의 RAG-Fusion 챗봇은 쿼리 생성 및 RRF를 사용한 리랭킹으로 전통적인 RAG 모델보다 더 정확하고 포괄적인 답변을 제공할 수 있음을 발견

그러나 응답 시간의 지연, 원래 쿼리에서 벗어난 답변, 적절한 프롬프트 엔지니어링의 필요성 등의 문제점이 있음

---

Reference:

Rackauckas, Z. (2024). RAG-Fusion: A new take on retrieval-augmented generation. arXiv. https://doi.org/10.48550/arXiv.2402.03367