Retrieval-Augmented Generation 은 무엇인가?

https://discuss.pytorch.kr/t/rag-2-2/3160

대규모 언어 모델을 위한 검색-증강 생성(RAG) 기술 현황 - 2/2편

 

 

1. 검색기 (Retriever) 3가지 주제
   1. 정확한 의미론적 표현 추출 (청크 최적화, 임베딩 모델 미세조정)
   2. 사용자 질의와 검색 대상이 되는 문서들의 의미론적 공간일치 (질의 재작성, 임베딩 변환)
   3. 검색기 출력과 대규모 언어 모델의 선호도 일치시키기
2. 생성기 (Generator) 2가지 주제
   1. 검색 결과의 후처리를 통한 개선 방법 (정보 압축, 순위 다시 매기기)
   2. 입력 데이터에 적응하도록 생성기를 최적화
3. 증강방법 (Augmentation Methods) 3가지 측면
   1. 증강단계 (사전학습, 파인튜닝, 추론)
   2. 데이터 소스의 증강 (비정형 데이터를 사용한 증강, 정형 데이터를 사용한 증강, LLM이 생성한 콘텐츠를 사용한 증강)
   3. 증강 절차 (반복적 검색과 적응형 검색)
4. RAG 평가

1. 독립 평가
   1. 검색 모듈 (적중률, MRR, NDCG, 정확도)
   2. 생성 모듈 (사용자 질의와 검색된 문서들을 통합하여 형성된 강화 또는 합성 입력을 평가)
2. 엔드 투 엔드 평가
   1. 사용자 질의와 모델이 최종적으로 생성한 답변 사이의 관련성 및 정렬 요소
   2. 레이블이 없는 콘텐츠에 대한 평가시에는 답변 충실성, 답변 관련성, 무해성등을 지표로 사용
   3. 레이블이 없는 콘텐츠에 대한 평가시에는 정확도 및 Exact Match 등을 사용
3. 주요 평가 지표 및 기능
   1. 답변의 충실성 : RAG 시스템이 생성한 답변이 문맥과 일치하고 문맥에서 벗어나거나 모순되지 않는지를 확인하는 지표
   2. 답변 관련성: 생성된 답변이 제시된 질문과 직접적으로 관련이 있는지를 확인
   3. 문맥 관련성: 문맥 정보의 정확성과 목표 검색에 중점을 둡니다.
   4. 노이즈 견고성: 노이즈가 많은 문서들을 효율적으로 처리하는 능력, 노이즈가 있는 문서는 사용자의 질의와 관련은 있지만 유용한 정보를 포함하고 있지는 않은 문서
   5. 부정적 거부: 검색결과로 얻은 문서들로 사용자의 질문에 답하기 어려울때 응답을 거부할 수 있는 능력, 사용자 질의에 부정확하거나 오해의 소지가 있는 답변을 제공하는 대신, 정보가 부족함을 알릴 수 있는 기능
   6. 정보 통합: 여러개의 서로 다른 문서들의 정보를 통합하여 보다 복잡한 질문에 답할 수 있는 능력
   7. 사실성 견고성: 잘못된 정보를 식별하고 처리하는 모델의 능력, 검색된 정보의 잠재적 위험에 대한 지침을 처리하고, 부정확한 정보를 식별 및 수정하여 답변의 신뢰성을 향상시키는 능력
4. 평가 프레임워크 
   1. RAGAS (RAG 파이프라인 평가 프레임워크) (https://github.com/explodinggradients/ragas?utm_source=pytorchkr)
   2. TruLens (https://www.trulens.org/)
   3. ARES (https://github.com/stanford-futuredata/ARES?utm_source=pytorchkr)
5. RAG 기술 생태계
   1. LangChain (https://github.com/langchain-ai/langchain?utm_source=pytorchkr)
   2. LLamaIndex (https://github.com/run-llama/llama_index?utm_source=pytorchkr)

GitHub - langchain-ai/langchain: 🦜🔗 Build context-aware reasoning applications

 

GitHub - run-llama/llama_index: LlamaIndex is the leading framework for building LLM-powered agents over your data.