조용한 개발 노트

5편에서 RAG가 필연이라는 이야기를 했다. 하지만 많은 팀이 같은 말을 덧붙인다.“RAG를 붙였는데도 여전히 답이 이상하다”이때 가장 흔한 오해는 이거다.“검색 품질이 안 좋다”물론 검색도 중요하다. 하지만 실제로는 검색보다 더 자주 문제를 만드는 지점이 있다.검색 결과를 어떻게 컨텍스트로 구성했는가다.1. RAG의 실패는 대부분 ‘전달 실패’다RAG 파이프라인을 단순화하면 이렇게 보인다.질문을 벡터로 변환한다관련 문서를 검색한다검색 결과를 컨텍스트로 넣는다LLM이 답을 생성한다문제는 이 중 3번이다.검색 결과를 “넣는다”는 표현이 마치 아무 문서나 던져주면 되는 것처럼 느끼게 만든다.하지만 LLM 입장에서 컨텍스트는 동등한 토큰들의 나열일 뿐이다.2. LLM은 “중요한 문서”를 알지 못한다사람은 검색..

프롬프트를 인터페이스로 보기 시작하면, LLM이 절대 책임질 수 없는 영역이 명확해진다.그중 가장 치명적인 게 사실성이다.이 지점에서 대부분의 시스템은 같은 결론에 도달한다.“모델에게 기억을 맡기면 안 된다”1. LLM은 왜 사실을 틀릴 수밖에 없는가LLM이 사실을 틀리는 이유는 단순하다.사실 여부를 판단하는 단계가 없다모델의 목표는 “맞는 답”이 아니라 “그럴듯한 다음 토큰”이다여기서 중요한 건, 이 문제가 데이터를 더 학습시키면 해결될 성질이 아니라는 점이다.학습 데이터가 아무리 많아져도, 모델은 여전히 “검증”이 아니라 “생성”을 한다.2. 그래서 LLM에 지식을 넣으려는 시도는 항상 실패한다처음 LLM을 붙이면 이런 시도를 한다.프롬프트에 배경 설명을 길게 넣는다도메인 규칙을 텍스트로 주입한다“아..