BGE-M3 vs mE5-Large — 한국어 RAG 검색 품질을 직접 비교해보니

이전 RAG 구축기에서는 임베딩 모델 선정이 전체 파이프라인의 한 단계였습니다. 그런데 실제로는 이 부분만 따로 봐야 합니다. RAG 장애의 원인은 대부분 생성 모델보다 앞단 검색에 있습니다. 필요한 문서를 못 찾았는데도 LLM은 답을 만들어냅니다. 사용자는 그것을 검색 실패가 아니라 AI의 자신 있는 오답으로 받아들입니다.

특히 한국어는 질문 표현이 많이 흔들립니다. 문서에는 “주차 가능”이라고 되어 있는데 사용자는 “차 댈 수 있어요?”, “주차할 수 있나요?”, “근처에 세울 데 있나요?”처럼 묻습니다. 임베딩 모델이 이 구어체를 같은 의미로 묶지 못하면 검색은 쉽게 무너집니다.

테스트는 일부러 작게 잡았습니다. 실제 서비스 도입 전에는 거대한 벤치마크보다 우리 문서에서 자주 나올 질문 10~50개를 먼저 통과하는지가 더 중요합니다. 이번에는 샘플 카페 문서 4개를 9개 청크로 나누고, 한국어 자연어 질문 10개를 던졌습니다.

평가 기준은 단순합니다. 예를 들어 “주차할 수 있나요?”라는 질문에는 주차 가능 여부, 가능한 대수, 대체 주차 안내 같은 핵심 키워드가 들어와야 합니다. Top-3 안에 이 키워드가 없으면 LLM은 답을 만들 근거를 잃습니다.

둘 다 1,024차원이라 저장 비용은 같습니다. 차이는 검색 품질과 임베딩 속도에서 났습니다. mE5-Large는 9개 청크 임베딩에서 0.05초로 빨랐고, BGE-M3는 0.18초였습니다. 하지만 평균 Recall은 BGE-M3가 100.0%, mE5-Large가 86.7%였습니다.

평균 86.7%라는 숫자만 보면 mE5-Large도 충분해 보입니다. 하지만 RAG에서는 평균보다 실패한 질문의 성격을 봐야 합니다. 이번 테스트에서 가장 큰 차이는 “주차할 수 있나요?”였습니다. BGE-M3는 관련 청크를 가져왔지만, mE5-Large는 기대 키워드를 Top-3에 넣지 못했습니다.

이 지점이 모델 선택에서 중요합니다. 임베딩 모델은 “대부분 맞는 모델”보다서비스에서 위험한 질문을 놓치지 않는 모델이 더 좋습니다. 가격, 영업시간, 환불, 예약, 배송, 주차, 법적 고지처럼 틀리면 곤란한 질문을 따로 모아 테스트해야 합니다.

mE5-Large는 빠릅니다. 이번 테스트에서 9개 청크 임베딩 시간이 0.05초였고, BGE-M3는 0.18초였습니다. 숫자만 보면 3배 이상 차이가 납니다. 하지만 실제 운영에서는 이 차이를 그대로 사용자 응답 지연으로 보면 안 됩니다.

문서 임베딩은 보통 사전에 해둡니다. 사용자가 질문할 때는 질문 하나만 임베딩하고, 벡터DB에서 Top-K를 검색한 다음 LLM에 넘깁니다. 서비스 병목은 대개 LLM 생성 시간, 네트워크, 권한 체크, 후처리 쪽에서 생깁니다. 그래서 임베딩 모델 선택에서는 0.1초 차이보다 검색 누락 비용을 먼저 봐야 합니다.

우리 기준에서는 BGE-M3 쪽이 기본 선택에 가까웠습니다. 벡터 차원은 같고, 검색 품질은 더 안정적이었고, 속도 차이는 이번 규모에서는 의사결정을 뒤집을 정도가 아니었습니다. 다만 서비스마다 문서와 질문이 다르기 때문에, 최종 선택은 반드시 자기 데이터로 확인해야 합니다.

임베딩 모델 평가 체크리스트

모델을 고를 때는 공개 벤치마크보다 먼저 작은 내부 평가셋을 만드세요. 처음부터 거창할 필요는 없습니다. 10개만 잘 골라도 모델 차이가 보입니다.

결론

이번 테스트에서 BGE-M3는 한국어 구어체 질문 10개 모두에서 기대 키워드를 Top-3 안에 회수했습니다. mE5-Large는 더 빨랐지만, 주차 질문과 와이파이 질문에서 누락이 있었습니다. RAG를 고객 대응이나 업무 자동화에 붙인다면 이 차이는 작지 않습니다.

그래서 현재 기준은 단순합니다. 한국어 RAG를 처음 구축한다면 BGE-M3를 기본 후보로 두고, 서비스 문서 20~50개 질문으로 자체 Recall 테스트를 먼저 돌립니다. 그 결과가 충분하면 다음 단계로 벡터DB, reranker, 하이브리드 검색을 붙입니다. 모델 이름보다 중요한 것은 내 서비스 질문에서 실제 근거를 놓치지 않는지입니다.

전체 RAG 파이프라인 구축 과정은 로컬 RAG 파이프라인 구축기에서 이어서 볼 수 있습니다.