MUVERA와 Mercury 리서치

멀티 벡터 검색을 빠르게 구현하는 MUVERA라는 개념과 디퓨전을 LLM에 적용한 Mercury 모델이 신기해 보여서 관련된 정보들을 모아보았다. 나중에 기회가 되면 논문과 코드를 자세히 살펴봐야겠다.

 

 

멀티벡터 검색:

상품 하나를 ‘외형 벡터’, ‘텍스트 설명 벡터’, ‘사용자 리뷰 벡터’ 등으로 나누어 표현하면, 사용자의 쿼리 의도에 따라 특정 벡터를 선택하거나 조합하여 훨씬 더 정교하고 관련성 높은 검색이 가능하게 하는 개념이라고 한다.

 

ColBERT가 멀티 벡터 모델 중 하나라고 한다. 

 

ColBERT 논문: 링크

ColBERT Github: 링크

 

 

MUVERA:

멀티 벡터 검색을 단일 벡터 검색과 유사하게 빠르게 동작하도록 만드는 알고리즘.

멀티 벡터들을 고정 길이 벡터(FDE, Fixed Dimensional Encoding)로 압축해, 단일 벡터 기반 MIPS(내적 최대 검색)로 초고속 검색 후 재정렬

 

 

Mercury:

Transformer 모델이 기반하여 Diffusion을 적용한 LLM

 

Playground: 링크

 

 

 

 

 

 

References:

https://medium.com/@mdpman/muvera-%EB%8B%A4%EC%A4%91-%EB%B2%A1%ED%84%B0-%EA%B2%80%EC%83%89-multi-vector-retrieval-%EC%9D%84-%EB%8B%A8%EC%9D%BC-%EB%B2%A1%ED%84%B0-%EA%B2%80%EC%83%89%EB%A7%8C%ED%81%BC-%EB%B9%A0%EB%A5%B4%EA%B2%8C-%EB%A7%8C%EB%93%A4%EA%B8%B0-e97a25c5e01c

https://news.hada.io/topic?id=21739

https://news.hada.io/topic?id=21875

https://research.google/blog/muvera-making-multi-vector-retrieval-as-fast-as-single-vector-search/

MUVERA 논문 링크

Mercury 논문 링크