Matrix Factorization Based Recommender Systems

 

Basic Matrix Factorization

 

추천 시스템에서의 Matrix factorization 행렬 분해는 다음과 같다.

 

User-Item matrix $R \in \mathbb{|U| \times |V|}$을 user matrix인 $U \in \mathbb{|U| \times d}$와 Item matrix $V \in \mathbb{|V| \times d}$의 곱으로 분해한다. $R = UV_\top$

 

Item Matrix는 아래 Figure 1에서는 Home Matrix이고, $d$는 user와 item embedding의 차원이다.

 

 

 

Figure 1

 

 

유저를 $u$, 아이템은 $i$, 유저 $u$가 아이템 $i$에 매긴 점수 $r_{i, j}$에 대한 예측을 $\hat{r}_{i, j}$라고 표기한다.

 

유저와 아이템의 임베딩을 각각 $e_u$와 $e_i$로 표기하면, $\hat{r}_{i, j} = e_u \cdot e_i$로 나타낼 수 있다.

 

이외에도 SVD++에서 제시했듯이 globla average $\mu$, user bias $b_u$, item bias $b_i$라는 정보들을 추가해서 $r_{i, j}$을 예측할 수도 있다. 그 식은 아래와 같다. 

 

$\hat{r}_{i, j} = \mu + b_u + b_i + e_u \cdot e_i$

 

 

 

Explicit and Implicit Data

Explicit data:

5점 만점의 영화 점수와 같이 유저의 선호도가 직접적으로 드러나는 데이터를 뜻한다. 

유저의 선호가 직접적으로 드러나지만 데이터의 수집이 어렵다. 

 

Implicit data:

Purchase, wishlist, click, 등과 같이 유저의 선호도를 간접적으로 나타내는 데이터를 뜻한다.

유저의 선호가 직접적이지 않고 negative feedback을 모으기 어렵다. 데이터의 수집 자체를 explicit 보다 쉽다. 

 

 

MF 관련 논문들

Explicit

Netflix Prize 논문: 링크

SVD++ 논문: 링크

PMF 논문: 링크

BiasTF 논문: 링크

FFM 논문: 링크

 

Implicit

SVD++ 논문: 링크

WRMF와 ALS 논문: 링크

BPR 논문: 링크

FFM 논문: 링크

 

 

Deep Learning Based MF Models

단순한 matrix factorization을 넘어서 DNN 구조를 활용하는 방법들이 소개된다.

 

Neural Collaborative Filtering (NCF)에서는 아래 Figure 2에서처럼

 

MLP를 활용하여 유저와 아이템의 상호작용을 포착하여 score를 예측한다.

 

 

뿐만 아니라 MLP에 더해서 기존의 일반적인 MF를 함께 하용하는 NeuMF 방식을 아래 Figure 3에서 소개한다. 

 

여기서는 유저와 아이템 각각의 임베딩을 사용하고 피쳐를 사용하지는 않는다. 

 

Deep FM 논문에서는 user features와 item features를 field라고 부르며, 이를 활용하는 확장성을 보여준다.

 

가령 user features인 age, gender나, item features인 category, color 등을 활용한다. 

 

NCF와 마찬가지로 FM와 DNN을 모두 활용한다. 

 

 

 

Equation (2)에 나와있듯이 여러개의 features의 관계를 FM을 통해서 모두 학습한다.

 

 

Figure 3에서는 개별 피쳐들의 관계를 DNN으로 학습한다. 

 

 

 

그 다음 FM와 DNN에 의해 학습된 내역들을 모아서 최종 output을 생성한다. 

 

 

 

DNN based MF 관련 논문들

NCF or NeuMF: 링크

DeepFM: 링크

 

 

 

 

 

 

 

 

References:

https://medium.com/@rebirth4vali/implementing-matrix-factorization-technique-for-recommender-systems-from-scratch-7828c9166d3c

https://velog.io/@mingqook/Probabilistic-Matrix-Factorization

https://towardsdatascience.com/recsys-series-part-4-the-7-variants-of-matrix-factorization-for-collaborative-filtering-368754e4fab5/

http://manishbarnwal.com/blog/2018/09/27/types_data_recommender_system/

https://hongl.tistory.com/246

https://huidea.tistory.com/279