HRNet (2019) 논문 리뷰

HRNet의 논문 이름은 Deep High-Resolution Representation Learning for Visual Recognition다. (링크)

 

저자는 Jingdong Wang, Ke Sun, Tianheng Cheng, Borui Jiang, Chaorui Deng, Yang Zhao, Dong Liu, Yadong Mu, Mingkui Tan, Xinggang Wang, Wenyu Liu, Bin Xiao다. 

 

Github: 링크

 

논문 제목에서 알 수 있듯이 High-resolution 고해상도를 잘 활용하고자 하는 모델이다. 

 

HRNet V1, V2, V2p가 있지만 HRNet v2라는 별도의 논문이 있는게 아니라 본 논문에서 모두 다 제시했다.

 

HRNet 깃허브에 가보면 human pose estimation, semantic segmentation과 object detection에 대해서 별도로 레포지토리들이 있다.

 

 

 

Abstract

High-resolution representations 고해상도 표현은 위치에 민감한 비전 문제에서 필수적이다. 이 문제들은 human pose estimation, semantic segmentation과 object detection에 해당한다. 기존에는 저해상도로 입력 이미지를 정제한 다음 고해상도로 다시 복원한다. 하지만 본 논문에서 제시하는 High-Resolution Network (HRNet)은 고해상도를 계속해서 유지한다. 다음의 특징을 지닌다. (i) 고해상도에서 저해상도로의 스트림을 병렬적으로 연결한다. (ii) 반복적으로 서로 다른 해상도 간의 정보를 교환한다. 

 

 

3. High-Resolution Networks

 

 

Figure 1에서는 기존의 고해상도를 저해상도로 줄인 다음에 다시 여러가지 방법으로 고해상도를 복원하는 과정을 보여준다.

 

 

 

Figure 2에서는 Figure 1과 대비되는 HRNet에 방법을 보여준다. 

 

Equation 1

 

Equation 1과 Figure 2에서 확인할 수 있듯이 고해상도 를 계속해서 깊은 레이어로 보내면서,

 

동시에 중간 중간 생기는 보다 낮은 해상도의 피쳐도 함께 깊은 레이어로 보낸다.

 

그리고 중간 중간 레이어들끼리 정보를 교환한다.

 

 

Figure 3에서는 저해상도와 고해상도 사이의 정보 교환이 이루어지는 과정을 보여준다.

 

저해상도 → 고해상도에서는 upsampling 1 x 1 conv 이후의 bilinear upsampling을 사용한다. 

 

고해상도 → 저해상도에서는 stride-2인 3 x 3 conv를 적용한다.

 

Represenation Heads의 종류

 

 

(a) HRNetV1: 고해상도에 고해상도만을 이용한다.

 

(b) HRNetV2: 고해상도에 보다 낮은 해상도의 정보들을 모두 사용한다. 

 

(c)HRNetV2p: HRNetV2 구조에 피라미드 네트워크 구조를 활용한다.

 

Human pose estimation에는 HRNetV1을, Semantic Segmentation에는 HRNetV2를, Object Detction에는 HRNetV2p를 적용했다.

 

 

 

 

4. Human Pose Estimation

COCO 데이터를 활용한다.

 

 

HRNetV1이 SOTA 결과보다 더 나은 성능을 보여준다. 

 

 

5. Semantic Segmentation

Cityscapes, PASCAL-Context, LIP 데이터를 사용했다.

 

 

 

Figure7, Table 3, 4, 5, 6을 보면 HRNetV2가 SOTA 결과를 달성했음을 알 수 있다.

 

6. COCO Object Detection

 

 

 

 

 

 

객체 탐지에 있어서 HRNetV2p가 SOTA 결과를 달성했음을 확인할 수 있다.