No-Reference Image Quality Assessment와 Full-Reference Image Quality Assessment 차이

Image Quality Assessment에 대해 처음 공부하기 때문에 둘 사이의 차이점이 뭔지 너무 헷갈렸다.

 

간단히 말하면 No-Reference Image Quality Assessment(NR)는 원본 이미지가 없는 데이터를 이용하는 것이고,

Full-Reference Image Quality Assessment(FR)는 원본 이미지가 있는 데이터를 이용하는 것이다.

 

처음에 헷갈렸던 이유는 원본 이미지와 mean opinion score(MOS)가 어디에 쓰이는지 잘 몰랐기 때문이다.

 

Full-Reference Image Quality Assessment의 경우 학습할 때 원본 이미지와 왜곡된 이미지를 함께 넣어 학습한다.

그러면 모델은 원본 이미지와 왜곡된 이미지의 차이를 학습하고 왜곡된 정도에 따른 quality를 계산한다.

 

그러면 No-Reference Image Quality Assessment는 학습할 때 원본 이미지를 넣지 않고 학습하는 것이라고 생각했다.

(이 생각이 틀린 것은 아니다.)

근데 잘 생각해보면 모델은 학습할 때 train data와 정답이 있어야 학습이 가능하다.

FR과 달리 NR은 정답인 원본 데이터가 없다. 

그렇다면 정답으로 쓸 수 있는 데이터가 있어야 한다.

여기서 나오는 개념이 mean opinion score(MOS)이다.

간단히 말하면 mean opinion score(MOS)는 사람이 측정한 quality 점수이다.

이 mean opinion score(MOS)를 NR 모델은 정답 데이터로 삼고 학습한다. 

 

우리가 접하는 대부분의 이미지는 인위적으로 왜곡된 것보다 자연적으로 왜곡된 이미지이다.

빛 반사, 손 떨림, 초점이 맞지 않는 등 일상 생활에서 많이 접하는 이미지가 대부분 자연적으로 왜곡된 이미지이기 때문이다.

FR 모델이 인위적으로 왜곡된 이미지를 잘 찾는 반면, NR 모델은 자연적으로 왜곡된 이미지를 찾는데 특화되어 있다.

이러한 이유 때문에 FR 모델보다 NR 모델을 사용하려고 하는 것이다.