1. Introduction 기존의 NR-IQA는 이미지 전체의 품질을 판단하기 때문에 사람의 얼굴만의 품질을 판단하기에는 적합하지 않다. 또한, 기존의 FIQA는 대부분 Full Refence 기반으로 만들어지기 때문에 Refence가 없는 경우 model을 train하는 것이 불가능하다. 따라서 이번 프로젝트에서는 NR-IQA를 이용하여 NR-FIQA model을 만들어 보고자 한다. 사용한 모델은 NR-IQA model 2가지(MANIQA, MUSIQ), FIQA model 2가지(SDD-FIQA, MagFace)이며 사용한 dataset은 KonIQ-10k, Tid2013, 한국인 안면 데이터(ai hub), FFHQ이다. 먼저 NR-IQA와 FIQA model의 code를 분석하여 각 model..

NR-IQA 모델인 HyperIQA - implementaion 성공 -> 성능 문제로 제외 TresIQA - implementation 성공 -> 성능 문제로 제외 MANIQA - implementation 성공 MUSIQ - implementation 성공 SDD-FIQA - implementation 성공 MANIQA와 MUSIQ를 SDD-FIQA에 접목할 예정 사용하는 데이터셋 - AI HUB에 있는 한국인 안면 데이터셋(3000만 장) - MS-1M 데이터셋 (1000만 장) 용량 문제로 어떻게 할지 고민 중

Image Quality Assessment는 잘 모르는 분야이기 때문에 논문을 읽고 모델을 찾아야 한다. 논문 읽는 것이 쉽지 않지만 그래도 최대한 이해하려고 노력하며 읽어봤다. 논문 이해도 60% + 뇌피셜 40% 1. Introduction 목표 사람이 보는 것과 유사하게 image quality를 판단하는 모델을 만들자. 기존의 모델은 Synthetically distorted image(인위적으로 왜곡된 이미지)에 대한 평가는 잘한다. 실제로는 No-Reference Image Quality Assessment(NR-IQA)가 중요하다. 우리가 접하는 대부분의 이미지는 Authentically distorted image(자연적으로 왜곡된 이미지)이기 때문이다. NR-IQA가 어려운 이유 부분적..

Image Quality Assessment에 대해 처음 공부하기 때문에 둘 사이의 차이점이 뭔지 너무 헷갈렸다. 간단히 말하면 No-Reference Image Quality Assessment(NR)는 원본 이미지가 없는 데이터를 이용하는 것이고, Full-Reference Image Quality Assessment(FR)는 원본 이미지가 있는 데이터를 이용하는 것이다. 처음에 헷갈렸던 이유는 원본 이미지와 mean opinion score(MOS)가 어디에 쓰이는지 잘 몰랐기 때문이다. Full-Reference Image Quality Assessment의 경우 학습할 때 원본 이미지와 왜곡된 이미지를 함께 넣어 학습한다. 그러면 모델은 원본 이미지와 왜곡된 이미지의 차이를 학습하고 왜곡된 정도..

2달 동안 No-Reference Image Quality Assessment 모델을 활용한 Face mage Quality Assessment 프로젝트가 시작된다. 그동안 강사님들께서 다 짜놓은 코드로 단순히 돌려보고 결과를 확인하는 정도의 작업만 했는데, 이번 프로젝트에서는 처음보는 모델들을 공부하여 직접 돌려보고 수정하는 작업까지 진행된다. pytorch는 거의 다뤄보지 못해 조금 어렵다. data labelling의 소중함을 느끼는 중이다. 1. 목표 AI 아바타를 만들기 위한 고화질 이미지 선별 2. 내용 No-Reference Image Quality Assessment 모델을 사용하여 이미지의 quality를 측정 이미지의 전체적인 quality보다 이미지 안에 있는 사람의 얼굴 qualit..