[Measure] Peak Signal-to-noise ratio, PSNR and SSIM

image processing에서 성능평가 기준으로 사용되는 방법 중 하나로,

먼저 Signar-to-noise ratio에 대해 알아보자.

 

 

Signal-to-noise Ratio

내가 원하는 신호와 background noise간의 level을 비교하는 데 사용되는 측정법이다. 보통 1보다 크면 noise보다 signal이 클 수 있다는 것을 알 수 있다.

신호를 처리하거나 전달하는 시스템(audio, radar, data acquisition, imaging systems...)의 성능과 품질에 중요한 영향을 미치는 parameter로, SNR이 높다는 것은 signal이 clear하고 감지하고 분석하기 쉽다는 것을 의미한다. SNR이 낮을수록 signal이 방해받고 있거나 noise로 인해 모호한 경우라서 복원하거나 구별하기 어렵다.

 

SNR은 다양한 방법으로 개선될 수 있다.

- target 신호의 세기를 올리기

- noise level을 낮추기

- 원치않는 noise를 filtering해서 제거

- error correction 기법

 

SNR는 또한 주어진channel에서 안정되게 전달될 수 있는 최대 data양을 결정한다. 

 

 

 

Peak Signal-to-noise Ratio

SNR에 속하는 sub방법으로, 신호들은 매우 넓은 영역을 갖고있기때문에 PSNR은 주로 logarithmic 정량으로서 decibel scale로 표현된다.

image나 비디오의 reconstruction quality 품질평가에 사용된다.

 

Mean Squared Error(MSE) 을 이용해서 정의된다.

wikipedia

- MAX i : 이미지에서 가능한 pixel value의 최대값. 이미지가 sample마다 8비트로 표현되면, 가능한 최대값은 255이다.

일반적으로 샘플들이 linear PCM으로 표현되면, Max값은 [ 2의 B제곱 -1 ] (샘플 하나에 B bit인 경우)이다.

 

 

* quality estimation with PSNR
PSNR을 사용하는 경우, 이미지 압축과 같이 reconstruction 했을 때 이 압축으로 발생하는 error가 noise로 계산되어 품질을 평가하게 된다. 

 

정리) 재구성하거나 압축한 이후 이미지와 원본 이미지 간의 픽셀값 차이가 얼마나 많이 나는가? MSE 값이 작을수록 그 차이가 적고, 따라서 PSNR값이 클수록 좋다.

 

몇가지 단점이 있긴 하지만, 지금까지 사용된 measure metric 중에서는 가장 많이 사용되고 있다.

최근을 보면 SSIM의 사용도 PSNR과 비슷하게 증가하는 것을 볼 수 있다.

 

 

⛔ 한계점

• 수치적으로 pixel값의 차이가 크더라도 사람이 바라보는 관점에서 PSNR값이 작은 예측이미지가 원본 이미지에 더 유사할 수 있다. 만약 원본이미지의 질감이나 대조도가 변해서 PSNR값이 매우 작아지더라도, 사람의 눈으로 볼때는 원본이미지와 유사하기때문이다.

PSNR는 아니지만 공식에서 MSE가 사용되므로, 비슷한 한계점이 있을 수 있을 것 같다.

 

 

 

 

 

Structural Similarity, SSIM

PSNR의 픽셀 값의 차이처럼 수치적인 에러가 아닌, 절대적인 에러와 시각적인 화질 차이를 평가한다.

총 3가지 측면에서 품질을 평가하는데, Luminance , Contrast, Structural이다.

wikipedia

luminance

contrast

structural

이미지 압축, 이미지 저장, 패턴 인식과 같은 다양한 문제에 사용된다.

SSIM은 이미지를 보는 인간의 인식의 측면과 유사하게 분석하는 방법이기때문에 PSNR보다 더 다양한 관점으로 품질을 평가할 수 있다는 장점이 있다.

 

 

⛔ 한계점

• dice coefficinet는 base 값에 의존하기 때문에, luminisence(밝기,휘도) 항은 매우 낮거나 높은 평균 강도 영역에서 불안정하거나 민감할 수 있다.

휘도나 색감에서 민감하지 못하다

 

• variance 항은 분산이 낮은 영역에서 불안정할 수 있다.
• variance 및 structural 항은 경계 근처에서 왜곡을 과소평가한다.
  • 경계가 있는 구조물은 슬라이딩 윈도우의 너비에 대해 c(x, y)와 s(x, y) 항을 매우 크게 만들고, 이로 인해 SSIM 지수가 과대평가된다. 이는 하나의 강한 신호가 다른 신호를 가리는 시각적 마스킹의 원리와 일치할 수 있지만, 이 경우에는 효과가 지나치게 심각해 보인다고 논문에서 말한다.
• 이미지 통계가 imbalance할 때는 균일한 pooling을 피해야 한다.
• 자연 이미지와 일반적인 영상 응용에 기반한 가정은 의료 분야에는 부적절할 수 있다.
  • 예를 들어, 진단에 필수적인 희미한 신호가 고대비 구조 (예: 연조직 근처의 폐 결절)에 가까운 경우, 다른 문맥에서는 시각적으로 마스킹되어버려서 중요하지 않다고 간주될 수 있다. 이 문제는 SSIM 알고리즘을 약간 수정하여 가우시안 가중 평균 window 대신 엣지 보존 필터링 기술을 사용하여 필요한 통계를 계산하는 방식으로 완화될 수 있다.

이러한 특성들은 진단 이미징과 같은 의료 분야에서 흔히 발생하므로, 의료 분야에서 SSIM을 사용할 때에는 주의를 기울여야 한다. 게다가 현재의 형태로는 SSIM이 rate-distortion allocation algorithms of image coders에서 MSE를 대체하기에 적합하지 않다.

 

 

• 관련해서 논문을 참고해보면 좋을 듯 하다.
  • Limitations of the SSIM quality metric in the diagnosis imaging (IEEE ICIP 2015)  https://ieeexplore.ieee.org/document/7351345

Limitations of the SSIM quality metric in the context of diagnostic imaging

 

 

 

 

PNSR과 SSIM의 한계점

 

밝기와 hue에 의해서 값이 변한다.

 

회전, 공간 이동, 크기조정에 매우 민감하다.

 

• 블로그 참고 
  • https://videoprocessing.ai/metrics/ways-of-cheating-on-popular-objective-metrics.html