我是標(biāo)題

樣品展示

PRODUCT

我是標(biāo)題

聯(lián)系我們

CONTACT

電話：86-021-51001615-0

郵箱：info@fulllightcn.com

地址：上海市虹口區(qū)松花江路2539號(hào)復(fù)旦科技園1號(hào)樓5樓

新聞資訊

NEWS

我是分類列表

【技術(shù)文章】基于三特征三步融合的圖像質(zhì)量評(píng)價(jià)

發(fā)布時(shí)間：2024-06-07

瀏覽次數(shù)：374

原文：《Image Quality Assessment Based on Three Features Fusion in

Three Fusion Steps》^[1]

作者：Chenyang Shi，Yandan Lin

簡(jiǎn)介：本研究基于三特征三步融合，提出一種新的客觀圖像質(zhì)量評(píng)價(jià)（IQA）方法：特征融合相似性指數(shù)法（FFS）。使用大規(guī)模的單失真數(shù)據(jù)庫(kù)作為基準(zhǔn)，將所提出的FFS方法與其他最先進(jìn)的IQA方法進(jìn)行了比較，結(jié)果表明FFS在預(yù)測(cè)準(zhǔn)確性方面與主觀評(píng)分具有更高的一致性，對(duì)于四個(gè)數(shù)據(jù)庫(kù)，F(xiàn)FS的Pearson線性相關(guān)系數(shù)可以達(dá)到至少0.9116的準(zhǔn)確度和至多0.9774的準(zhǔn)確度。此外，F(xiàn)FS的平均運(yùn)行時(shí)間為0.0657 s，代表了較高的計(jì)算效率。

關(guān)鍵詞：image quality assessment;luminance channels fusion;

Similarity maps fusion; features fusion

編譯：復(fù)旦大學(xué)林燕丹教授課題組趙偉

指導(dǎo)：林燕丹

應(yīng)用場(chǎng)景

為了評(píng)估圖像質(zhì)量，本研究提出了一種性能較好的FR-IQA方法：FFS，比其他方法具有更好的預(yù)測(cè)精度和更高的計(jì)算效率，在圖像采集、傳輸、壓縮和增強(qiáng)等許多領(lǐng)域具有較高的應(yīng)用潛力。

研究目標(biāo)

為了在各種圖像處理的應(yīng)用中取代主觀的觀察者圖像質(zhì)量評(píng)價(jià)，在過(guò)去的幾十年里，人們?cè)O(shè)計(jì)了大量客觀的IQA方法^[2]。本研究旨在提出一種不需要學(xué)習(xí)的可靠FR-IQA方法，包括相似性計(jì)算，利用LMN色彩空間中的MDSI融合策略，將視覺(jué)顯著性、梯度和色度特征三個(gè)特征信息處理連接起來(lái)，融合策略包括亮度通道融合、相似圖融合和特征融合。該評(píng)估方法具有通用性，對(duì)常見(jiàn)的失真執(zhí)行一致。

研究方法

1、亮度通道融合

為了處理顏色失真，在IQA方法中需要專門計(jì)算色度特征。將參考圖像和失真圖像的亮度通道融合為FL圖，進(jìn)行特征增強(qiáng)提取。融合策略基于權(quán)重系數(shù)，其計(jì)算方法為:

其中RL和DL分別是參考圖像和失真圖像的亮度通道。α為融合權(quán)值，F(xiàn)L為融合圖。

圖1(a)為參考圖像R，圖1(b1-e1)為4張JPEG壓縮圖像，圖像失真程度逐漸增加，圖1(b2-e2)為第一行圖像之間的FL映射。可以清楚地看到，失真程度越高，F(xiàn)L圖的質(zhì)量越低，背景區(qū)域中一些較弱的邊緣被平滑。圖1(b3-e3)表示第二行圖像的SR映射歸一化圖像，圖1(b4-e4)為第二行圖像的梯度圖。可以看出，SR圖之間沒(méi)有明顯的差異，而梯度圖隨著圖像失真程度的增加，呈現(xiàn)出更多的結(jié)構(gòu)特征丟失。SR圖反映了圖像的視覺(jué)注意力，梯度圖可以很好地代表邊緣特征，亮度通道融合后，紋理區(qū)域較強(qiáng)的邊緣不會(huì)發(fā)生明顯變化，平坦區(qū)域的一些信息可以被改變，說(shuō)明了FL融合的有效性。

圖1. TID2008中提取的典型圖像

2、相似圖融合

? SR分量融合

為了提取視覺(jué)顯著性特征，選擇SR對(duì)輸入圖像進(jìn)行處理，其具有較高的計(jì)算效率。SR的融合相似圖通過(guò)以下公式計(jì)算:

其中參數(shù)KSR1、KSR2和KSR3為控制數(shù)值穩(wěn)定性的常數(shù)。這三個(gè)參數(shù)在計(jì)算中設(shè)為K_SR1=2K_SR2=2K_SR3。SR_R、SR_D和SR_F分別是參考圖、失真圖和FL圖的SR圖。

圖2(c-f)分別是R與D、R與FL圖(RF)、D與FL圖(DF)、DF-RF之間的SR相似圖。圖2(g)是SR視覺(jué)顯著性特征的融合相似度圖。經(jīng)過(guò)DF-RF計(jì)算，位于平坦區(qū)域的主差被放大?？梢钥闯?，融合后的SR相似圖比其他未融合的相似圖包含更多的信息，特別是在平坦區(qū)域。

圖2.相似圖融合和特征融合后從TID2008中提取的典型圖像

? 梯度分量融合

使用Prewitt算子處理參考圖像、失真圖像和FL圖(分別為GR、GD和GF)之間LMN色彩空間中L通道的梯度特征。然后，通過(guò)以下基于SSIM的方程和簡(jiǎn)單的融合策略對(duì)梯度融合相似圖(SG)進(jìn)行處理:

其中參數(shù)KG1、KG2和KG3為控制數(shù)值穩(wěn)定性的常數(shù)，KG2和KG3定義為相同的值。

圖2(h-k)分別為R與D、R與FL圖(RF)、D與FL圖(DF)、DF-RF之間的梯度相似圖。圖2(l)是梯度的融合相似圖。經(jīng)過(guò)DF-RF計(jì)算，位于弱邊緣區(qū)域的主差被放大?？梢杂^察到，融合的梯度相似圖比其他未融合的梯度相似圖包含更多的信息，特別是在弱邊緣區(qū)域。

? 色度分量融合

關(guān)于LMN顏色空間中色度分量的融合相似圖，定義為：

其中參數(shù)KC是一個(gè)常數(shù)來(lái)控制數(shù)值穩(wěn)定性。圖2(m)為參考圖像與失真圖像的色度融合相似圖。

3、特征融合

將上述SR、梯度和色度相似度融合圖按以下求和計(jì)算進(jìn)行特征融合:

特征融合圖的三個(gè)組成部分在計(jì)算過(guò)程中具有不同的權(quán)重設(shè)置，這些值是由視覺(jué)機(jī)制決定的，權(quán)重值的總和應(yīng)該設(shè)置為1。因?yàn)镠VS通常對(duì)消色差特征比色差特征[3]更敏感，消色差特征的權(quán)重值可以是彩色特征的兩倍，由于在亮度通道中提取的SR和梯度特征都是消色差特征，因此這兩個(gè)特征的權(quán)重值應(yīng)該設(shè)置相同。圖2(n)為特征融合圖，三個(gè)相似性融合圖組合后可以很好地表示R和D之間的差異。

4、池化策略

完成上述三個(gè)融合步驟之后，定義IQA的一種新方法：特征融合相似性指數(shù)法，使用以下公式進(jìn)行描述:

其中n為特征融合S圖的總像素?cái)?shù)，Si為特征融合S圖的像素值。FFS的計(jì)算框架如圖3所示。圖2(o)是S圖的平方根，它比S圖有更多的可區(qū)分信息。

圖3.FFS的計(jì)算框架

主要結(jié)論

1、總體性能對(duì)比

為測(cè)試所提出的方法在不同數(shù)據(jù)庫(kù)中的能力，F(xiàn)FS與SSIM、FSIMc (改進(jìn)的FSIM方法)、VSI、IFS、LLM、MDSI、GDRW、EFS以及2019年發(fā)表的SSVD、VCGS、SPSIM (YCbCr_MDSI)、GSC等8種典型方法進(jìn)行了比較。表1-4中用黑體字突出顯示了所有標(biāo)準(zhǔn)中最高的三個(gè)值。此外，這些數(shù)據(jù)庫(kù)的SROCC、PLCC和KROCC等結(jié)果的加權(quán)平均值(W. A.)和直接平均值(D. A.)值也被納入評(píng)估整體性能。

表1.不同IQA方法的SROCC值比較

表2.不同IQA方法的PLCC值比較

表3.不同IQA方法的KROCC值比較

表4.不同IQA方法的RMSE值比較

如表1-4所示，可以得出結(jié)論，F(xiàn)FS方法對(duì)所有選定的數(shù)據(jù)庫(kù)具有一致的性能。FFS在TID2008和LIVE數(shù)據(jù)庫(kù)中始終保持在前三名的位置。對(duì)TID2013和CSIQ數(shù)據(jù)庫(kù)，F(xiàn)FS的性能與前三名的結(jié)果差距很小。從表1可以看出，F(xiàn)FS的準(zhǔn)確率SROCC在所有數(shù)據(jù)庫(kù)中至少可以達(dá)到0.8926，最大可以達(dá)到0.9768。從表2可以看出，在4個(gè)數(shù)據(jù)庫(kù)中，本文方法的精度PLCC值最小可達(dá)0.9116，最大可達(dá)0.9774。此外，F(xiàn)FS還得到了PLCC和KROCC的加權(quán)平均值以及SROCC、PLCC和KROCC的直接平均值的最佳排序。

此外，F(xiàn)FS的性能優(yōu)于未進(jìn)行顏色空間變換的SSIM和SSVD方法。在進(jìn)行顏色空間變換的方法中，如FSIMc、VSI、GDRW、EFS和VCGS，與這些方法相比，F(xiàn)FS的融合梯度圖的方法對(duì)所有數(shù)據(jù)庫(kù)都具有顯著的優(yōu)勢(shì)。

2、不同失真類型的性能比較

為了檢驗(yàn)IQA方法預(yù)測(cè)圖像質(zhì)量的能力，需要對(duì)不同失真類型進(jìn)行性能比較。表5總結(jié)了不同失真類型的比較結(jié)果，可以看出，本文提出的方法獲得了最佳SROCC性能排名（17次），其次是GSC(15次)、EFS(14次)、VCGS(11次)、GDRW(10次)和MDSI(9次)。根據(jù)失真類型的不同，本文提出的FFS方法的性能優(yōu)于其他方法。

表5.每種失真類型的IQA方法的SROCC值比較

3、計(jì)算時(shí)間

計(jì)算時(shí)間是評(píng)估所有IQA方法的另一個(gè)標(biāo)準(zhǔn)，它代表了評(píng)價(jià)效率。表6列出了TID2013數(shù)據(jù)庫(kù)中每種IQA方法的平均計(jì)算時(shí)間，可以看出FFS的計(jì)算時(shí)間低于大多數(shù)IQA方法，MDSI和SSIM的計(jì)算時(shí)間雖然比FFS方法短，但FFS法具有更高的預(yù)測(cè)精度。FFS可以應(yīng)用于具有更高計(jì)算效率的實(shí)時(shí)自動(dòng)化系統(tǒng)。

表6.每種IQA方法的計(jì)算時(shí)間