黄色污污污网站免费观看,日韩又粗又硬又大又爽免费视频,成人黄色在线观看一区,亚洲动漫永久精品免费,欧美精品brazzers高清,亚洲黄色手机在线播放,男人的大鸡巴狠狠抽女人逼视频,亚洲高清成人av在线,国产三级韩国三级日产三级

深度神經(jīng)網(wǎng)絡(luò)(DeepNeuralNetworks,DNNs)由于跨域不匹配(cross-domain mismatch)，通常在新域表現(xiàn)不佳。而無監(jiān)督域自適應(yīng)(UDA)技術(shù)則可通過利用未標(biāo)記的目標(biāo)域樣本緩解跨域不匹配問題。近日，特斯聯(lián)科技集團首席科學(xué)家、特斯聯(lián)國際總裁邵嶺博士及合作者們提出了基于類別對比的新穎方法Category Contrast(CaCo)，并公布了所取得的最新研究成果。該方法在視覺UDA任務(wù)的實例判別之上引入了語義先驗。該研究成果(標(biāo)題為:Category Contrast for Unsupervised Domain Adaptation in Visual Tasks)已被今年的AI頂會CVPR(國際計算機視覺與模式識別會議)收錄。

通過將實例對比學(xué)習(xí)視為字典查詢操作，團隊利用源域和目標(biāo)域的樣本構(gòu)建了一個類別感知(category-aware)和域混合(domain-mixed)的字典，其中每個目標(biāo)樣本會根據(jù)源域樣本的類別先驗被分配一個(偽)類別標(biāo)簽，并為UDA提供了相應(yīng)的類別對比損失(category contrastive loss)。由此鼓勵學(xué)習(xí)完全契合UDA目標(biāo)的，具有類別判別力但域不變的(category-discriminative yet domain-invariant)表征：同類別樣本(無論是來自于源域或者目標(biāo)域)的距離被拉得更近的同時不同類別樣本的距離會被推遠。在多種視覺任務(wù)(例如分割、分類和檢測)中進行的大量實驗表明CaCo實現(xiàn)了與當(dāng)前最先進的算法相比更卓越的性能。此外，實驗也顯示CaCo可以作為現(xiàn)有UDA方法的補充，并可推廣到其它的學(xué)習(xí)方法中，如無監(jiān)督模型適應(yīng)、開放/半開放集域自適應(yīng)等。

無監(jiān)督域自適應(yīng)緩解跨域不匹配

無監(jiān)督域自適應(yīng)(UDA)的目的在于通過利用未標(biāo)記的目標(biāo)域樣本減少輕跨域不匹配問題的影響。為了實現(xiàn)這一目的，科研工作者們針對目標(biāo)域樣本設(shè)計了不同的無監(jiān)督訓(xùn)練目標(biāo)函數(shù)，以在目標(biāo)域中訓(xùn)練出一個性能良好的模型?，F(xiàn)有的無監(jiān)督損失可以大致分為三類1)對抗性損失函數(shù)(adversarial loss)：迫使模型學(xué)習(xí)類似源域的目標(biāo)表征；2)圖像轉(zhuǎn)換損失函數(shù)(image translation loss)，將源圖像轉(zhuǎn)換為具有類似目標(biāo)的樣式和外觀；3)自訓(xùn)練損失(self-training loss)，用置信度較高的偽標(biāo)記樣本迭代地重新訓(xùn)練網(wǎng)絡(luò)。

無監(jiān)督表征學(xué)習(xí)解決了一個相關(guān)問題，即無監(jiān)督網(wǎng)絡(luò)預(yù)訓(xùn)練，旨在從未標(biāo)記的數(shù)據(jù)中學(xué)習(xí)有判別力的嵌入。近年來，實例對比學(xué)習(xí)在無監(jiān)督表征學(xué)習(xí)方面取得了重大進展。盡管動機不同，實例對比方法可以被看作是一種字典查詢式任務(wù)，通過將編碼查詢(encoded query)q與由多個編碼鍵(encoded keys)k構(gòu)成的字典匹配來訓(xùn)練視覺編碼器：編碼查詢應(yīng)與編碼的正鍵(encoded positive keys)相似，而與編碼的負鍵(encoded negative keys)相異。由于沒有可用于未標(biāo)記數(shù)據(jù)的標(biāo)簽，正鍵通常是查詢樣本的隨機增強版本，而所有其他樣本都被視為負鍵。

在這樣的背景下，邵嶺博士及團隊探究了UDA中實例對比的概念。在把對比學(xué)習(xí)看作字典查詢?nèi)蝿?wù)的基礎(chǔ)上，團隊假設(shè)UDA字典應(yīng)該是類別感知的(category-aware)，并且應(yīng)該與來自源域和目標(biāo)域的鍵進行域混合(domain-mixed)。直觀來說，一個包含類別平衡鍵(category-balanced keys)的可感知類別的字典可以促進學(xué)習(xí)類別判別力(category-discriminative)但類別無偏的(category-unbiased)表征，而來自源域和目標(biāo)域的鍵將允許學(xué)習(xí)兩個域內(nèi)和跨域的不變表征，這兩點都與UDA的目標(biāo)相符。

以類別對比方法構(gòu)建具有類別感知和域混合的字典

團隊提出，用類別對比方法(CaCo)來構(gòu)建具有類別感知和域混合的字典，并為UDA提供相應(yīng)的對比損失函數(shù)。如圖1所示，該字典包含在類別和域中均勻采樣的鍵，其中每個目標(biāo)鍵都有一個預(yù)測的偽類別。以說明性字典K={

(相關(guān)資料圖)

}1≤c≤C,1≤m≤M為例。每個類別c都含有M個鍵而每個域含有(C×M)/2個鍵。

圖1

圖 1中，團隊提出的類別對比方法通過類別對比損失函數(shù)

將查詢q(來自未標(biāo)記的目標(biāo)樣本

)與由鍵組成的字典相匹配，來訓(xùn)練一個無監(jiān)督域自適應(yīng)編碼器。字典鍵來自源域

(圖中紅字，帶標(biāo)簽)和目標(biāo)域

(圖中藍字，帶偽標(biāo)簽)的域混合，這樣可以學(xué)習(xí)域內(nèi)和跨域的不變表征。這些鍵也是類別感知和類別平衡的，這樣可以學(xué)習(xí)類別具有類別區(qū)分力的但無偏的表征。注意類別平衡指每個查詢q與字典中的所有鍵(在損失計算中)相比較，這些字典鍵均勻分布在所有的數(shù)據(jù)類別中，緩解了數(shù)據(jù)不平衡。

因此，網(wǎng)絡(luò)學(xué)習(xí)將努力最小化目標(biāo)查詢和字典鍵之間的類別對比損失

：相同類別的樣本被拉近而不同類別的樣本被推遠。這自然會產(chǎn)生完全符合UDA目標(biāo)的，具有類別判別力的但域不變的表征。

在類別感知和域混合字典以及類別對比損失函數(shù)的應(yīng)用下，所提出的類別對比通過三個理想的特征來解決UDA挑戰(zhàn)：1)利用類別感知字典設(shè)計，同時最小化類別內(nèi)變化并最大化類別間距離；2)依靠同時包含源域樣本和目標(biāo)域樣本的混合域字典設(shè)計同時實現(xiàn)了域間和域內(nèi)對齊；3)依靠類別平衡字典設(shè)計有效緩解了數(shù)據(jù)平衡問題，使得在學(xué)習(xí)過程中均勻計算所有類別的對比損失。

大量實驗結(jié)果表明類別對比方法展現(xiàn)優(yōu)異性能

團隊分享了其實驗結(jié)果，分為以下幾個維度。

泛化能力：團隊通過評估CaCo在多個基礎(chǔ)視覺UDA應(yīng)用，即分割、檢測和分類，中的性能效果來研究它的泛化能力。實驗結(jié)果顯示CaCo始終展現(xiàn)出了與當(dāng)前最先進的方法相當(dāng)?shù)男阅堋?/p>

互補能力：團隊探究了CaCo與現(xiàn)有的UDA方法相結(jié)合的協(xié)同優(yōu)勢。這表明當(dāng)加入CaCo時，可以在不同的視覺任務(wù)中一致地改進所有現(xiàn)有方法。

與現(xiàn)有的無監(jiān)督表征學(xué)習(xí)方法對比：團隊將CaCo與無監(jiān)督表征學(xué)習(xí)方法用于UDA任務(wù)以進行對比。大多數(shù)現(xiàn)有的方法通過某些前置任務(wù)實現(xiàn)了無監(jiān)督表征學(xué)習(xí)，比如說實例對比學(xué)習(xí)、圖像塊排序(patch ordering)、旋轉(zhuǎn)預(yù)測和降噪/上下文/著色自編碼器。在UDA任務(wù)GTA→Cityscapes上進行的實驗顯示了現(xiàn)有的無監(jiān)督表征學(xué)習(xí)應(yīng)用于UDA任務(wù)時效果不理想。主要原因是這些方法是針對學(xué)習(xí)可用于判別實例的表征(instance-discriminative representations)而設(shè)計的，并沒有考慮到語義先驗和域間隙(domain gaps)。CaCo也被用于進行無監(jiān)督學(xué)習(xí)，應(yīng)用于UDA時更有效，很大程度上是因其學(xué)習(xí)了具有類別判別力且域不變的表征，而這些表征對于多種視覺UDA任務(wù)是至關(guān)重要的。

參數(shù)研究：參數(shù)M(在提出的CaCo中)控制了分類別字典的長度(或者說大小)。團隊將M從50逐漸調(diào)至150，對其進行了研究。在UDA分割任務(wù)GTA-to-Cityscapes上進行的實驗顯示了M在50至150之間進行調(diào)整時，對UDA的影響并不明顯。

不同學(xué)習(xí)類型中的泛化：團隊從學(xué)習(xí)類型的角度研究了所提出的CaCo的可擴展性。具體而言，團隊把CaCo應(yīng)用于多種涉及無標(biāo)簽數(shù)據(jù)學(xué)習(xí)和某些語義先驗的任務(wù)，如無監(jiān)督模型自適應(yīng)和半開放集/開放集UDA，并對其進行評估。結(jié)果顯示CaCo的可以穩(wěn)健展現(xiàn)與當(dāng)前最先進的方法相當(dāng)?shù)男阅堋?/p>

類別感知字典:團隊研究了提出的類別感知字典的3種變體設(shè)計:1)為所有的鍵分配同樣的溫度參數(shù)；2)(對于源數(shù)據(jù)和目標(biāo)數(shù)據(jù))使用兩個獨立的字典而不是一個單獨的域混合字典；3)使用內(nèi)存庫或當(dāng)前小批量(current mini-batch)來更新字典。實驗證實了設(shè)計的優(yōu)越性。

總體而言，邵嶺博士及團隊提出了一種類別對比方法CaCo，該方法引入了通用的類別對比損失函數(shù)(generic category contrastive loss)，可有效用于多種視覺UDA任務(wù)。團隊用來自源域和目標(biāo)域的樣本構(gòu)建了一個語義感知字典，域中的每一個目標(biāo)樣本都根據(jù)源域樣本的類別先驗被分配了一個(偽)類別標(biāo)簽。這使得(目標(biāo)查詢和類別級的字典間的)類別對比學(xué)習(xí)可以學(xué)習(xí)具有類別判別力且域不變的表征：同類別的樣本(無論是來自于源域或者目標(biāo)域)會被拉近而不同類別的樣本被同時推遠。在多種視覺任務(wù)(例如分割、分類和檢測)中進行的大量實驗顯示單獨使用CaCo就可以展現(xiàn)出與當(dāng)前最先進的方法相當(dāng)?shù)男阅?。另外，實驗也顯示CaCo可以與現(xiàn)有的UDA方法互補，也可以外推至其他的學(xué)習(xí)類型，如無監(jiān)督模型自適應(yīng)、開放/半開放集域自適應(yīng)等。