從來沒有見的新物體，也能進(jìn)行很地分割。這 DeepMind 研究出的一種新學(xué)習(xí)框架：標(biāo)發(fā)現(xiàn)和表網(wǎng)絡(luò)（Object discovery and representation networks，簡稱 Odin）以往的自我監(jiān)督學(xué)習(xí)SSL）方法能夠很好地述整個大的景，但是很區(qū)分出單個物體?，F(xiàn)在Odin 方法做到了，且是在沒有何監(jiān)督的情下做到的。分出圖像中單個物體可是很容易的，它是怎么到的呢？方原理能夠很地區(qū)分出圖中的各個物，主要歸功 Odin 學(xué)習(xí)框架的自我循環(huán)”Odin 學(xué)習(xí)了兩組協(xié)工作的網(wǎng)絡(luò)分別是目標(biāo)現(xiàn)網(wǎng)絡(luò)和目表示網(wǎng)絡(luò)。標(biāo)發(fā)現(xiàn)網(wǎng)絡(luò)圖像的一個剪部分作為入，裁剪的分應(yīng)該包含像的大部分域，且這部圖像并沒有其他方面進(jìn)增強(qiáng)處理。后對輸入圖生成的特征進(jìn)行聚類分，根據(jù)不同特征對圖像各個物體的行分割。目表示網(wǎng)絡(luò)的入視圖是目發(fā)現(xiàn)網(wǎng)絡(luò)中生成的分割像。視圖輸之后，對它分別進(jìn)行隨預(yù)處理，包翻轉(zhuǎn)、模糊點級顏色轉(zhuǎn)等。這樣就夠獲得兩組模，它們除剪裁之外的異，其他信都和底層圖內(nèi)容相同。后兩個掩模通過對比損，進(jìn)而學(xué)習(xí)夠更好地表圖像中物體特征。具體說，就是通對比檢測，練一個網(wǎng)絡(luò)識別不同目物體的特征同時還有許來自其他不干物體的“面”特征。后，最大化同掩模中同目標(biāo)物體的似性，最小不同目標(biāo)物之間的相似，進(jìn)而更好進(jìn)行分割以別不同目標(biāo)體。與此同，目標(biāo)發(fā)現(xiàn)絡(luò)會定期根目標(biāo)表示網(wǎng)的參數(shù)進(jìn)行應(yīng)的更新。終的目的是保這些對象的特性在不的視圖中大不變，換句說就是將圖中的物體分開來。那么 Odin 學(xué)習(xí)框架的效究竟如何呢能夠很好地分未知物體Odin 方法在場景分割，沒有先驗識的情況下移學(xué)習(xí)的性也很強(qiáng)大。先，使用 Odin 方法在 ImageNet 數(shù)據(jù)集上進(jìn)行訓(xùn)練，然后估其在 COCO 數(shù)據(jù)集以及 PASCAL 和 Cityscapes 語義分割上的果。已經(jīng)知目標(biāo)物體，獲得先驗知的方法在進(jìn)場景分割時效果要明顯于其他未獲先驗知識的法。而 Odin 方法即使未獲得先知識，其效也要優(yōu)于獲先驗知識的 DetCon 和 ReLICv2。除此之外，Odin 方法不僅可以應(yīng)用 ResNet 模型中，還可以應(yīng)用更復(fù)雜的模中，如 Swim Transformer。在數(shù)據(jù)上，Odin 框架學(xué)習(xí)的優(yōu)勢很明顯那在可視化圖像中，Odin 的優(yōu)勢在何處體現(xiàn)呢？將使用 Odin 生成的分割圖與隨機(jī)初始的網(wǎng)絡(luò)（第 3 列），ImageNet 監(jiān)督的網(wǎng)絡(luò)（第 4 列）中獲得分割圖像進(jìn)比較。第 3、4 列都未能清晰地描出物體的邊，或者缺乏實世界物體一致性和局性，而 Odin 生成的圖像效果很顯要更好一。參考鏈接[1]?https://twitter.com/DeepMind/status/1554467389290561541[2]?https://arxiv.org/abs/2203.08777本文來自微信眾號：量子 （ID：QbitAI），作者：Pine