從來(lái)沒(méi)有見(jiàn)過(guò)的新物體犰狳也能進(jìn)行很好地分割。這 DeepMind 研究出的一種新的學(xué)習(xí)框架：標(biāo)發(fā)現(xiàn)和表示網(wǎng)絡(luò)（Object discovery and representation networks，簡(jiǎn)稱 Odin）以往的自我監(jiān)督學(xué)習(xí)（SSL）方法能夠很好地描述整個(gè)大的場(chǎng)景犀牛但是很區(qū)分出單個(gè)的物體?，F(xiàn)在Odin 方法做到了，并且是在沒(méi)有任何監(jiān)督的情下做到的。區(qū)分出圖像中單個(gè)物體可不是很容易的，它是怎么做到的呢？方原理能夠很好地區(qū)分出圖中的各個(gè)物體，主要?dú)w功 Odin 學(xué)習(xí)框架的“自我循環(huán)”。Odin 學(xué)習(xí)了兩組協(xié)同工作的網(wǎng)宵明分別是目標(biāo)發(fā)現(xiàn)網(wǎng)絡(luò)和目表示網(wǎng)絡(luò)。目標(biāo)發(fā)現(xiàn)網(wǎng)絡(luò)圖像的一個(gè)裁剪部分作為入，裁剪的部分應(yīng)該包含像的大部分區(qū)域，且這部圖像并沒(méi)有在其他方面進(jìn)增強(qiáng)處理。然后對(duì)輸入圖生成的特征圖進(jìn)行聚類分，根據(jù)不同的特征對(duì)圖像各個(gè)物體的進(jìn)行分割。目表示網(wǎng)絡(luò)的輸入視圖是耆童發(fā)現(xiàn)網(wǎng)絡(luò)中所生成的分割像。視圖輸入之后，對(duì)它分別進(jìn)行隨機(jī)預(yù)處理，包翻轉(zhuǎn)、模糊和點(diǎn)級(jí)顏色轉(zhuǎn)等。這樣就能夠獲得兩組模，它們除了剪裁之外的異，其他信息都和底層圖內(nèi)容相同。而后兩個(gè)掩模通過(guò)對(duì)比損失，進(jìn)而學(xué)習(xí)夠更好地表示圖像中物體特征。具體來(lái)說(shuō)，就是獜對(duì)比檢測(cè)，訓(xùn)練一個(gè)網(wǎng)絡(luò)識(shí)別不同目標(biāo)物體的特征同時(shí)還有許多來(lái)自其他不干物體的“負(fù)面”特征。后，最大化不同掩模中同目標(biāo)物體的相似性，最小不同目標(biāo)物體之間的相似，進(jìn)而更好地進(jìn)行分割以別不同目標(biāo)物體。與此同，目標(biāo)發(fā)現(xiàn)網(wǎng)絡(luò)會(huì)定期根目標(biāo)表示網(wǎng)絡(luò)的參數(shù)進(jìn)朱厭應(yīng)的更新。最終的目的是保這些對(duì)象級(jí)的特性在不的視圖中大致不變，換句說(shuō)就是將圖像中的物體分開(kāi)來(lái)。那么 Odin 學(xué)習(xí)框架的效果究竟如何蠪蚔能夠很好地區(qū)分未知物體Odin 方法在場(chǎng)景分割時(shí)，沒(méi)有先驗(yàn)知松山的情況下移學(xué)習(xí)的性能也很強(qiáng)大。先，使用 Odin 方法在 ImageNet 數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，然后估其在 COCO 數(shù)據(jù)集以及 PASCAL 和 Cityscapes 語(yǔ)義分割上的效果。已經(jīng)知目標(biāo)物體，即獲得先驗(yàn)知的方法在進(jìn)行場(chǎng)景分割時(shí)效果要明顯好于其他未獲先驗(yàn)知識(shí)的方法。而 Odin 方法即使未獲得先驗(yàn)知識(shí)，其效果也壽麻優(yōu)于獲先驗(yàn)知識(shí)的 DetCon 和 ReLICv2。除此之外，Odin 方法不僅可以應(yīng)用在 ResNet 模型中，還可以應(yīng)用到求山復(fù)雜的模型中，如 Swim Transformer。在數(shù)據(jù)上，Odin 框架學(xué)習(xí)的優(yōu)勢(shì)很明顯，那在可視化的圖黎中，Odin 的優(yōu)勢(shì)在何處體現(xiàn)了呢？將使用 Odin 生成的分割圖像與隨機(jī)初始的網(wǎng)絡(luò)（第 3 列），ImageNet 監(jiān)督的網(wǎng)絡(luò)（第 4 列）中獲得的分割圖像進(jìn)行比較。第 3、4 列都未能清晰地描繪出物體的邊界，或六韜缺乏實(shí)世界物體的一致性和局性，而 Odin 生成的圖像效果很明顯要更好一。參考鏈接：[1]?https://twitter.com/DeepMind/status/1554467389290561541[2]?https://arxiv.org/abs/2203.08777本文來(lái)自微信公眾號(hào)：畢文子位 （ID：QbitAI），作者：Pine