近日，語(yǔ)言智能與文化計(jì)算2023級(jí)博士生張凱武在不完整多視圖聚類領(lǐng)域上的最新研究成果《Deep Incomplete Multi-view Clustering via Attention-based Direct Contrastive Learning》被人工智能領(lǐng)域一區(qū)Top期刊Expert Systems with Applications（中科院1區(qū)Top期刊，JCR：Q1，最新影響因子：7.5）接收。該期刊是計(jì)算機(jī)科學(xué)和智能系統(tǒng)領(lǐng)域內(nèi)最具影響力的頂級(jí)期刊之一，主要報(bào)道前沿新興的計(jì)算機(jī)技術(shù)和專家智能系統(tǒng)技術(shù)。我院杜世強(qiáng)教授為通訊作者，博士生張凱武為論文第一作者，論文署名單位和通信作者單位均為西北民族大學(xué)。學(xué)院致力于培養(yǎng)高質(zhì)量、高素質(zhì)、高水平的綜合創(chuàng)新型人才，通過(guò)不斷優(yōu)化教育體系和科研環(huán)境，確保學(xué)生在學(xué)術(shù)和實(shí)踐中全面發(fā)展，激勵(lì)研究生勇攀科學(xué)高峰，為國(guó)家和社會(huì)的發(fā)展貢獻(xiàn)更多的智慧和力量。
在實(shí)際場(chǎng)景中，由于機(jī)器故障或傳感器問(wèn)題等因素，多視圖數(shù)據(jù)可能會(huì)丟失某些視圖信息，導(dǎo)致不完整多視圖數(shù)據(jù)的出現(xiàn)。例如一條道路上的多個(gè)監(jiān)控設(shè)備會(huì)由于部分?jǐn)z像頭故障而丟失視頻信息。為了解決數(shù)據(jù)不完整問(wèn)題，不完整多視圖聚類(Incomplete Multi-View Clustering，IMVC)應(yīng)運(yùn)而生。雖然目前基于對(duì)比學(xué)習(xí)的IMVC利用填充策略能夠減少缺失數(shù)據(jù)的影響，但這些方法為防止出現(xiàn)潛在特征只能在較低維度子空間中有效的維度塌縮現(xiàn)象，均依賴額外的投影頭來(lái)解決。另一方面，IMVC在同一特征空間中同時(shí)進(jìn)行一致性學(xué)習(xí)和重構(gòu)，嚴(yán)重誤導(dǎo)了共同語(yǔ)義的捕獲。
針對(duì)上述問(wèn)題，杜世強(qiáng)教授團(tuán)隊(duì)提出了一種基于注意力機(jī)制和直接對(duì)比學(xué)習(xí)的深度IMVC方法。如圖1所示，具體地，該模型首先使用具有自注意力機(jī)制的編碼器學(xué)習(xí)每個(gè)輸入的權(quán)重，排除僅限于特定子集的信息。其次，利用提取的特征子向量進(jìn)行一致性學(xué)習(xí)，直接優(yōu)化潛在特征子空間并避免了維度塌縮。同時(shí)，允許重構(gòu)損失和對(duì)比損失分別作用于特征向量及其子向量，解決了視圖私有信息的不一致性與公共語(yǔ)義的一致性之間的沖突。最后，該方法采用基于潛在特征的預(yù)測(cè)機(jī)制來(lái)實(shí)現(xiàn)數(shù)據(jù)的可恢復(fù)性。
為驗(yàn)證方法在實(shí)際應(yīng)用中的有效性，論文在多個(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行了聚類、人體行為識(shí)別等任務(wù)，并展示了缺失視圖恢復(fù)的可視化結(jié)果，進(jìn)一步說(shuō)明該方法具有推斷缺失視圖信息的能力。圖2展示了不完整數(shù)據(jù)的恢復(fù)結(jié)果。
總體而言，該研究首次在不依賴投影頭的情況下利用對(duì)比學(xué)習(xí)避免不完整多視圖聚類的維度塌縮現(xiàn)象，有望為處理不完整數(shù)據(jù)和防止聚類維度塌縮提供新的見(jiàn)解。下一步，學(xué)院將繼續(xù)秉承以人為本教育理念，不斷優(yōu)化人才培養(yǎng)模式，全面落實(shí)“學(xué)生中心—產(chǎn)出導(dǎo)向—持續(xù)改進(jìn)”為核心的以OBE理念，實(shí)現(xiàn)高質(zhì)量復(fù)合型人才培養(yǎng)。
