近期，合肥大學(xué)人工智能與大數(shù)據(jù)學(xué)院大模型與自然語(yǔ)言處理團(tuán)隊(duì)在大規(guī)模圖學(xué)習(xí)與圖神經(jīng)網(wǎng)絡(luò)輕量化方向取得重要進(jìn)展。相關(guān)研究成果被國(guó)際權(quán)威期刊《IEEE Transactions on Neural Networks and Learning Systems》（TNNLS）正式錄用。該論文由嵇圣硙副教授擔(dān)任第一作者，2022級(jí)碩士生田育杰為主要學(xué)生作者，李新路教授擔(dān)任通訊作者，合肥大學(xué)人工智能與大數(shù)據(jù)學(xué)院為第一完成單位。

研究背景：子圖采樣中的顯存效率與精度損失權(quán)衡

  圖卷積神經(jīng)網(wǎng)絡(luò)（GCN）在社交網(wǎng)絡(luò)、推薦系統(tǒng)等任務(wù)中具有廣泛應(yīng)用價(jià)值，但更深的聚合層和更大的圖規(guī)模往往意味著更高的訓(xùn)練成本。為應(yīng)對(duì)顯存壓力，研究者提出了節(jié)點(diǎn)級(jí)采樣、層級(jí)采樣和子圖采樣等多種輕量化訓(xùn)練策略，其中子圖采樣因能夠保證所有節(jié)點(diǎn)被覆蓋，成為大規(guī)模圖學(xué)習(xí)中的重要路線(xiàn)。

  然而，子圖采樣的核心代價(jià)在于：模型每次只能在局部子圖上聚合信息，原本存在于全局圖中的遠(yuǎn)距離連接關(guān)系和跨社區(qū)語(yǔ)義線(xiàn)索會(huì)被弱化，目標(biāo)節(jié)點(diǎn)的感受野也因此受到限制。論文通過(guò)分析指出，這種“子圖間隙”正是輕量化 GCN 精度受損的重要原因。

 圖注：PromptGCN 的整體流程包括圖劃分、提示選擇、提示附加、提示共享以及下游任務(wù)建模；其中，共享提示在多個(gè)子圖之間傳遞全局信息，從而緩解子圖采樣帶來(lái)的信息割裂。

創(chuàng)新成果：提出可跨子圖共享的輕量 GCN 框架

  為解決上述挑戰(zhàn)，論文首次將自然語(yǔ)言處理中常見(jiàn)的提示學(xué)習(xí)思路引入大規(guī)模圖的子圖采樣訓(xùn)練，提出了一種輕量級(jí)提示式圖卷積網(wǎng)絡(luò)框架 PromptGCN。該方法并不直接擴(kuò)大子圖規(guī)模，也不額外引入大量外部節(jié)點(diǎn)，而是通過(guò)少量可學(xué)習(xí)的提示向量，在不同子圖之間建立全局信息傳遞通道。

  PromptGCN 的核心設(shè)計(jì)可以概括為三個(gè)環(huán)節(jié)：

 1. 共享提示向量機(jī)制：構(gòu)造一組可學(xué)習(xí)的提示向量作為全局信息載體，在保持低顯存開(kāi)銷(xiāo)的同時(shí)，為局部子圖補(bǔ)充跨子圖語(yǔ)義。

 2. 自適應(yīng)提示選擇與附加：每個(gè)節(jié)點(diǎn)根據(jù)與不同提示之間的相似度，動(dòng)態(tài)選擇最相關(guān)的提示向量，并通過(guò)拼接等方式將其附加到節(jié)點(diǎn)特征中，使局部表示能夠感知更廣范圍的圖結(jié)構(gòu)信息。

 3. 跨子圖提示共享訓(xùn)練：在子圖按順序訓(xùn)練的過(guò)程中，共享提示隨訓(xùn)練持續(xù)更新并在不同子圖之間傳遞，使模型逐步積累全局圖知識(shí)，從而近似獲得全圖訓(xùn)練帶來(lái)的優(yōu)勢(shì)。

實(shí)驗(yàn)成效與學(xué)術(shù)價(jià)值

  實(shí)驗(yàn)部分，論文在 5 個(gè)節(jié)點(diǎn)分類(lèi)數(shù)據(jù)集和 2 個(gè)鏈路預(yù)測(cè)數(shù)據(jù)集上對(duì) PromptGCN 進(jìn)行了系統(tǒng)評(píng)估，覆蓋 AmazonCoBuyPhoto、AmazonCoBuyComputer、Flickr、Reddit、Ogbn-products、Ogbl-citation2 和 Ogbl-collab 等典型大規(guī)模圖任務(wù)。結(jié)果表明，PromptGCN 在多種骨干模型與下游任務(wù)上都表現(xiàn)出較強(qiáng)的適配能力，整體性能接近全批訓(xùn)練模型。

  具體來(lái)看，在節(jié)點(diǎn)分類(lèi)任務(wù)中，PromptGCN 相較于子圖采樣骨干方法在 Flickr 數(shù)據(jù)集上最高可帶來(lái) 5.48% 的性能提升；在鏈路預(yù)測(cè)任務(wù)中，在 Ogbl-collab 數(shù)據(jù)集上可取得 2.02% 的提升。與此同時(shí)，該方法仍然保持了顯著的內(nèi)存效率：與全批訓(xùn)練 GCN 相比，隨著層數(shù)加深，顯存占用最多可降低約 8 倍；在大規(guī)模 Ogbn-products 數(shù)據(jù)集上，顯存開(kāi)銷(xiāo)最高可降低約 28 倍。

論文還指出，PromptGCN 可以方便地與現(xiàn)有子圖采樣方法集成，既保持“輕量化”的工程優(yōu)勢(shì)，又有效提升模型精度。這意味著，在顯存受限的真實(shí)部署環(huán)境中，研究人員有望以更低成本訓(xùn)練更深層、更大規(guī)模的圖神經(jīng)網(wǎng)絡(luò)。

結(jié)語(yǔ)與展望

  從研究意義上看，PromptGCN 重新審視了“輕量化圖學(xué)習(xí)”與“全局信息建?！敝g的關(guān)系，為大規(guī)模圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練提供了一條兼顧精度與效率的新路徑。相比單純依賴(lài)更大批量、更多鄰居或更復(fù)雜圖擴(kuò)展機(jī)制的方案，這種基于共享提示的設(shè)計(jì)思路更為靈活，也更容易遷移到不同的子圖采樣框架中。

  未來(lái)，圍繞提示設(shè)計(jì)、提示數(shù)量自適應(yīng)以及與更復(fù)雜圖神經(jīng)網(wǎng)絡(luò)骨干的結(jié)合，PromptGCN 仍有進(jìn)一步拓展空間。對(duì)于需要在有限算力條件下處理海量圖數(shù)據(jù)的推薦、社交計(jì)算與知識(shí)圖譜等場(chǎng)景而言，這項(xiàng)工作提供了具有啟發(fā)性的技術(shù)路線(xiàn)。

 論文題目：PromptGCN: Bridging Subgraph Gaps in Lightweight GCNs

 代碼鏈接：https://ieeexplore.ieee.org/document/11365573

 （人工智能與大數(shù)據(jù)學(xué)院 撰稿：田育杰 初審：嵇圣硙 復(fù)審：吳志澤 終審：胡萍）