上海交通大學人工智(zhi)能與微(wei)結構(gou)實驗(yan)室李金(jin)金(jin)教授和黃富強(qiang)教授團隊(dui)研(yan)發出全新 AI 材(cai)料設計(ji)模型 CGformer，成功突破傳統晶體圖神經網(wang)絡局限。
人工智能正深(shen)刻重塑材(cai)(cai)料科學(xue)研發(fa)范式(shi)，在(zai)加速新(xin)材(cai)(cai)料發(fa)現與(yu)性(xing)(xing)(xing)能優化中(zhong)展現出(chu)突破性(xing)(xing)(xing)價值。通過高通量計算與(yu)機(ji)器學(xue)習的深(shen)度融合，傳(chuan)統「試錯法(fa)」存在(zai)的實驗周期長、資源消耗(hao)大等痛點被有效破解，材(cai)(cai)料探索進入到「計算驅(qu)動-實驗驗證」的高效迭(die)代階段。然(ran)而隨著人類技術和生活(huo)方式(shi)的革新(xin)，新(xin)能源、航空航天(tian)等領(ling)域對(dui)新(xin)材(cai)(cai)料的性(xing)(xing)(xing)能需求日益(yi)嚴苛，傳(chuan)統機(ji)器學(xue)習方法(fa)的局限性(xing)(xing)(xing)逐(zhu)漸凸(tu)顯，尤其是(shi)在(zai)高熵材(cai)(cai)料研發(fa)領(ling)域。
所謂(wei)「高熵」材(cai)(cai)料(liao)，是一類由多主元元素混合制備的新(xin)型材(cai)(cai)料(liao)。高熵材(cai)(cai)料(liao)通過多主元協同作用顯(xian)著提升原子排(pai)列的構型熵（即無序(xu)性），從而賦予其相較傳統(tong)材(cai)(cai)料(liao)更優異(yi)的力(li)學、耐(nai)高溫、耐(nai)腐蝕等綜(zong)合性能，在能源存儲(chu)、航空(kong)航天、極端環境裝(zhuang)備等領域具(ju)有重要的應用潛力(li)。
此前(qian)方法如 Crystal graph convolutional neural networks（CGCNN）、Atomistic line graph neural network（ALIGNN） 等(deng)人工智能模型均存(cun)在(zai)架構(gou)(gou)上的(de)缺陷：受限(xian)于局(ju)部信(xin)(xin)息交互機(ji)制，難以建模遠(yuan)(yuan)距離(li)原(yuan)子協(xie)同(tong)效應，無(wu)法完(wan)整捕獲復雜晶體結構(gou)(gou)所特有的(de)全局(ju)信(xin)(xin)息，從而導(dao)致預測精度受限(xian)。與此同(tong)時，高(gao)熵(shang)材(cai)(cai)料的(de)固有特性也使其(qi)研發(fa)面臨遠(yuan)(yuan)超傳統材(cai)(cai)料的(de)挑戰——復雜的(de)微觀(guan)結構(gou)(gou)、稀缺的(de)高(gao)質量實驗(yan)數據，加(jia)之動態無(wu)序的(de)原(yuan)子行為，共同(tong)構(gou)(gou)成了高(gao)熵(shang)材(cai)(cai)料研發(fa)路(lu)上的(de)關鍵障(zhang)礙(ai)。
針對工具缺陷與需(xu)求升級(ji)，上海(hai)交通大學人工智能與微(wei)結構(gou)實驗(yan)室(shi)（AIMS-Lab）李金金教授(shou)和(he)黃(huang)富強教授(shou)團隊研(yan)發(fa)出全(quan)新 AI 材料設(she)計(ji)模(mo)型(xing) CGformer，成功(gong)突破傳(chuan)統模(mo)型(xing)的局(ju)(ju)限。該模(mo)型(xing)創新地將 Graphormer 的全(quan)局(ju)(ju)注意力(li)機制(zhi)與 CGCNN 相(xiang)融合，并集成中心性編碼(ma)、空間編碼(ma)，使其(qi)既能夠(gou)通過晶體(ti)圖直觀描述(shu)材料結構(gou)，又(you)能借(jie)助「全(quan)局(ju)(ju)注意力(li)」機制(zhi)捕捉長距離原子(zi)間的相(xiang)互作用，從而獲得了傳(chuan)統「僅關注相(xiang)鄰(lin)原子(zi)」模(mo)型(xing)所不具備的全(quan)局(ju)(ju)信(xin)息處理能力(li)。
該方法提供了更全(quan)面的結構信息，有助于(yu)更準確(que)地預測結構內部離子遷移行為，為新材(cai)料(liao)尤其是高熵、復雜結構晶體(ti)材(cai)料(liao)的研發提供了可(ke)靠工(gong)具。研究成果(guo)以(yi)「CGformer: Transformer-enhanced crystal graph network with global attention for material property prediction」為題(ti)，發布于(yu)頂(ding)級期刊(kan) Matter。
研究亮點：
* 研(yan)究開(kai)發出(chu)基于全局(ju)注意力機制的 AI 材料設(she)計模型(xing) CGformer，為(wei)材料研(yan)發科學提供了(le)一(yi)個可靠(kao)的強大工(gong)具，有助于加(jia)速復雜晶體結構的發現進程。
* 與 CGCNN 相(xiang)比(bi)，CGformer 在高熵鈉離(li)子(zi)固態電解質（HE-NSEs）的研究中，平(ping)均絕對(dui)誤差降低了(le) 25%，有效證實其實用性和(he)先進性
*從(cong) 148,995 種可能(neng)的高熵結構中(zhong)篩選出 18 種，成功合(he)成并驗證了 6 種高熵鈉(na)(na)離(li)子固態電解質（HE-NSEs），室溫(wen)鈉(na)(na)離(li)子電導率(lv)高達(da) 0.256mS/cm，展示(shi)了其實際(ji)應用價值
論文地址：//www.cell.com/matter/abstract/S2590-2385(25)00423-0
多類別數據集完善 CGformer 模型能力
本研究的(de)(de)目的(de)(de)是通過(guo)基于案例(li)的(de)(de)解(jie)決方案，解(jie)決高熵(shang)系統(tong)中數據稀缺和(he)(he)結構(gou)復雜性(xing)帶來(lai)的(de)(de)挑戰。研究案例(li)聚焦于新能源(yuan)電動汽車(che)和(he)(he)電網儲能應(ying)用，針對性(xing)地圍繞高熵(shang)鈉離子固態電解(jie)質(zhi)的(de)(de)性(xing)能預測(ce)和(he)(he)篩選展(zhan)開(kai)，構(gou)建并使用了多類(lei)數據集，為(wei) CGformer 模型的(de)(de)訓(xun)練(lian)、微調和(he)(he)實驗(yan)(yan)驗(yan)(yan)證提供支持，具體如下：
鈉(na)離子擴散能(neng)壘（Eb）基(ji)礎數據(ju)集(ji)：這是(shi)研(yan)(yan)究人員(yuan)針對研(yan)(yan)究構(gou)(gou)建(jian)的(de)(de)(de)當前已知規(gui)模最大的(de)(de)(de)高熵(shang)結構(gou)(gou)中鈉(na)離子擴散能(neng)壘數據(ju)集(ji)，基(ji)于 Voronoi decomposition 的(de)(de)(de)晶體結構(gou)(gou)分析（CAVD）和鍵價位點能(neng)（Bond Valence Site Energy，BVSE）方法構(gou)(gou)建(jian)。該數據(ju)集(ji)主要用于 CGformer 的(de)(de)(de)預(yu)(yu)訓練，使模型學習與含鈉(na)結構(gou)(gou)相關的(de)(de)(de)圖信息，然后將其遷移到計算(suan)出(chu)的(de)(de)(de)高熵(shang)數據(ju)集(ji)，為后續高熵(shang)材料 Eb 預(yu)(yu)測奠定基(ji)礎。
CGformer 篩選工(gong)作流程
HE-NSEs 計算數(shu)(shu)據(ju)集：以 Na₃Zr₂Si₂PO₁₂ 為(wei)基礎（如上圖所示(shi)），在 Zr 位點(dian)考慮 45 種(zhong)潛在高(gao)熵(shang)摻(chan)雜元素，初步(bu)形(xing)成(cheng)(cheng)包(bao)(bao)含 148,995 種(zhong)可能的(de)(de)高(gao)熵(shang)結構的(de)(de)初始化(hua)學空間。之(zhi)后通(tong)過(guo)多輪篩選，包(bao)(bao)括排除不適(shi)宜元素（放射性、高(gao)毒性及昂貴元素）、約束(shu)原子(zi)半徑差異與電荷平衡等，進(jin)一步(bu)將(jiang)化(hua)學空間縮小(xiao)至 826 種(zhong)相對穩定的(de)(de)結構。接著再通(tong)過(guo)無監(jian)督層次聚類將(jiang)其分為(wei) 20 組(zu)，從(cong)每組(zu)分層采樣 30% 的(de)(de)結構（共(gong) 238 種(zhong)），經密度泛(fan)函理(li)論(lun)（DFT）計算得到(dao)其 Eb 值，最(zui)終形(xing)成(cheng)(cheng)用于微(wei)調(diao) CGformer 的(de)(de)專(zhuan)(zhuan)用數(shu)(shu)據(ju)集，以便模型專(zhuan)(zhuan)門適(shi)配高(gao)熵(shang) NASICON 結構中鈉離子(zi) Eb 的(de)(de)預測任務，提升模型在目標場景下的(de)(de)精度。
熱穩(wen)定(ding)(ding)性評估數據(ju)集(ji)：研(yan)究(jiu)人(ren)員從 Materials Project 數據(ju)庫中提取所(suo)有含(han)鈉結(jie)構的(de)能(neng)量(liang)高于凸包值（Ehull），整理成一個專用訓(xun)練(lian)集(ji)。該數據(ju)集(ji)主要(yao)用于訓(xun)練(lian)評估 HE-NSEs 熱力學穩(wen)定(ding)(ding)性的(de)補充模型，與 CGformer 預測的(de) Eb 結(jie)合，篩選「性能(neng)+穩(wen)定(ding)(ding)性」的(de)候(hou)選材料。
創新融合架構實現 CGformer 「全局感知」
CGformer 針對(dui)傳統(tong)方法的(de)不足進(jin)行了(le)(le)根本(ben)性的(de)革新(xin)，將兩(liang)種先進(jin)技術進(jin)行有機(ji)融合實現優勢互補，其核(he)心是既保留了(le)(le)對(dui)晶體(ti)(ti)(ti)結(jie)構的(de)圖(tu)化表征能力(li)，又通過全局注(zhu)意力(li)機(ji)制(zhi)打(da)破了(le)(le)僅關(guan)注(zhu)局部原(yuan)子交互的(de)局限(xian)。具(ju)體(ti)(ti)(ti)來看(kan)，它(ta)將 Graphormer 的(de)全局注(zhu)意力(li)機(ji)制(zhi)與 CGCNN 的(de)晶體(ti)(ti)(ti)圖(tu)表示方法相結(jie)合，同時增(zeng)加關(guan)鍵(jian)編碼(ma)模(mo)塊，從而構建了(le)(le)一套(tao)全新(xin)的(de)信息處(chu)理流(liu)程。
下(xia)圖(tu) a 展示的是晶體(ti)圖(tu)編碼(ma)過程，該過程是為(wei)(wei)了(le)將(jiang)真(zhen)實的三維晶體(ti)結構轉(zhuan)化為(wei)(wei)模型(xing)可處理的晶體(ti)圖(tu)。晶體(ti)結構中(zhong)原(yuan)(yuan)子被(bei)表示為(wei)(wei)節點(dian)，原(yuan)(yuan)子之間的化學鍵被(bei)表示為(wei)(wei)邊。通過轉(zhuan)換過程，研究人員能夠提取節點(dian)和邊特征，如各種元素(su)屬性、電荷(he)、共價半徑、原(yuan)(yuan)子間距離、鍵類型(xing)和晶體(ti)對稱性信(xin)息，然后再將(jiang)這些特征進(jin)行結合，得到 CGformer 所需的初始輸(shu)入數(shu)據，確(que)保了(le)晶體(ti)的化學與結構信(xin)息被(bei)完(wan)整保留。
從晶體(ti)到(dao)晶體(ti)圖的編碼流程示意圖
下圖 b 展示了 CGformer 的(de)(de)(de)(de)網絡架(jia)構，通(tong)過(guo)(guo)多(duo)(duo)模塊(kuai)協同(tong)實現全局(ju)信息整(zheng)合(he)(he)與精(jing)準預測(ce)。首先輸(shu)入的(de)(de)(de)(de)晶(jing)體(ti)圖經過(guo)(guo)一輪圖卷積操作，生成(cheng)簡化的(de)(de)(de)(de)圖結構，從而(er)減少(shao)后續(xu)網絡層的(de)(de)(de)(de)計算(suan)(suan)量，加(jia)速 CGformer 的(de)(de)(de)(de)訓練過(guo)(guo)程。然后在此基(ji)礎上，研究(jiu)人(ren)員計算(suan)(suan)中心(xin)編(bian)碼(ma)(ma)并(bing)更(geng)新(xin)晶(jing)體(ti)圖的(de)(de)(de)(de)節(jie)(jie)(jie)點(dian)(dian)(dian)(dian)特征(zheng)(zheng)，中心(xin)編(bian)碼(ma)(ma)包(bao)括每(mei)個節(jie)(jie)(jie)點(dian)(dian)(dian)(dian)的(de)(de)(de)(de)入度和出度，然后將(jiang)(jiang)其整(zheng)合(he)(he)到原始節(jie)(jie)(jie)點(dian)(dian)(dian)(dian)特征(zheng)(zheng)中。隨后每(mei)個節(jie)(jie)(jie)點(dian)(dian)(dian)(dian)通(tong)過(guo)(guo)多(duo)(duo)頭注意力模塊(kuai)（Multi-head Attention Module），結合(he)(he)變特征(zheng)(zheng)和空(kong)間編(bian)碼(ma)(ma)來表示節(jie)(jie)(jie)點(dian)(dian)(dian)(dian)之間的(de)(de)(de)(de)位置關系。中心(xin)編(bian)碼(ma)(ma)將(jiang)(jiang)相鄰(lin)(lin)節(jie)(jie)(jie)點(dian)(dian)(dian)(dian)的(de)(de)(de)(de)平均特征(zheng)(zheng)轉換為總和形式(shi)，而(er)空(kong)間編(bian)碼(ma)(ma)使自注意力機制能(neng)夠(gou)區分相鄰(lin)(lin)節(jie)(jie)(jie)點(dian)(dian)(dian)(dian)，促(cu)進(jin)有效的(de)(de)(de)(de)消息聚合(he)(he)并(bing)增強不同(tong)原子(zi)之間的(de)(de)(de)(de)信息連接。最后，輸(shu)出向量經過(guo)(guo)「池化（整(zheng)合(he)(he)全局(ju)特征(zheng)(zheng)）」和「激活（函數運算(suan)(suan)）」過(guo)(guo)程，完成(cheng)最終的(de)(de)(de)(de)材料屬性預測(ce)。
CGformer 的(de)網絡架構(gou)
值得一提的(de)(de)是，多頭注(zhu)意(yi)力模(mo)塊(kuai)使得每個節點(dian)「關注(zhu)」晶體圖中所有(you)其他節點(dian)，而非僅(jin)相鄰(lin)節點(dian)，實現了(le)長程原子相互作用的(de)(de)捕(bu)捉(zhuo)。與(yu)此同時(shi)，中心(xin)編碼(ma)和(he)空間編碼(ma)的(de)(de)加入，也使模(mo)型(xing)不僅(jin)能識別(bie)原子的(de)(de)化(hua)學屬(shu)性，還(huan)能感(gan)知(zhi)其在結構中的(de)(de)「位(wei)置(zhi)重要性」和(he)「空間關系(xi)」，提升了(le)模(mo)型(xing)對復雜(za)晶體的(de)(de)表征精度。
總而言之，CGformer 相(xiang)比傳統(tong)晶體網絡(luo)實(shi)現(xian)了質的躍遷，實(shi)現(xian)了全(quan)局視(shi)野、信息(xi)增強、效率平衡(heng)三(san)大優勢，為復(fu)雜高(gao)熵材料的發(fa)現(xian)和(he)性能優化提供了可(ke)信、可(ke)靠(kao)的工具。
CGformer 展現強大性能，凸顯現實指導價值
為了準確(que)評估 CGformer 模(mo)型(xing)的性(xing)能和先進性(xing)，研究人(ren)員將其(qi)與傳統模(mo)型(xing) CGCNN、ALIGNN、SchNet 等進行了比較，實(shi)驗(yan)從「預(yu)訓練」到「微調(diao)」兩(liang)個階段驗(yan)證(zheng)了 CGformer 的預(yu)測精度。
在預訓(xun)練階段（如(ru)下圖所示），CGformer 展(zhan)現(xian)出更佳的(de)(de)穩定(ding)性(xing)和(he)預測(ce)精度，CGformer 初始(shi)誤差(cha)與波動(dong)顯(xian)著(zhu)低于(yu) CGCNN，10 折(zhe)交叉驗證（10-fold CV）顯(xian)示，其訓(xun)練集平均絕對誤差(cha)（MAE）為 0.1703，較(jiao) CGCNN 性(xing)能(neng)提升(sheng)了 25.7%；測(ce)試集平均 MAE 為 0.3205，較(jiao) CGCNN 性(xing)能(neng)提升(sheng)了近 10%。與 ALIGNN 和(he) SchNet 的(de)(de)比較(jiao)進一步凸顯(xian)了 CGformer 的(de)(de)優良性(xing)能(neng)。
CGformer 與 CGCNN 作(zuo)用對比(bi)
從(cong)擬(ni)合效果(guo)來看(kan)，CGformer 的(de)預(yu)測值與真實值偏差更(geng)(geng)小，殘差更(geng)(geng)集(ji)中(zhong)于 0 附(fu)近，且(qie)殘差標準差更(geng)(geng)小，證(zheng)明了其對鈉離子(zi) Eb 的(de)預(yu)測更(geng)(geng)加可靠。
在(zai)微調階段（如下圖所示），預(yu)訓練后的(de)(de) CGformer 在(zai) 200 輪(lun)微調中(zhong)，10 輪(lun)左右 MAE 即顯著下降，最終 10 折(zhe)交叉驗證平均 MAE 僅(jin)為 0.0361；微調后預(yu)測(ce)值與(yu)真實值偏差進一步縮小，殘差主要集中(zhong)在(zai) -0.05 到 0.05 范圍內，且呈良(liang)好(hao)正態分布，證明其(qi)對高熵體系 Eb 的(de)(de)預(yu)測(ce)具(ju)有極高精度，體現了其(qi)數據缺失(shi)場景(jing)下的(de)(de)應用潛力。
CGformer 在(zai)計(ji)算得(de)到的高熵鈉 Eb 數據集上的微調(diao)結果
最(zui)終，實驗對 CGformer 篩選出的 6 種最(zui)優(you) HE-NSEs 進行(xing)了實驗合成與電(dian)化(hua)學表征，驗證其結(jie)構與性(xing)能。結(jie)果顯(xian)示，這些材料均(jun)展現出優(you)異的室溫離子電(dian)導(dao)率，在 25℃ 室溫下鈉離子電(dian)導(dao)率在 0.093 至(zhi) 0.256mS/cm 之間，顯(xian)著高(gao)于未(wei)摻雜的 Na₃Zr₂Si₂PO₁₂。
所選 HE-NSEs 的實驗驗證
「人工智能+材料」已成為材料科學發展的主流
「人(ren)(ren)工智能+材(cai)(cai)料(liao)」已(yi)成為當前(qian)材(cai)(cai)料(liao)科學(xue)領域的(de)(de)前(qian)沿研究方向，通過融合人(ren)(ren)工智能技(ji)術與材(cai)(cai)料(liao)研發(fa)、設計和(he)應(ying)用(yong)等(deng)環節，展示(shi)出(chu)兩種(zhong)學(xue)科交叉(cha)的(de)(de)強大發(fa)展潛力(li)和(he)應(ying)用(yong)價(jia)值(zhi)。CGformer 的(de)(de)提出(chu)無疑為人(ren)(ren)工智能在材(cai)(cai)料(liao)科學(xue)領域的(de)(de)應(ying)用(yong)畫上了濃墨重彩的(de)(de)一筆，因其獨特而創(chuang)新(xin)的(de)(de)算法架構(gou)，解決了高熵材(cai)(cai)料(liao)研發(fa)的(de)(de)關鍵性(xing)難題。
CGformer 僅(jin)是 AIMS-Lab 在人工(gong)智(zhi)能與材料科學(xue)領域探索中的(de)冰(bing)山一角，人工(gong)智(zhi)能與材料科學(xue)的(de)交叉(cha)研究(jiu)作(zuo)為(wei)實驗室的(de)主(zhu)要研究(jiu)方向之(zhi)一，早已成為(wei)實驗室的(de)鮮(xian)活注腳，且碩果累累。
同樣是該團隊，去年以「Transformer enables ion transport behavior evolution and conductivity regulation for solid electrolyte」為題，在(zai)國際頂刊 Energy Storage Materials 上展示了其研(yan)究(jiu)(jiu)成果(guo)。研(yan)究(jiu)(jiu)提出了一個名為 T-AIMD 的(de)人工(gong)智能(neng)(neng)模型(xing)，采用(yong) Transformer 網絡架構(gou)，不僅能(neng)(neng)夠大幅(fu)降低計算成本，同時還(huan)能(neng)(neng)快(kuai)速(su)準確地預測任何離(li)子在(zai)任何晶體結構(gou)中的(de)行為。該方(fang)法(fa)將傳(chuan)統(tong) AIMD 模擬(ni)速(su)度提升了 100 倍以上，顯著(zhu)加速(su)了材料性(xing)能(neng)(neng)的(de)評(ping)估過程(cheng)。
論文地址：//www.sciencedirect.com/science/article/abs/pii/S2405829724003829
另(ling)外，德國柏林工業大(da)學(xue)和盧森堡大(da)學(xue)的團隊(dui)也(ye)在(zai) AIP Publishing 發(fa)表他們的相關(guan)研究，提出了一種(zhong)專(zhuan)門(men)設計(ji)用于模擬原(yuan)(yuan)子系統(tong)的深度學(xue)習(xi)架構 SchNet，它利(li)用了連續濾波卷積層，能夠學(xue)習(xi)元素周期表中原(yuan)(yuan)子類型的化學(xue)合理嵌入，在(zai)分子和材料的多種(zhong)化學(xue)性質(zhi)預測(ce)中展示了強大(da)的能力。相關(guan)成果以「SchNet – A deep learning architecture for molecules and materials」為題。
論文地址：//pubs.aip.org/aip/jcp/article-abstract/148/24/241722/962591/SchNet-A-deep-learning-architecture-for-molecules?redirectedFrom=fulltext
從(cong)生活中常見(jian)的(de)塑料包裝、金屬制品，到高端產業(ye)中的(de)納(na)米材料、超導(dao)材料，人類文明(ming)的(de)進(jin)步與材料科學(xue)的(de)發(fa)展可(ke)謂密切相關。而人工智(zhi)能的(de)飛速發(fa)展無疑將在未來的(de)材料科學(xue)中發(fa)揮巨大潛(qian)力，而這也將再次間接(jie)推動人類文明(ming)的(de)進(jin)步。