【儀表網(wǎng) 研發(fā)快訊】近日，王欣然教授領(lǐng)導(dǎo)的合作團(tuán)隊(duì)發(fā)布最新研究進(jìn)展：基于二維材料的高效稀疏神經(jīng)網(wǎng)絡(luò)硬件解決方案。
 

　　稀疏性 (Sparsity) 是人腦中的神經(jīng)突觸的本征屬性。在大腦發(fā)育過(guò)程中，超過(guò)一半的突觸會(huì)以細(xì)粒度和非結(jié)構(gòu)化的方式被剪枝 (Pruning)，這是人腦具有高能效的關(guān)鍵因素。受此啟發(fā)，稀疏神經(jīng)網(wǎng)絡(luò) (Sparse neural network) 早在上世紀(jì)九十年代就被提出，已成為人工智能輕量化的主流路徑。
 

　　雖然稀疏神經(jīng)網(wǎng)絡(luò)中90%的權(quán)重可以被剪枝，但剪枝過(guò)程中需要反復(fù)與外部存儲(chǔ)設(shè)備進(jìn)行索引(Indexing)，消耗了整個(gè)系統(tǒng)90%以上的能耗和時(shí)延。類比于分離計(jì)算和存儲(chǔ)的馮·諾依曼瓶頸，索引過(guò)程成為稀疏神經(jīng)網(wǎng)絡(luò)硬件的瓶頸(圖1)。目前產(chǎn)業(yè)界主流方案為英偉達(dá)自A100芯片開(kāi)始提出的大粒度、結(jié)構(gòu)化剪枝 (Structured pruning)，其本質(zhì)是通過(guò)一定程度的精度犧牲來(lái)減輕索引開(kāi)銷，并未在根本上解決索引瓶頸。
 

圖1 硬件的索引瓶頸造成稀疏神經(jīng)網(wǎng)絡(luò)效率低下
 

　　為了解決稀疏神經(jīng)網(wǎng)絡(luò)軟硬件不適配的問(wèn)題，王欣然教授領(lǐng)導(dǎo)的合作團(tuán)隊(duì)借鑒了神經(jīng)生物學(xué)模型：支持突觸產(chǎn)生、剪枝、重新生長(zhǎng)等動(dòng)態(tài)行為的，并非神經(jīng)元本身，而是環(huán)繞在神經(jīng)元和突觸周圍的星形膠質(zhì)細(xì)胞 (Astrocytes) 和小膠質(zhì)細(xì)胞 (Microglial) 。受此啟發(fā)，稀疏性信息在位置上也需要盡可能接近權(quán)重信息，并直接參與稀疏運(yùn)算。
 

　　在本工作中，團(tuán)隊(duì)首次提出了“存內(nèi)稀疏”計(jì)算架構(gòu) (In-Memory Sparsity)，其把稀疏神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程抽象為稀疏矩陣和權(quán)重矩陣的Hadamard乘積，并集成在一個(gè)單元內(nèi)部 (圖2)。整個(gè)稀疏網(wǎng)絡(luò)的硬件基于二硫化鉬 (MoS2)鐵電晶體管技術(shù)，每個(gè)單元包含兩個(gè)鐵電晶體管，其中模擬鐵電晶體管用于存儲(chǔ)權(quán)重?cái)?shù)據(jù)，而數(shù)字鐵電晶體管用于編碼稀疏性信息，直接決定權(quán)重是否被修剪。稀疏性信息被提前編程而免除了外部索引，從而大大降低了稀疏神經(jīng)網(wǎng)絡(luò)訓(xùn)練的開(kāi)銷。
 

圖2 “存內(nèi)稀疏”架構(gòu)設(shè)計(jì)
 

　　為支撐存內(nèi)稀疏架構(gòu)芯片級(jí)并行計(jì)算，團(tuán)隊(duì)開(kāi)發(fā)了以矢量近似更新算法 (Vectorial Approximate Updating, VAU) 為核心的軟件-硬件協(xié)同優(yōu)化方法 (Software-Hardware Co-Optimization, SHCO)。其要點(diǎn)在于：摒棄傳統(tǒng)更新方案中完全精確但低效的逐個(gè)單元更新、以及高效卻失準(zhǔn)的行列更新，而是在預(yù)先的稀疏性編碼的基礎(chǔ)上，以行列為最小單元進(jìn)行近似更新。結(jié)果表明，VAU算法在稀疏硬件上實(shí)現(xiàn)的精確度可以和理論值媲美，證明了軟硬件協(xié)同優(yōu)化的必要性?；诖鎯?nèi)稀疏架構(gòu)和軟硬件協(xié)同優(yōu)化方法，團(tuán)隊(duì)制備了硬件陣列，完成了多種稀疏訓(xùn)練過(guò)程的片上實(shí)測(cè)：包括預(yù)訓(xùn)練、剪枝、過(guò)剪、以及重新生長(zhǎng)，最后在75%的稀疏率下實(shí)現(xiàn)了98.4%的EMNIST手寫(xiě)字母分類 (圖3)。
 

　　為了證明硬件方案的可拓展性，團(tuán)隊(duì)基于NeuroSim仿真工具，將經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)VGG8-Net部署在三種不同的硬件架構(gòu)上：密集硬件、傳統(tǒng)稀疏硬件、以及本文提出的免索引稀疏硬件。仿真證明，存內(nèi)稀疏架構(gòu)的免索引稀疏硬件，首次基于極細(xì)粒度和非結(jié)構(gòu)化稀疏性，實(shí)現(xiàn)一個(gè)數(shù)量級(jí)的能耗和時(shí)延收益。
 

圖3 基于免索引硬件的片上稀疏訓(xùn)練
 

　　綜上所述，受人腦啟發(fā)，團(tuán)隊(duì)首次提出了稀疏神經(jīng)網(wǎng)絡(luò)的“存內(nèi)稀疏”計(jì)算架構(gòu)，并基于二維半導(dǎo)體鐵電晶體管技術(shù)進(jìn)行了免索引單元開(kāi)發(fā)和陣列級(jí)片上演示，打破了稀疏神經(jīng)網(wǎng)絡(luò)硬件長(zhǎng)期面臨的瓶頸。本工作也充分展示了二維半導(dǎo)體等新材料、新器件技術(shù)賦能人工智能硬件的巨大潛力：二維材料具有低溫后道工藝兼容的特點(diǎn)，可以與成熟的硅基電路進(jìn)行三維單片集成，突破先進(jìn)封裝技術(shù)在互聯(lián)密度方面的局限，進(jìn)一步提升近存、存算芯片的能效。
 

　　該成果以“An index-free sparse neural network using two-dimensional semiconductor ferroelectric field-effect transistors”為題發(fā)表于國(guó)際頂級(jí)期刊《Nature Electronics》。南京大學(xué)電子學(xué)院博士生寧宏凱、溫恒迪、碩士生孟苑為共同第一作者，王欣然教授(南京大學(xué)，蘇州實(shí)驗(yàn)室)、于志浩教授(南京郵電大學(xué))、傅玉祥副教授(南京大學(xué))為論文通訊作者，共同作者還包括南京大學(xué)施毅教授、李麗教授、李衛(wèi)勝副教授、李濤濤副教授、南京郵電大學(xué)高麗教授等。該工作得到了國(guó)家重點(diǎn)研發(fā)項(xiàng)目、國(guó)家自然科學(xué)基金、江蘇省前沿引領(lǐng)等項(xiàng)目的支持。王欣然教授感謝新基石科學(xué)基金會(huì)科學(xué)探索獎(jiǎng)和雅辰基金的大力支持。