【儀表網(wǎng) 儀表研發(fā)】憶阻器，全稱記憶電阻器，是表示磁通與電荷關(guān)系的電路器件，是除電阻器、電容器和電感器以外的第四大電路元件。它實際上就是一個有記憶功能的非線性電阻器。憶阻具有電阻的量綱，但和電阻不同的是，憶阻的阻值是由流經(jīng)它的電荷確定。因此，通過測定憶阻的阻值，便可知道流經(jīng)它的電荷量，從而有記憶電荷的作用。
 

　　近年來，以深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)為代表的人工智能技術(shù)，在人臉識別、自動駕駛、智慧城市和健康監(jiān)測等領(lǐng)域迅速發(fā)展。然而，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型在處理多任務(wù)連續(xù)學(xué)習(xí)時面臨災(zāi)難性遺忘問題，即神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)新任務(wù)時會遺忘已學(xué)到的知識，導(dǎo)致在執(zhí)行先前任務(wù)時性能大幅下降。
 

　　中國科學(xué)院院士、中科院微電子研究所微電子器件與集成技術(shù)重點實驗室研究員劉明團(tuán)隊研究員尚大山、香港大學(xué)博士王中銳與清華大學(xué)教授劉勇攀等，基于憶阻器存算一體芯片，開發(fā)了一款軟-硬件協(xié)同設(shè)計的連續(xù)學(xué)習(xí)原型系統(tǒng)。
 

　　在軟件方面，受人類大腦啟發(fā)，科研團(tuán)隊提出了一種基于突觸元可塑性的混合精度連續(xù)學(xué)習(xí)模型(MPCL)。該模型采用前饋全連接神經(jīng)網(wǎng)絡(luò)架構(gòu)，其中隱藏層權(quán)重分別由二值權(quán)重和浮點型權(quán)重兩部分組成(圖a)。模型進(jìn)行多任務(wù)連續(xù)學(xué)習(xí)時采用非對稱權(quán)重更新策略，通過限制與新任務(wù)相關(guān)性弱的權(quán)重更新，平衡權(quán)重的可塑性與穩(wěn)定性，從而有效緩解災(zāi)難性遺忘(圖b)。
 

　　在硬件方面，科研人員將MPCL模型部署在一個由憶阻器(RRAM)存算一體(IMC)芯片和通用數(shù)字處理器組成的混合模擬數(shù)字硬件系統(tǒng)上(圖c)。通過將二進(jìn)制權(quán)重映射到憶阻器陣列，該系統(tǒng)采用IMC計算范式，利用基爾霍夫定律和歐姆定律加速向量矩陣乘法操作，減少了處理器和存儲器之間數(shù)據(jù)傳輸?shù)哪芰亢蜁r間開銷。
 

　　同時，為減輕憶阻器非理想因素對系統(tǒng)性能的影響，研究團(tuán)隊在軟件模擬中重構(gòu)了與硬件完全相同的計算流程，利用原位精調(diào)的方法優(yōu)化了權(quán)重的映射過程，并使硬件系統(tǒng)在保持推理準(zhǔn)確率的同時最大限度地提高計算并行度(圖d)。
 

　　據(jù)了解，該原型系統(tǒng)在MNIST和Fashion MNIST數(shù)據(jù)集上分別實現(xiàn)五個任務(wù)連續(xù)學(xué)習(xí)94.9%和95.3%的平均準(zhǔn)確率(圖e)，同時，相較于傳統(tǒng)數(shù)字系統(tǒng)，核心運算能耗得到大幅降低(圖f)。這種基于憶阻器存算一體能力的連續(xù)學(xué)習(xí)實現(xiàn)方案，為未來構(gòu)建具有自適應(yīng)能力的低能耗人工智能體提供了參考。
 

　　近日，相關(guān)研究成果發(fā)表在《先進(jìn)智能系統(tǒng)》(Advanced Intelligent Systems)上。Wiley學(xué)術(shù)出版集團(tuán)科技新聞網(wǎng)站Advanced Science News以Continual learning, just like humans為題，對該成果進(jìn)行了專題報道。研究工作得到科技部、國家自然科學(xué)基金委員會、中科院與香港大學(xué)的支持。
 

　　a、混合精度連續(xù)學(xué)習(xí)模型程序框圖；b、非對稱更新策略限制權(quán)重更新；c、基于憶阻器芯片的數(shù)模混合硬件系統(tǒng)；d、并行度優(yōu)化前后準(zhǔn)確率對比；e、多任務(wù)連續(xù)學(xué)習(xí)的硬件準(zhǔn)確率與軟件基準(zhǔn)對比；f、與數(shù)字系統(tǒng)MAC功耗對比。