【儀表網(wǎng) 儀表研發(fā)】近年來，以深度學(xué)習(xí)為代表的計(jì)算超分辨方法可在不損失其他成像性能的前提下，提升顯微圖像分辨率或信噪比，表現(xiàn)出廣闊的應(yīng)用前景。然而，針對(duì)生物醫(yī)學(xué)研究必需高保真度、可定量分析的圖像要求，深度學(xué)習(xí)顯微成像方法存在三大共性問題：受限于深度學(xué)習(xí)內(nèi)秉的頻譜頻移(spectral-bias)問題，輸出圖像分辨率無法達(dá)到真值(ground truth)水平；受限于超分辨重建、去噪問題的病態(tài)性(ill-posed problem)和神經(jīng)網(wǎng)絡(luò)模型的不確定性(model-uncertainty)，重建或預(yù)測(cè)結(jié)果的真實(shí)性無法得到保障；深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需要大量數(shù)據(jù)，但高質(zhì)量訓(xùn)練數(shù)據(jù)的采集在許多應(yīng)用場(chǎng)景下極其困難、甚至無法實(shí)現(xiàn)。當(dāng)前，深度學(xué)習(xí)顯微成像方法的研究和發(fā)展如火如荼，并表現(xiàn)出超越傳統(tǒng)成像性能極限的潛力，但上述問題阻礙了現(xiàn)有深度學(xué)習(xí)超分辨或去噪方法在生物顯微成像實(shí)驗(yàn)中的使用。
 

　　10月6日，中國(guó)科學(xué)院生物物理研究所李棟課題組聯(lián)合清華大學(xué)自動(dòng)化系、清華大學(xué)腦與認(rèn)知科學(xué)研究院、清華-IDG/麥戈文腦科學(xué)研究院戴瓊海課題組，美國(guó)霍華德休斯醫(yī)學(xué)研究所博士Jennifer Lippincott-Schwartz，在Nature Biotechnology上，以長(zhǎng)文(Article)的形式，發(fā)表了題為Rationalized deep learning super-resolution microscopy for sustained live imaging of rapid subcellular processes的論文。該研究提出了一套合理化深度學(xué)習(xí)(rationalized deep learning，rDL)顯微成像技術(shù)框架，將光學(xué)成像模型及物理先驗(yàn)與神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)相融合，合理化網(wǎng)絡(luò)訓(xùn)練、預(yù)測(cè)過程，從而實(shí)現(xiàn)了高性能、高保真的顯微圖像去噪與超分辨重建，并結(jié)合實(shí)驗(yàn)室自主研發(fā)、搭建的多模態(tài)結(jié)構(gòu)光照明顯微鏡(Multi-SIM)與高速晶格光片顯微鏡(LLSM)，將傳統(tǒng)TIRF/GI-SIM、3D-SIM、LLS-SIM和LLSM的成像速度/時(shí)程提升30倍以上，實(shí)現(xiàn)了當(dāng)前國(guó)際最快(684Hz)、成像時(shí)程最長(zhǎng)(最長(zhǎng)可達(dá)3小時(shí)、60,000時(shí)間點(diǎn)以上)的活體細(xì)胞成像性能，首次對(duì)高速擺動(dòng)纖毛(>30Hz)中轉(zhuǎn)運(yùn)蛋白(IFT)的多種運(yùn)輸行為以及完整細(xì)胞分裂過程中核仁液液相分離(liquid-liquid phase separation)過程進(jìn)行快速、多色、長(zhǎng)時(shí)程、超分辨觀測(cè)。Nature Biotechnology針對(duì)這一工作同時(shí)發(fā)表了評(píng)述文章(Research Briefing)。
 

　　具體而言，李棟/戴瓊海研究團(tuán)隊(duì)提出的合理化深度學(xué)習(xí)結(jié)構(gòu)光超分辨重建架構(gòu)(rDL SIM)不同于現(xiàn)有超分辨神經(jīng)網(wǎng)絡(luò)模型的端到端(end-to-end)訓(xùn)練模式，而是采用分步重建策略，首先利用所提出的融合成像物理模型和結(jié)構(gòu)光照明先驗(yàn)的神經(jīng)網(wǎng)絡(luò)對(duì)原始SIM圖像進(jìn)行去噪和高頻信息增強(qiáng)，然后通過經(jīng)典解析算法進(jìn)行SIM重建以獲得最終的超分辨圖像。相比于該團(tuán)隊(duì)去年在Nature Methods上提出的超分辨重建神經(jīng)網(wǎng)絡(luò)模型DFCAN/DFGAN，rDL SIM可將超分辨重建結(jié)果的不確定性降低3~5倍，并實(shí)現(xiàn)更高的保真度和重建質(zhì)量；相比于其他去噪算法(如CARE)，rDL SIM可恢復(fù)出調(diào)制在原始圖像中的莫爾條紋，并將高頻信息增強(qiáng)10倍以上。
 

　　此外，針對(duì)晶格光片顯微鏡、共聚焦顯微鏡等寬場(chǎng)照明或點(diǎn)掃描成像模態(tài)，該團(tuán)隊(duì)提出了一種可學(xué)習(xí)的傅立葉域噪聲抑制模塊(FNSM)。該模塊可以利用OTF信息對(duì)顯微圖像中的噪聲進(jìn)行自適應(yīng)濾除。科研團(tuán)隊(duì)以此構(gòu)建了嵌入FNSM的通道注意力去噪神經(jīng)網(wǎng)絡(luò)架構(gòu)，并基于顯微成像數(shù)據(jù)本身的時(shí)空連續(xù)性，提出了時(shí)空交織采樣自監(jiān)督訓(xùn)練策略(TiS/SiS-rDL)。該策略無需額外采集訓(xùn)練數(shù)據(jù)、亦無需保證時(shí)序數(shù)據(jù)具有時(shí)間連續(xù)性，即可實(shí)現(xiàn)媲美監(jiān)督學(xué)習(xí)效果的去噪神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，解決了實(shí)際生物成像實(shí)驗(yàn)中高質(zhì)量訓(xùn)練數(shù)據(jù)難以獲取的難題。
 

　　合理化深度學(xué)習(xí)超分辨顯微成像方法可適用于包括2D-SIM、3D-SIM、LLSM等在內(nèi)的多種顯微成像模態(tài)，提供高分辨率、高保真的顯微圖像重建性能，相較于傳統(tǒng)方法最多可以提升30倍的成像時(shí)程和10倍的成像速度。借助rDL成像技術(shù)，研究團(tuán)隊(duì)開展了諸多過去的成像手段無法開展的超分辨活體成像實(shí)驗(yàn)，并與Lippincott-Schwartz、中科院分子細(xì)胞科學(xué)卓越創(chuàng)新中心研究員朱學(xué)良、中科院遺傳與發(fā)育生物學(xué)研究所研究員何康敏探討了其潛在的生物學(xué)意義，包括：對(duì)滴落在玻片上的U2OS細(xì)胞貼壁生長(zhǎng)過程進(jìn)行雙色、長(zhǎng)時(shí)程(1小時(shí)以上)、超分辨(97nm分辨率)觀測(cè)，清晰、真實(shí)地記錄了細(xì)胞粘附和遷移的動(dòng)力學(xué)現(xiàn)象，且不干擾這一漫長(zhǎng)、脆弱的生命過程；對(duì)高速擺動(dòng)纖毛以當(dāng)前最快的684Hz成像速率進(jìn)行長(zhǎng)達(dá)60,000個(gè)時(shí)間點(diǎn)的連續(xù)超分辨觀測(cè)，且過程中無明顯光漂白或細(xì)胞活性損傷，并對(duì)纖毛擺動(dòng)模式和頻率進(jìn)行統(tǒng)計(jì)分析；對(duì)擺動(dòng)纖毛及纖毛內(nèi)轉(zhuǎn)運(yùn)蛋白(IFT)進(jìn)行超快、超分辨雙色成像，揭示了IFT在行進(jìn)途中碰撞、重組、掉頭等多種新行為；通過對(duì)cCAS-DNA與ER進(jìn)行雙色、長(zhǎng)時(shí)程、超分辨成像，觀測(cè)到cGAS-DNA在保持與ER持續(xù)接觸過程中的定向運(yùn)動(dòng)、轉(zhuǎn)向或擴(kuò)散等行為，拓展了對(duì)膜性細(xì)胞器與無膜細(xì)胞器相互作用機(jī)制的認(rèn)知；對(duì)HeLa細(xì)胞分裂過程中的核仁磷酸蛋白(NPM1)、RNA聚合酶I亞基RPA49及染色質(zhì)(H2B)進(jìn)行超長(zhǎng)時(shí)程(12秒采集間隔，2.5小時(shí)以上)的三維超分辨活體成像，實(shí)現(xiàn)了對(duì)完整有絲分裂過程中NPM1與RPA49兩種結(jié)構(gòu)形態(tài)變化的三維超分辨活體連續(xù)觀測(cè)，揭示了細(xì)胞有絲分裂過程中核仁形成以及NPM1、RPA49兩種無膜亞細(xì)胞結(jié)構(gòu)的相變、互作規(guī)律；以10Hz的全細(xì)胞體成像幀率對(duì)高爾基體進(jìn)行長(zhǎng)達(dá)10,000時(shí)間點(diǎn)的連續(xù)拍攝，并實(shí)現(xiàn)了對(duì)完整細(xì)胞分裂過程內(nèi)質(zhì)網(wǎng)、溶酶體、線粒體等亞細(xì)胞結(jié)構(gòu)的三色、高速(秒量級(jí))、超長(zhǎng)時(shí)程(小時(shí)量級(jí)，>1000個(gè)時(shí)間點(diǎn))三維觀測(cè)，探究了細(xì)胞有絲分裂過程中細(xì)胞器在子代細(xì)胞中的均勻分配機(jī)制。
 

　　李棟/戴瓊海合作團(tuán)隊(duì)通過人工智能算法與光學(xué)顯微成像技術(shù)的交叉創(chuàng)新，提出了合理化深度學(xué)習(xí)超分辨顯微成像框架，解決了現(xiàn)有深度學(xué)習(xí)成像方法分辨率損失、預(yù)測(cè)不確定性、訓(xùn)練集不易采集等難題，可為多種活體顯微成像模態(tài)提供30倍以上的成像速度與時(shí)程的提升，為細(xì)胞生物學(xué)、發(fā)育生物學(xué)、神經(jīng)科學(xué)等領(lǐng)域的發(fā)展提供了重要的研究工具。同時(shí)，該研究團(tuán)隊(duì)所堅(jiān)持和倡導(dǎo)的人工智能算法與光學(xué)成像原理交叉創(chuàng)新、軟硬結(jié)合的研究思路，為現(xiàn)代光學(xué)顯微成像的發(fā)展開辟了新的技術(shù)路徑。
 

　　研究工作得到國(guó)家自然科學(xué)基金、科技部、中科院、中國(guó)博士后科學(xué)基金、騰訊“科學(xué)探索獎(jiǎng)”、清華大學(xué)“水木學(xué)者”計(jì)劃的支持。
 

圖1.合理化深度學(xué)習(xí)超分辨顯微成像神經(jīng)網(wǎng)絡(luò)架構(gòu)
 

圖2.合理化深度學(xué)習(xí)超分辨顯微成像方法應(yīng)用概覽