近期，信息學(xué)院（人工智能學(xué)院）盧昊副教授研究團隊聯(lián)合中國林業(yè)科學(xué)研究院、瑞士聯(lián)邦森林、雪與景觀研究所（WSL）等機構(gòu)研究人員，在遙感領(lǐng)域頂刊《Remote Sensing of Environment》（中國科學(xué)院一區(qū)Top，IF=11.1）上發(fā)表題為"Towards a point cloud understanding framework for forest scene semantic segmentation across forest types and sensor platforms"的研究成果。該研究針對復(fù)雜森林場景，提出了大規(guī)模三維點云理解的神經(jīng)網(wǎng)絡(luò)模型Sen-net，實現(xiàn)了點云多種組分的高精度語義分割。
森林場景往往具有復(fù)雜三維結(jié)構(gòu)，包括林木（含樹干、樹枝、樹葉）和其他（草、灌、地面等）多種成分，這些成分對森林生態(tài)系統(tǒng)的作用和影響是不同的。通過遙感技術(shù)測量這些成分，對定量、精確、完整地理解森林生態(tài)過程具有重要意義。無人機激光雷達（LiDAR）三維點云是進行森林三維結(jié)構(gòu)刻畫的有力工具，但復(fù)雜的成分和結(jié)構(gòu)使點云數(shù)據(jù)難以采用傳統(tǒng)的特征工程、啟發(fā)式方法或機器學(xué)習(xí)進行高精度語義分割。
團隊基于長期在三維點云處理方面的研究，充分發(fā)揮“遙感—林草—AI”學(xué)科交叉融合的優(yōu)勢，發(fā)展了數(shù)據(jù)驅(qū)動的深度神經(jīng)網(wǎng)絡(luò)模型，從森林場景三維點云有效分離出樹葉、木質(zhì)成分、低矮植被及地面。針對這一目標(biāo)：
（1）獨立構(gòu)建了大規(guī)模森林場景點云標(biāo)注數(shù)據(jù)集Lin3D。針對國際上該領(lǐng)域標(biāo)注數(shù)據(jù)稀缺的問題，構(gòu)建了總面積超過20000 m2、包含不同氣候帶、森林類型、樹種、林分密度、地形條件的數(shù)據(jù)集Lin3D。
圖1. 大規(guī)模數(shù)據(jù)集Lin3D示例
（2）設(shè)計和訓(xùn)練了專門針對森林場景三維點云理解的神經(jīng)網(wǎng)絡(luò)模型Sen-net。結(jié)合長距離上下文信息與數(shù)據(jù)集先驗知識，基于語義驅(qū)動融合多尺度特征，通過自適應(yīng)學(xué)習(xí)方式，有效將森林場景“端到端”地分割為樹葉、木質(zhì)成分、低矮植被及地面組分。
圖2. Sen-net網(wǎng)絡(luò)架構(gòu)
在Lin3D數(shù)據(jù)集上，Sen-net總體正確率、平均交并比分別達到97.6%和85.1%；在國際公開數(shù)據(jù)集上，總體正確率、平均交并比分別達到94.5%和78.2%，說明Sen-net在準(zhǔn)確性和泛化能力方面表現(xiàn)出色，優(yōu)于同類方法。該網(wǎng)絡(luò)無需調(diào)節(jié)參數(shù)，使用方便，泛化能力強，適用于森林場景點云分析，并可作為森林場景點云處理算法的基礎(chǔ)性框架，該研究成果表明團隊在這一領(lǐng)域的研究處于國際前沿水平。
圖3. Sen-net對Lin3D數(shù)據(jù)的分割結(jié)果
圖4. Sen-net對幾個國際公開數(shù)據(jù)的分割結(jié)果
盧昊副教授為第一作者，信息學(xué)院2024屆碩士畢業(yè)生李博文和中國林業(yè)科學(xué)研究院資源信息研究所龐勇研究員為通訊作者。
該研究受到國家重點研發(fā)計劃項目“森林資源激光雷達遙感動態(tài)監(jiān)測與蓄積量估測技術(shù)聯(lián)合研發(fā)”（2020YFE0200800）、國家自然科學(xué)基金項目“多源機載LiDAR數(shù)據(jù)融合的落葉松表型分析方法研究”（42001376）和雄安新區(qū)科技創(chuàng)新專項“雄安新區(qū)綠色生態(tài)城市智慧森林經(jīng)營關(guān)鍵技術(shù)應(yīng)用與示范”（2023XAGG0065）的資助。
論文鏈接：https://www.sciencedirect.com/science/article/abs/pii/S0034425724006175
