深度神經(jīng)網(wǎng)絡(luò)(DNNs)在數(shù)據(jù)表征方面技?jí)喝悍迹瑸樘幚韴D像、時(shí)間序列、自然語言、音頻、視頻等處理帶來了重大突破。本文全面回顧了基于UAV圖像的深度學(xué)習(xí)(DL)基本原理，側(cè)重于描述使用無人機(jī)獲取數(shù)據(jù)的分類和回歸技術(shù)。為此，對(duì)國(guó)際科學(xué)期刊數(shù)據(jù)庫(kù)中發(fā)表的232篇論文進(jìn)行了審查，并收集了已發(fā)表的材料，評(píng)估它們?cè)趹?yīng)用、傳感器和技術(shù)方面的特性。

深度神經(jīng)網(wǎng)絡(luò)綜述

DNN 基于神經(jīng)網(wǎng)絡(luò)，由具有特定激活函數(shù)和參數(shù)的神經(jīng)元(或單元)組成，這些神經(jīng)網(wǎng)絡(luò)將輸入數(shù)據(jù)(如無人機(jī)遙感圖像)轉(zhuǎn)換為輸出(如土地利用和土地覆蓋圖)，同時(shí)逐步學(xué)習(xí)更高級(jí)別的特征。

A DNN architecture. This is a simple example of how a DNN may be built. Here the initial layer (Xinput) is composed of the collected data samples. Later this data information can be extracted by hidden layers in a backpropagation manner, which is used by subsequent hidden layers to learn these features’ characteristics. In the end, another layer is used with an activation function related to the given problem (classification or regression, as an example), by returning a prediction outcome (Ylabel).

卷積和遞歸神經(jīng)網(wǎng)絡(luò)

A CNN type of architecture with convolution and deconvolution layers. This example architecture is formed by convolutional layers, where a dropout layer is added between each conv layer, and a max-pooling layer is adopted each time the convolution window-size is decreased. By the end of it, a deconvolutional layer is used with the same size as the last convolutional, and then it uses information from the previous step to reconstruct the image with its original size. The final layer is of a softmax, where it returns the models’ predictions.

分類和回歸方法

? 分類任務(wù)

? 目標(biāo)檢測(cè)

? 語義分割

? 實(shí)例分割

Labeled examples. The first-row consists of a bounding-box type of object detection approach label-example toidentify individual tree-species in an urban environment. The second-row is a labeled-example of instance segmentation to detect rooftops in the same environment.

基于無人機(jī)圖像的深度學(xué)習(xí)

全球傳感器及應(yīng)用

總的來說，在科學(xué)數(shù)據(jù)庫(kù)中收集的文章展示了與其架構(gòu)(CNN或RNN)、評(píng)估(分類或回歸)方法(目標(biāo)檢測(cè)、分割或場(chǎng)景分類)、傳感器類型(RGB、多光譜、高光譜或激光雷達(dá))和地圖背景(環(huán)境、城市或農(nóng)業(yè))，如下圖:

Diagram describing proceedings and articles according to the defined categories using WOS and Google Scholar datasets.

環(huán)境測(cè)繪

基于DNNs的環(huán)境方法在遙感數(shù)據(jù)(包括UAV圖像)方面的應(yīng)用最為廣泛。為了繪制自然特性及其特征，研究通常依賴于與其目標(biāo)極為相關(guān)的方法和程序，并且無法提出或發(fā)現(xiàn)“通用”方法。

城市測(cè)繪

UAV嵌入式傳感器提供的高空間分辨率是其在這些領(lǐng)域使用的主要原因之一。這些圖像中的目標(biāo)檢測(cè)和實(shí)例分割方法是個(gè)性化、識(shí)別和繪制高細(xì)節(jié)目標(biāo)的必要方法。

農(nóng)業(yè)測(cè)繪

在最近的科學(xué)研究中，基于無人機(jī)圖像和DL方法之間的整合極大地促進(jìn)了精準(zhǔn)農(nóng)業(yè)應(yīng)用。與這些方法相關(guān)的大多數(shù)問題涉及用于計(jì)數(shù)植物和檢測(cè)種植區(qū)的目標(biāo)檢測(cè)和特征提取，識(shí)別種植園間隙，將植物物種和入侵物種分割為雜草、物候?qū)W和表型檢測(cè)等。

基于UAV數(shù)據(jù)的深度學(xué)習(xí)展望

不可否認(rèn)，基于DL方法是處理遙感系統(tǒng)產(chǎn)生大量數(shù)據(jù)的強(qiáng)大工具。本節(jié)簡(jiǎn)要評(píng)述了DL和遙感界最新領(lǐng)域之一的近期前景，該領(lǐng)域可通過基于UAV的圖像來實(shí)施。

? 實(shí)時(shí)處理

? 降維

? 領(lǐng)域適應(yīng)和遷移學(xué)習(xí)

? 基于注意力的機(jī)制

? Few-Shot學(xué)習(xí)

? 半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)

? 多任務(wù)學(xué)習(xí)

? 開放數(shù)據(jù)集

? 攝影測(cè)量處理

與軌道和其它航空傳感采集方法相比，UAV平臺(tái)的地面測(cè)繪具有一定優(yōu)勢(shì)：較少的大氣干擾、在較低高度飛行的可能性、以及低運(yùn)營(yíng)成本，使得這種采集系統(tǒng)在商業(yè)和科學(xué)探索中都很受歡迎。但是，對(duì)多個(gè)物體進(jìn)行目視檢查仍然是一項(xiàng)耗時(shí)、有偏差且不準(zhǔn)確的操作。目前，遙感方法的真正挑戰(zhàn)是從此類數(shù)據(jù)中獲取自動(dòng)、快速和準(zhǔn)確的信息。近年來，DL技術(shù)的出現(xiàn)為改善地球表面測(cè)繪提供了可靠和智能的方法。