研究背景：
柑橘果實的檢測是柑橘產(chǎn)量映射中最重要也是最具挑戰(zhàn)性的步驟之一。對于成熟的柑橘，其果實和葉子之間的顏色差異顯著，之前的基于成像的方法可以取得良好的結(jié)果。然而，對于未成熟的綠色柑橘果實的檢測，其果實和葉子的顏色非常相似，所以這項工作要難得多。
研究目標：
開發(fā)出一種結(jié)合色彩和熱成像來檢測未成熟綠色柑橘果實的方法。
研究方法：
本研究使用實驗來確定熱成像的最佳條件。我們建立了一個多模態(tài)成像平臺來整合色彩和熱成像相機。我們還開發(fā)了一種新的圖像配準方法，用于結(jié)合色彩和熱成像并匹配兩種圖像中的果實，從而達到像素級的準確性。
主要發(fā)現(xiàn)：
創(chuàng)建了一種新的顏色-熱成像聯(lián)合概率（CTCP）算法，能夠有效地融合來自色彩和熱成像的信息，將潛在的圖像區(qū)域分類為果實和非果實類別。此外，我們還開發(fā)了算法，將圖像配準、信息融合、果實分類和檢測整合為一步，以便實時處理。使用色彩和熱成像的融合，使得未成熟綠色柑橘果實的檢測率從僅使用色彩圖像的78.1%提高到90.4%，同時精度率也從86.6%提高到了95.5%。
2015 年 8 月 7 日白天（夏季典型的一天）環(huán)境大氣（藍色虛線）、柑橘果實表面（洋紅色線）和柑橘葉表面（綠色虛線）的溫度變化。
在一天中的不同時間獲取的同一柑橘樹冠層的熱圖像。
使用成像系統(tǒng)進行水果檢測的工作流程。
為訓(xùn)練目的而手動標記的柑橘樹冠圖像。樹冠被分成四個圖像，(a)、(b)、(c)、(d)，并用作 Faster R-CNN 的輸入。
基于Faster R-CNN檢測在彩色圖像中提取水果區(qū)域，并根據(jù)圖像配準結(jié)果在熱圖像中提取相應(yīng)的水果區(qū)域。紅色框為彩色圖像中檢測到的水果；藍色框為圖像配準步驟找到的熱圖像中對應(yīng)的水果位置；兩個白色虛線框是彩色和熱圖像中提取的水果區(qū)域。
使用等式將從熱圖像中選擇的 30 個區(qū)域分為水果（紅色圓圈）和非水果（藍色圓圈）類別。(1)。在 30 個區(qū)域中，只有兩個區(qū)域被錯誤分類（用黃色箭頭表示）。
黑色數(shù)據(jù)點和線：The Recall – Precision僅使用彩色圖像檢測結(jié)果的精度曲線。紅色數(shù)據(jù)點：使用融合的顏色和熱信息時的召回率和準確率。