XK星空官网 ICT技术更新农业：基于深度学习的新型、更先进的图像识别技术
相关图像传感器允许入射光和参考信号之间的时间相关性，这是相机内部的一种信号处理技术。 Toru Kurihara 副教授通过使用这些特殊传感器研究三维测量和形状检查技术，取得了成果。自2017年起，他参与了我校推动的内阁办公室项目IoP（植物互联网）的先进下一代温室园艺。为了提高水果和蔬菜的检测精度（农业工作自动化的关键点），栗原正在开发更先进的图像识别技术，不仅使用普通彩色图像，还使用光谱和热成像等附加信息。
光学滤波器的设计，以提高RGB相机的检测精度
随着日本农业人口减少的加剧，人们的注意力转向使用机械的自动化农业工作的自动化，人们正在积极开发收割机器人，以取代人类进行耗时的收割工作。这里采用的许多技术都是使用普通相机拍摄的图像来检测水果，并用三种 RGB 颜色表示。然而，颜色与叶子和茎相似的绿色水果（如甜椒）很难使用 RGB 图像进行检测，并且自动化的障碍仍然很大。高光谱相机以前被用来识别颜色与背景颜色相似的水果。使用这些相机，可以以高波长分辨率获取每个像素的光谱强度，并识别普通相机或人类视觉无法确认的光谱强度的微小差异。
另一方面，高光谱相机价格昂贵，农民难以广泛采用。 Kurihara 认为，为了提高难以检测的甜椒的识别精度，“我们可以使用廉价的 RGB 相机从高光谱数据中提取有效信息，从而提供一个最大限度地利用这些信息的框架。”因此，他建议为 RGB 相机配备滤光片，以提取有效识别甜椒的波长。他利用深度学习技术设计了新技术来设计这些光学滤波器。
“将信息截断为 RGB 三种颜色是之前深度学习的起点，但在现实世界中，存在无限维的光谱信息。我的想法是重建一个神经网络作为充分利用这些信息的框架。”
正如栗原所说，深度学习是以 RGB 彩色图像的输入为前提的，研究人员试图通过在该阶段之后设计网络结构来提高识别能力。有了这项新技术，栗原决定放弃这个前提，以高光谱图像作为输入，在 RGB 彩色滤光片之前放置光学滤光片，并采用一种能够选择可用于识别的波长的结构。另一个关键点是通过学习来设计滤光片，将 RGB 滤色片插入具有固定权重的深度学习网络中。使用这种方法，可以通过对以下所有内容的深度学习来实现同时优化：通过实现为可学习权重的光学滤波器选择波长，以及将彩色图像作为输入的分割网络，因为每个像素都被截断为三种颜色。
“普通相机根据型号的不同，波长敏感度也不同，因此必须固定 RGB 滤色镜，才能同时设计对特定相机有效的光学滤光片和神经网络。也就是说，如果在深度学习过程中，我们将 RGB 滤色镜定义为固定权重，其值不会因学习而改变，那么对于可学习的可变光学滤光片权重和以 RGB 为起点的识别神经网络来说，同时进行学习，并且可以同时设计光学滤光片和最适合要使用的相机型号的识别部分。”
通过使用所提出的方法，捕获了正在生长的甜椒的高光谱图像，从这些图像中为每个像素创建学习数据，并进行识别。结果，精度提高了约 2%。也就是说，栗原成功导出了光学滤波器系数，使精度提高了 2%。他的目标是与公司合作生产基于这些结果设计的光学滤波器，并实现作为智能手机新架构的开发。
开发利用热成像相机和温差的水果和蔬菜检测方法
通过颜色和形状识别水果不仅是自动化采收的需要，也是收获预测和了解生长情况等操作的需要。为了检测普通相机难以检测的水果，栗原还在研究利用热成像相机拍摄的热图像的时间序列变化的技术。一般来说，人们认为，在由相同材料制成的物体中，体积较大的物体温度变化较小，而水果的温度变化往往比叶子和茎的温度变化较小。因此，栗原用热成像相机对生长中的茄子进行了长期拍摄，结果发现，与叶子和茎相比，果实的温度变化缓慢。他通过将日落时两小时内温度的时间序列变化拟合成指数函数，成功地将水果与叶子和茎分开。
在某些情况下，由于病害造成的作物损害或环境压力，植物叶子的温度明显升高，因此热成像相机被应用于早期检测姜根茎腐病，这是一种影响姜的疾病，危害很大。在固定时间内连续拍摄患病和未患病的植物，对测量数据进行分析时发现，从确诊发病前2-4天开始，患病植物的叶温较高，这表明可以比通过人的目视检查更快地确认患病植物。
Kurihara：“正如本研究中所研究的那样，通过将彩色相机和热成像相机放置在同一位置并创建彩色图像与热成像图像叠加的数据，我们可以配置具有四个通道（RGB 和热）的神经网络，并且有很大潜力进一步提高检测精度。”显然，通过将光谱和热成像元素与彩色图像相结合，可以开发出更高精度的识别技术。
“我未来的目标是与对高精度识别技术感兴趣的公司人员一起开发廉价、最先进的自动收割机器人。”
