基于可见-近红外光谱技术的田间土壤属性快速检测方法与设备研究

这是一篇关于可见-近红外光谱,偏最小二乘回归,Cubist,直接标准化法,行进式野外光谱采集,土壤属性快速检测设备的论文, 主要内容为随着经济和科技的发展,传统的粗放式农业已无法满足现代人对于环境、资源、健康以及经济效益等的综合需求。精准农业模式应运而生,成为现代农业发展中的一个重要方向。精准农业中需要针对田间每一操作单元的不同土壤与作物条件,调整各项农业物资投入以获得最大经济效益和生态效益。土壤作为农业生产的基础,为作物生长提供必要的营养和环境条件,对其肥力的快速定量检测是实现精准农业的前提。传统化学方法测试需要将土样采回至实验室进行分析,虽然测试精度高,但需要大量人力成本与测试时间,时效性低,无法满足快速获取测试结果的需求。近年来飞速发展的土壤可见-近红外(Vis-NIR)光谱技术克服了传统方法成本高、周期长的缺点,在农业生产中获得广泛应用。本研究以河南省许昌市试验田为样区,在样区内采集240个土壤样品分别进行光谱测量和化学分析,探究不同光谱预处理方法与建模方法对土壤有机质(Soil organic matter,SOM)、全氮(Total nitrogen,TN)以及p H预测的适用性以及去除野外原位光谱中水分影响的方法。在此研究基础上,以平板电脑、Ocean Optics USB2000+VIS-NIR-ES光谱仪、探头、GPS模块等为核心部件研发一套车载式土壤属性快速检测设备,并完成与之配套的设备控制系统以及一套田间土壤信息管理系统的设计与开发。主要研究内容及成果包括以下几个部分:(1)比较不同预处理方法以及两种建模方法对三种土壤属性的估测效果。选取三种预处理方法进行比较,分别为Savitzky–Golay(SG)平滑、标准正态变换(Standard normal variate,SNV)以及连续统去除(Continuum removal,CR);建模方法选用光谱建模最常用的偏最小二乘回归(Partial least squares regression,PLSR)和机器学习算法Cubist。结果表明仅做SG平滑预处理在PLSR及Cubist模型预测中的表现最好,PLSR模型对三种属性的预测精度均优于Cubist模型。基于室内光谱的SG平滑处理结合PLSR建模可以实现对SOM(R2=0.772,RMSE=1.38 g·kg-1)、TN(R2=0.732,RMSE=0.081 g·kg-1)以及p H(R2=0.722,RMSE=0.168)的良好预测。对野外原位光谱使用直接标准化法(Direct standardization,DS)进行转换后用PLSR建模,模型预测精度得到提高,SOM由转换前R2=0.548,RMSE=1.82 g·kg-1提高到R2=0.718,RMSE=1.37 g·kg-1,TN由R2=0.473,RMSE=0.103 g·kg-1提高到R2=0.651,RMSE=0.061 g·kg-1,p H由R2=0.5,RMSE=0.226提高到R2=0.674,RMSE=0.177。(2)使用Ocean Optics USB2000+VIS-NIR-ES型模块式光纤光谱仪作为传感器、加固平板电脑作为控制系统载体、Columbus V-800 MARKⅡGPS接收器作为定位装置,完成一套车载式土壤属性快速检测设备与其控制系统的研发。该设备通过三点悬挂系统连接到农用载具上,实现行进式野外土壤属性检测功能。配套控制系统具备良好人机交互性能,为用户提供光谱仪参数设置、模型优化、光谱及预测数据展示的功能。对该设备进行野外实际测试时,可以完成所有功能,且测试结果显示该设备对三种属性均有一定的检测能力,对SOM、TN和p H预测的决定系数R2分别为0.461、0.416、0.388。(3)基于B/S架构,借助Vue.js框架、My SQL数据库,Java Servlet、JDBC API以及Arc GIS Server开发了一套田间土壤信息管理系统,系统的核心功能为接收快速检测设备中传输过来的数据并实现其在前端的实时运行状态展示以及提供土壤属性的空间分布信息。快速检测设备在田间运行过程中通过GPRS信号将检测结果传输至服务器端,服务器接收并解析信号后,将数据存储至数据库中;前端从数据库获取数据并实现设备运行状态及检测结果的实时展示。上述研究成果基本可实现田间土壤属性的快速测定,为农业生产提供实时数据支持。总体而言,本研究在土壤检测设备研发上进行了一次成功的尝试,不过目前原型设备仍需要继续改进,以更好地满足实际生产需求。

基于可见-近红外光谱技术的田间土壤属性快速检测方法与设备研究

这是一篇关于可见-近红外光谱,偏最小二乘回归,Cubist,直接标准化法,行进式野外光谱采集,土壤属性快速检测设备的论文, 主要内容为随着经济和科技的发展,传统的粗放式农业已无法满足现代人对于环境、资源、健康以及经济效益等的综合需求。精准农业模式应运而生,成为现代农业发展中的一个重要方向。精准农业中需要针对田间每一操作单元的不同土壤与作物条件,调整各项农业物资投入以获得最大经济效益和生态效益。土壤作为农业生产的基础,为作物生长提供必要的营养和环境条件,对其肥力的快速定量检测是实现精准农业的前提。传统化学方法测试需要将土样采回至实验室进行分析,虽然测试精度高,但需要大量人力成本与测试时间,时效性低,无法满足快速获取测试结果的需求。近年来飞速发展的土壤可见-近红外(Vis-NIR)光谱技术克服了传统方法成本高、周期长的缺点,在农业生产中获得广泛应用。本研究以河南省许昌市试验田为样区,在样区内采集240个土壤样品分别进行光谱测量和化学分析,探究不同光谱预处理方法与建模方法对土壤有机质(Soil organic matter,SOM)、全氮(Total nitrogen,TN)以及p H预测的适用性以及去除野外原位光谱中水分影响的方法。在此研究基础上,以平板电脑、Ocean Optics USB2000+VIS-NIR-ES光谱仪、探头、GPS模块等为核心部件研发一套车载式土壤属性快速检测设备,并完成与之配套的设备控制系统以及一套田间土壤信息管理系统的设计与开发。主要研究内容及成果包括以下几个部分:(1)比较不同预处理方法以及两种建模方法对三种土壤属性的估测效果。选取三种预处理方法进行比较,分别为Savitzky–Golay(SG)平滑、标准正态变换(Standard normal variate,SNV)以及连续统去除(Continuum removal,CR);建模方法选用光谱建模最常用的偏最小二乘回归(Partial least squares regression,PLSR)和机器学习算法Cubist。结果表明仅做SG平滑预处理在PLSR及Cubist模型预测中的表现最好,PLSR模型对三种属性的预测精度均优于Cubist模型。基于室内光谱的SG平滑处理结合PLSR建模可以实现对SOM(R2=0.772,RMSE=1.38 g·kg-1)、TN(R2=0.732,RMSE=0.081 g·kg-1)以及p H(R2=0.722,RMSE=0.168)的良好预测。对野外原位光谱使用直接标准化法(Direct standardization,DS)进行转换后用PLSR建模,模型预测精度得到提高,SOM由转换前R2=0.548,RMSE=1.82 g·kg-1提高到R2=0.718,RMSE=1.37 g·kg-1,TN由R2=0.473,RMSE=0.103 g·kg-1提高到R2=0.651,RMSE=0.061 g·kg-1,p H由R2=0.5,RMSE=0.226提高到R2=0.674,RMSE=0.177。(2)使用Ocean Optics USB2000+VIS-NIR-ES型模块式光纤光谱仪作为传感器、加固平板电脑作为控制系统载体、Columbus V-800 MARKⅡGPS接收器作为定位装置,完成一套车载式土壤属性快速检测设备与其控制系统的研发。该设备通过三点悬挂系统连接到农用载具上,实现行进式野外土壤属性检测功能。配套控制系统具备良好人机交互性能,为用户提供光谱仪参数设置、模型优化、光谱及预测数据展示的功能。对该设备进行野外实际测试时,可以完成所有功能,且测试结果显示该设备对三种属性均有一定的检测能力,对SOM、TN和p H预测的决定系数R2分别为0.461、0.416、0.388。(3)基于B/S架构,借助Vue.js框架、My SQL数据库,Java Servlet、JDBC API以及Arc GIS Server开发了一套田间土壤信息管理系统,系统的核心功能为接收快速检测设备中传输过来的数据并实现其在前端的实时运行状态展示以及提供土壤属性的空间分布信息。快速检测设备在田间运行过程中通过GPRS信号将检测结果传输至服务器端,服务器接收并解析信号后,将数据存储至数据库中;前端从数据库获取数据并实现设备运行状态及检测结果的实时展示。上述研究成果基本可实现田间土壤属性的快速测定,为农业生产提供实时数据支持。总体而言,本研究在土壤检测设备研发上进行了一次成功的尝试,不过目前原型设备仍需要继续改进,以更好地满足实际生产需求。

基于可见-近红外光谱技术的田间土壤属性快速检测方法与设备研究

这是一篇关于可见-近红外光谱,偏最小二乘回归,Cubist,直接标准化法,行进式野外光谱采集,土壤属性快速检测设备的论文, 主要内容为随着经济和科技的发展,传统的粗放式农业已无法满足现代人对于环境、资源、健康以及经济效益等的综合需求。精准农业模式应运而生,成为现代农业发展中的一个重要方向。精准农业中需要针对田间每一操作单元的不同土壤与作物条件,调整各项农业物资投入以获得最大经济效益和生态效益。土壤作为农业生产的基础,为作物生长提供必要的营养和环境条件,对其肥力的快速定量检测是实现精准农业的前提。传统化学方法测试需要将土样采回至实验室进行分析,虽然测试精度高,但需要大量人力成本与测试时间,时效性低,无法满足快速获取测试结果的需求。近年来飞速发展的土壤可见-近红外(Vis-NIR)光谱技术克服了传统方法成本高、周期长的缺点,在农业生产中获得广泛应用。本研究以河南省许昌市试验田为样区,在样区内采集240个土壤样品分别进行光谱测量和化学分析,探究不同光谱预处理方法与建模方法对土壤有机质(Soil organic matter,SOM)、全氮(Total nitrogen,TN)以及p H预测的适用性以及去除野外原位光谱中水分影响的方法。在此研究基础上,以平板电脑、Ocean Optics USB2000+VIS-NIR-ES光谱仪、探头、GPS模块等为核心部件研发一套车载式土壤属性快速检测设备,并完成与之配套的设备控制系统以及一套田间土壤信息管理系统的设计与开发。主要研究内容及成果包括以下几个部分:(1)比较不同预处理方法以及两种建模方法对三种土壤属性的估测效果。选取三种预处理方法进行比较,分别为Savitzky–Golay(SG)平滑、标准正态变换(Standard normal variate,SNV)以及连续统去除(Continuum removal,CR);建模方法选用光谱建模最常用的偏最小二乘回归(Partial least squares regression,PLSR)和机器学习算法Cubist。结果表明仅做SG平滑预处理在PLSR及Cubist模型预测中的表现最好,PLSR模型对三种属性的预测精度均优于Cubist模型。基于室内光谱的SG平滑处理结合PLSR建模可以实现对SOM(R2=0.772,RMSE=1.38 g·kg-1)、TN(R2=0.732,RMSE=0.081 g·kg-1)以及p H(R2=0.722,RMSE=0.168)的良好预测。对野外原位光谱使用直接标准化法(Direct standardization,DS)进行转换后用PLSR建模,模型预测精度得到提高,SOM由转换前R2=0.548,RMSE=1.82 g·kg-1提高到R2=0.718,RMSE=1.37 g·kg-1,TN由R2=0.473,RMSE=0.103 g·kg-1提高到R2=0.651,RMSE=0.061 g·kg-1,p H由R2=0.5,RMSE=0.226提高到R2=0.674,RMSE=0.177。(2)使用Ocean Optics USB2000+VIS-NIR-ES型模块式光纤光谱仪作为传感器、加固平板电脑作为控制系统载体、Columbus V-800 MARKⅡGPS接收器作为定位装置,完成一套车载式土壤属性快速检测设备与其控制系统的研发。该设备通过三点悬挂系统连接到农用载具上,实现行进式野外土壤属性检测功能。配套控制系统具备良好人机交互性能,为用户提供光谱仪参数设置、模型优化、光谱及预测数据展示的功能。对该设备进行野外实际测试时,可以完成所有功能,且测试结果显示该设备对三种属性均有一定的检测能力,对SOM、TN和p H预测的决定系数R2分别为0.461、0.416、0.388。(3)基于B/S架构,借助Vue.js框架、My SQL数据库,Java Servlet、JDBC API以及Arc GIS Server开发了一套田间土壤信息管理系统,系统的核心功能为接收快速检测设备中传输过来的数据并实现其在前端的实时运行状态展示以及提供土壤属性的空间分布信息。快速检测设备在田间运行过程中通过GPRS信号将检测结果传输至服务器端,服务器接收并解析信号后,将数据存储至数据库中;前端从数据库获取数据并实现设备运行状态及检测结果的实时展示。上述研究成果基本可实现田间土壤属性的快速测定,为农业生产提供实时数据支持。总体而言,本研究在土壤检测设备研发上进行了一次成功的尝试,不过目前原型设备仍需要继续改进,以更好地满足实际生产需求。

基于可见-近红外光谱技术的田间土壤属性快速检测方法与设备研究

这是一篇关于可见-近红外光谱,偏最小二乘回归,Cubist,直接标准化法,行进式野外光谱采集,土壤属性快速检测设备的论文, 主要内容为随着经济和科技的发展,传统的粗放式农业已无法满足现代人对于环境、资源、健康以及经济效益等的综合需求。精准农业模式应运而生,成为现代农业发展中的一个重要方向。精准农业中需要针对田间每一操作单元的不同土壤与作物条件,调整各项农业物资投入以获得最大经济效益和生态效益。土壤作为农业生产的基础,为作物生长提供必要的营养和环境条件,对其肥力的快速定量检测是实现精准农业的前提。传统化学方法测试需要将土样采回至实验室进行分析,虽然测试精度高,但需要大量人力成本与测试时间,时效性低,无法满足快速获取测试结果的需求。近年来飞速发展的土壤可见-近红外(Vis-NIR)光谱技术克服了传统方法成本高、周期长的缺点,在农业生产中获得广泛应用。本研究以河南省许昌市试验田为样区,在样区内采集240个土壤样品分别进行光谱测量和化学分析,探究不同光谱预处理方法与建模方法对土壤有机质(Soil organic matter,SOM)、全氮(Total nitrogen,TN)以及p H预测的适用性以及去除野外原位光谱中水分影响的方法。在此研究基础上,以平板电脑、Ocean Optics USB2000+VIS-NIR-ES光谱仪、探头、GPS模块等为核心部件研发一套车载式土壤属性快速检测设备,并完成与之配套的设备控制系统以及一套田间土壤信息管理系统的设计与开发。主要研究内容及成果包括以下几个部分:(1)比较不同预处理方法以及两种建模方法对三种土壤属性的估测效果。选取三种预处理方法进行比较,分别为Savitzky–Golay(SG)平滑、标准正态变换(Standard normal variate,SNV)以及连续统去除(Continuum removal,CR);建模方法选用光谱建模最常用的偏最小二乘回归(Partial least squares regression,PLSR)和机器学习算法Cubist。结果表明仅做SG平滑预处理在PLSR及Cubist模型预测中的表现最好,PLSR模型对三种属性的预测精度均优于Cubist模型。基于室内光谱的SG平滑处理结合PLSR建模可以实现对SOM(R2=0.772,RMSE=1.38 g·kg-1)、TN(R2=0.732,RMSE=0.081 g·kg-1)以及p H(R2=0.722,RMSE=0.168)的良好预测。对野外原位光谱使用直接标准化法(Direct standardization,DS)进行转换后用PLSR建模,模型预测精度得到提高,SOM由转换前R2=0.548,RMSE=1.82 g·kg-1提高到R2=0.718,RMSE=1.37 g·kg-1,TN由R2=0.473,RMSE=0.103 g·kg-1提高到R2=0.651,RMSE=0.061 g·kg-1,p H由R2=0.5,RMSE=0.226提高到R2=0.674,RMSE=0.177。(2)使用Ocean Optics USB2000+VIS-NIR-ES型模块式光纤光谱仪作为传感器、加固平板电脑作为控制系统载体、Columbus V-800 MARKⅡGPS接收器作为定位装置,完成一套车载式土壤属性快速检测设备与其控制系统的研发。该设备通过三点悬挂系统连接到农用载具上,实现行进式野外土壤属性检测功能。配套控制系统具备良好人机交互性能,为用户提供光谱仪参数设置、模型优化、光谱及预测数据展示的功能。对该设备进行野外实际测试时,可以完成所有功能,且测试结果显示该设备对三种属性均有一定的检测能力,对SOM、TN和p H预测的决定系数R2分别为0.461、0.416、0.388。(3)基于B/S架构,借助Vue.js框架、My SQL数据库,Java Servlet、JDBC API以及Arc GIS Server开发了一套田间土壤信息管理系统,系统的核心功能为接收快速检测设备中传输过来的数据并实现其在前端的实时运行状态展示以及提供土壤属性的空间分布信息。快速检测设备在田间运行过程中通过GPRS信号将检测结果传输至服务器端,服务器接收并解析信号后,将数据存储至数据库中;前端从数据库获取数据并实现设备运行状态及检测结果的实时展示。上述研究成果基本可实现田间土壤属性的快速测定,为农业生产提供实时数据支持。总体而言,本研究在土壤检测设备研发上进行了一次成功的尝试,不过目前原型设备仍需要继续改进,以更好地满足实际生产需求。

基于改进的深度信念网络的协同过滤算法研究

这是一篇关于深度信念网络,受限玻尔兹曼机,协同过滤,知识迁移,偏最小二乘回归的论文, 主要内容为深度信念网络(Deep Belief Network,DBN)是一种深度学习模型,它是由若干层受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)有序堆叠组成的概率生成模型,通过无监督训练和有监督训练可以对样本数据进行特征学习和预测分类。DBN具有强大的特征学习能力,适用于推荐领域。然而,传统DBN存在以下不足:第一,DBN训练仅局限于评分数据,评分数据的稀疏性严重降低了模型的预测与推荐性能;第二,当给定具体应用时,DBN难以快速确定最佳网络结构,训练过程中的固定结构增加了计算负担。另外,在反向微调过程中存在梯度弥散问题,即从顶层到底层的纠错信号会变得越来越小,梯度弥散问题是DBN模型陷入局部最优的主要原因。针对DBN存在的上述问题,本文通过优化RBM和DBN的基本结构以改进DBN,并将改进的DBN与协同过滤算法相结合,以提高模型推荐性能。本文完成的主要工作如下:1.分析了多种推荐算法的研究现状,利用深度学习的优势,构建深度学习模型与协同过滤算法的联系,以解决基于模型的协同过滤算法在评分预测问题中存在的不足。2.本文在DBN模型的基础上提出了相似受限玻尔兹曼机-深度信念网络(Similar RBM-DBN,SRBM-DBN)模型,此模型在原有基础上做了以下改进:首先,此模型的输入数据可直接使用评分数据的实型数值作为输入层单元状态,不需要转换成二值状态,从而使得模型参数变少、训练效率更高、应用范围更广;其次,对模型的基本结构进行扩展,在第一层RBM模型的基础上融合了相似用户层作为提取用户特征的辅助条件,从而缓解了数据稀疏性带来的目标用户特征稀缺的问题,使模型在数据高稀疏性下能表现出不错的预测性能。3.本文提出了一种基于逆用户频率权重的用户特征向量相似度计算方法,通过计算项目贡献权重,以此作为计算相似用户的依据,并将该用户相似度计算方法与改进的SRBM-DBN模型结合起来预测目标用户的缺失评分,从而提高了模型的预测准确率。4.针对深度信念网络难以快速确定最佳网络结构问题,本文提出了一种基于知识迁移的SRBM-DBN模型结构自主构建方法。该方法包含两种操作:扩展网络宽度和扩展网络深度,通过将原始网络中学习到的知识迁移到新的更复杂的网络中,以此加快了复杂网络模型的训练时间。另外,在反向微调过程中,本文采用自上而下的逐层偏最小二乘回归(Partial Least Square Regression,PLSR)方法替代反向传播(Back Propagation,BP)算法,从而提高了模型收敛速度和微调精度。综上所述,本文对深度信念网络的基本结构进行优化,提出融合相似用户层的SRBM-DBN模型,该模型通过基于逆用户频率权重的用户特征向量相似度计算方法计算相似用户,以缓解数据稀疏性带来的特征稀缺的问题,提高了模型提取特征的能力和评分预测的准确率;同时,通过基于知识迁移的SRBM-DBN自主构建方法,以此加快复杂网络模型的训练时间,提高了模型收敛速度和微调精度。