机器学习算法，特别是深度学习神经网络通常会产生提高预测精度的模型。但是准确度是以更高的计算和内存消耗为代价的。深度学习算法，云服务器主机，也称为模型，农业物联网，由计算层组成，每层计算数千个参数，大数据与云计算，并以迭代方式传递给下一层。输入数据的维数越高（例如，高分辨率图像），计算需求就越高。云中的GPU场通常用于满足这些计算要求。

当机器学习用于检测制造过程中的产品质量、预测关键设备的健康状况或视频监控等用例时，预计推理将以近乎实时的方式进行。在云端进行推断需要将数据从源端移动到云端，并带来了几个挑战：（a）将数据带到云端进行实时推断的成本很高，（b）将数据从边缘带到云端将导致更高的网络延迟，（c）将数据从边缘发送到云端会带来可伸缩性问题，因为连接设备的数量增加，以及（d）用户数据的安全问题有可能将数据发送到云端。

边缘计算是一种分布式计算范式，它使计算和数据存储更接近需要的位置，以提高响应时间和节省带宽。虽然边缘计算解决了连接性、延迟、可伸缩性和安全挑战，但是边缘设备上的深度学习模型的计算资源需求很难在较小的设备上实现。在确定边缘设备的硬件类型之前，淘客助手，重要的是为推断建立关键性能指标。在较高的层次上，边缘机器学习的关键性能指标可以概括为延迟、吞吐量、设备能耗和准确性。延迟是指推断一个数据点所需的时间，吞吐量是指每秒的推断调用数，准确度是用例所需的预测输出的置信度。根据这些要求，在资源受限的边缘设备上，可以采用以下一种或多种方法来加速推理。

边缘设备的正确机器学习模型

研究人员发现，减少深度神经网络模型中的参数数目有助于减少模型推理所需的计算资源。一些使用这种技术的流行型号的精度降低最小（或没有）是YOLO、MobileNets、固态驱动器（SSD）和squezenet。许多预先训练好的模型都可以下载并在开源平台上使用，如TensorFlow或PyTorch.

模型压缩是在边缘设备上执行模型的另一种技术。与原始模型相比，多线云主机，压缩模型可能会失去一些精度，但在许多情况下这是可以接受的。通过使用多种压缩技术和缓存中间结果以迭代方式重用，研究人员提高了深层神经网络模型的执行速度。DeepMon就是这样一个机器学习框架，用于边缘设备的连续计算机视觉应用。TensorFlow Lite正在使用类似的技术在边缘运行模型。

边缘硬件

为了加快边缘推理，硬件供应商建议增加边缘设备中CPU核心或GPU的数量。也有专门的硬件组件，如谷歌的edge TPU或英特尔、微软等公司的基于FPGA（现场可编程门阵列）的深度学习加速器。

软件

硬件供应商越来越多地进入机器学习领域，并提供工具和SDK来支持其现有的投资和创新。这些工具包有助于有效地利用硬件资源进行深入学习，从而加快执行速度。英特尔的OpenVino工具包利用了包括CPU、GPU、FPGA和vision处理单元在内的英特尔芯片。Nvidia的EGX平台和高通公司的Neural Processing SDK支持各自的硬件。还有一些通用库，如RSTensorFlow，它使用gpu来加速深度学习模型中的矩阵操作。

一般来说，改善深度学习模型的性能仍然存在许多挑战。但很明显，该模型的推理正在向边缘设备移动。理解业务用例和模型的关键性能需求对于在资源受限的设备上加速执行非常重要。SAP Edge Services和Data Intelligence共同提供了一个端到端工具，用于在云中培训机器学习模型，并管理边缘设备的生命周期和执行。