云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

金山云_建设电影网站_学生机

小七 141 0

自动机器学习和使用Azure机器学习的mlop

Azure Machine Learning是Azure上所有机器学习的中心,无论是创建新模型、部署模型、管理模型存储库,还是自动化机器学习的整个CI/CD管道。我们最近发布了一些关于Azure机器学习的惊人声明,在这篇文章中,我将更深入地了解您的企业在选择机器学习平台时应该考虑的两个最引人注目的功能。在讨论这些功能之前,让我们先了解一下Azure机器学习的基础知识。什么是Azure机器学习?Azure Machine Learning是与机器学习相关的云服务的托管集合,以工作区和软件开发工具包(SDK)的形式提供。它旨在提高以下方面的生产率:大规模构建、培训和部署机器学习模型的数据科学家管理、跟踪和自动化机器学习管道的ML工程师Azure机器学习包含以下组件:可插入任何基于Python的IDE、notebook或CLI的SDK一个计算环境,它提供了扩展和扩展能力,具有自动扩展的灵活性和基于CPU或GPU的基础设施的灵活性一个集中的模型注册表,帮助跟踪模型和实验,不管它们是在哪里创建的,如何创建的托管容器服务与Azure容器实例、Azure Kubernetes服务和Azure IoT Hub集成,用于将模型容器化部署到云和物联网边缘监控服务,帮助跟踪通过机器学习注册和部署的模型的指标让我们通过这个视频向您介绍机器学习,来自Azure机器学习团队的chrislauren展示并演示了它。正如您在视频中看到的,Azure机器学习可以满足任何规模和复杂性的工作负载。请看下面,视频中演示的联网汽车应用程序流程。这也是建立在机器学习基础上的机器学习解决方案的典型模式:可视化:利用Azure机器学习的联网汽车演示架构既然您已经了解了Azure机器学习,那么让我们看看最突出的两个功能:自动机器学习数据科学家在实验阶段花费大量的时间迭代模型。由于工作的单调性和非挑战性,从尝试不同的算法和超参数组合直到建立一个可接受的模型为止的整个过程对数据科学家来说是极其繁重的。虽然这是一个在模型效率方面产生巨大收益的练习,但它有时在时间和资源方面花费太多,因此可能会产生负的投资回报(ROI)。这就是自动机器学习(ML)的用武之地。它利用了概率矩阵分解的研究论文中的概念,并实现了一个自动管道,在考虑给定问题或场景的情况下,基于所提供数据的启发式,尝试智能选择的算法和超仪表设置。此管道的结果是一组最适合给定问题和数据集的模型。视觉:自动机器学习 Automated ML支持分类、回归和预测,它包括处理缺失值、通过停止指标提前终止、您不想探索的黑名单算法,以及更多优化时间和资源的功能。自动化ML旨在帮助专业数据科学家提高工作效率,并将宝贵的时间集中在诸如调整和优化模型之类的专业任务上,同时将真实世界的案例映射到ML问题上,而不是将时间花在单调的任务上,比如用一堆算法反复试验。自动化ML及其新引入的UI模式(类似于向导)也有助于为新手或非专业数据科学家打开机器学习的大门,因为他们现在可以通过利用这些增强的功能和大量生产精确的模型来加快上市时间,从而成为数据科学团队中有价值的贡献者。这种将数据科学团队扩展到少数高度专业化的数据科学家之外的能力,使企业能够大规模投资并获得机器学习的好处,而不必因为缺乏数据科学人才而损害高价值的用例。要了解有关Azure机器学习中的自动化ML的更多信息,请阅读这篇自动化机器学习文章。机器学习操作(MLOps)创建模型只是ML管道的一部分,可以说是更容易的部分。将此模型用于生产并获得数据科学模型的好处是完全不同的游戏。我们必须能够打包模型,部署模型,在不同的部署目标中跟踪和监控这些模型,收集度量,使用这些度量来确定这些模型的有效性,然后根据这些见解和/或新数据对模型进行再培训。除此之外,所有这些都需要一种机制,这种机制可以通过正确的旋钮和刻度盘实现自动化,从而使数据科学团队能够保持一个标签页,而不允许管道变得流氓,这可能会导致相当大的业务损失,因为这些数据科学模型通常与客户行为直接相关。这个问题与应用程序开发团队在管理应用程序和定期发布具有改进特性和功能的新版本方面所面临的问题非常相似。app dev团队使用DevOps解决这些问题,DevOps是管理app dev周期操作的行业标准。能够将相同的过程复制到机器学习周期并不是最简单的任务。可视化:DevOps过程 这是Azure机器学习最闪耀的地方。它提供了最完整、最直观的模型生命周期管理体验,并与azuredevops和GitHub集成。在数据科学家创建并验证了模型或ML管道之后,ML生命周期管理的第一个任务是需要打包,以便可以在需要部署的地方执行。这意味着ML平台需要启用模型及其所有依赖项的容器化,因为容器是跨可伸缩云服务和物联网边缘的默认执行单元。Azure Machine Learning为数据科学家提供了一种简单的方法,可以使用简单的命令来打包他们的模型,这些命令可以跟踪所有依赖关系,比如conda环境、python版本库以及模型引用的其他库,以便模型可以在部署的环境中无缝地执行。下一步是能够对这些模型进行版本控制。现在,生成的代码,比如Python笔记本或脚本,可以在GitHub中轻松地进行版本控制,这是推荐的方法,但是除了笔记本和脚本之外,您还需要一种方法来对模型进行版本控制,这些模型与Python文件不同。这一点很重要,因为数据科学家可能会创建模型的多个版本,并且很容易在寻找更好的准确性或性能时失去对这些版本的跟踪。Azure机器学习提供了一个中央模型注册表,它构成了生命周期管理过程的基础。此存储库支持模型的版本控制,它存储模型度量,允许一键式部署,甚至跟踪模型的所有部署,以便在模型过时或其效能不再可接受的情况下限制使用。拥有这个模型注册表是关键,因为当出现新的更改或指标超过阈值时,它也有助于触发生命周期中的其他活动。可视化:Azure机器学习中的模型注册表一旦一个模型被打包并注册,就可以测试这个打包的模型了。由于包是一个容器,所以最好在Azure容器实例中测试它,这为部署容器提供了一种简单、经济高效的机制。这里重要的是你不必离开Azure机器学习,因为它已经在其工作区内建立了到Azure容器实例的强大链接。您可以通过SDK从工作区或IDE(您已经在使用Azure机器学习)轻松地设置Azure容器实例。一旦您将这个容器部署到Azure容器实例中,您就可以很容易地针对这个模型进行推理以进行测试。在对模型进行了一轮彻底的测试之后,现在是将模型部署到生产环境中的时候了。生产环境是规模、灵活性和严密监控能力的代名词。这就是azurekubernetes服务(AKS)对容器部署非常有用的地方。它提供了扩展功能,因为它是一个集群,可以调整大小以满足业务需求。同样,与Azure容器实例非常相似,azuremachinelearning还提供了从其工作区或用户选择的IDE中设置AKS集群的功能。如果您的模型足够小并且不需要横向扩展需求,那么您还可以将模型用于Azure容器实例上的生产。通常情况并非如此,因为模型是由最终用户应用程序或许多不同的系统访问的,这样的规模规划总是有帮助的。Azure容器实例和AKS都提供了广泛的监视和日志记录功能。一旦您的模型被部署,您希望能够收集模型上的度量。您需要确定模型偏离了它的目标,并且推断对业务是有用的。这意味着您可以捕获许多度量并分析它们。Azure机器学习支持对模型的度量进行跟踪是一种非常有效的方式。中心模型注册表成为所有这些内容的宿主。当您收集到更多的指标和更多的数据可用于培训时,可能需要能够重新培训模型,以期提高其准确性和/