LinkedIn公司正在向开源社区捐赠另一个内部创建的软件项目。这家现在由微软公司（Microsoft Corp.）所有的公司在开源软件方面有着悠久的历史，包括一些流行的项目，比如apachekafka和它最新的测功器工具。它的最新成果名为"TensorFlow on YARN"，简称"TonY"，旨在帮助将开源TensorFlow机器学习框架与ApacheHadoop中存储的数据连接起来。TensorFlow是Google LLC于2015年发布的开源软件库，旨在让开发者更容易设计、构建和培训深度学习模型。它是最受欢迎的机器学习框架之一，因为它可以训练和运行深层神经网络，用于手写数字分类、图像识别、单词嵌入、递归神经网络、机器翻译和自然语言处理的序列到序列模型。Hadoop是一个分布式处理软件框架，用于管理"大数据"应用程序的数据处理和存储。它处于不断增长的大数据技术生态系统的中心，这些技术主要用于支持高级分析计划，包括预测分析、数据挖掘和机器学习应用程序。LinkedIn软件工程师Jonathan Hung在一篇博客文章中说，公司建立TonY是因为它越来越依赖深度神经网络来支持其网站上的一些功能，包括新闻提要和智能回复。LinkedIn面临的问题是，这些特性中的许多都是使用TensorFlow构建的，TensorFlow缺乏连接Hadoop群集的可靠方式，因此它可以使用这些数据来训练算法。Hung说："我们的Hadoop集群中存储了数百PB的数据，可用于深度学习，因此我们需要一种可伸缩的方式来处理所有这些信息。"。TensorFlow已经支持一种叫做"分布式训练"的技术，这种技术对于处理像Hadoop中存储的大数据集非常有用。但对于LinkedIn来说，最主要的问题是，这个过程需要人工编排，这"不是一项微不足道的任务"，也不是大多数数据科学家都有资格做的事情。因此，黄和他的团队开始创建托尼，以使这项工作自动化。该软件的工作原理类似于MapReduce如何在Hadoop上运行apachepig或Apache配置单元脚本，处理诸如"资源协商和容器环境设置"之类的任务。TonY提供了许多有助于增强神经网络分布式训练作业的功能，包括GPU调度以更好地管理资源；支持TensorBoard，这使TensorFlow程序更易于调试和优化；以及更好的容错能力，允许用户在出现任何问题时从以前保存的检查点恢复训练状态。Constellation Research Inc.的分析师霍尔格·穆勒（Holger Mueller）说，托尼是开源贡献的展示，因为它解决了将TensorFlow与Hadoop连接的关键问题，同时也展示了为什么其他开源项目不太适合。穆勒说："LinkedIn为TonY提供了一个很好的使用案例，同时也证明了这是一个有效且受支持的开源项目。"对于希望用TensorFlow为下一代应用程序提供支持的cxo来说，这一点很重要，因为数据已经在Hadoop中了。它将Hadoop中的数字排气与最流行的深度学习支持神经网络之一相结合。"CxOs的另一个考虑因素是，TonY是由LinkedIn开发的，LinkedIn现在为微软公司所有，因此他们可以放心，从长远来看，它将继续得到支持。穆勒补充道："这给了很多企业一个巨大的信心，相信在关键的发展情况下，他们会有某种杠杆作用。"。LinkedIn表示，它正在开放源代码TonY，以便其他有兴趣在Hadoop上运行分布式机器学习的人可以使用并为该项目做出贡献。从今天开始，可以从GitHub下载TonY。资料图：LinkedIn既然你来了…点击订阅我们的YouTube频道（见下文），显示您对我们使命的支持。我们的订户越多，YouTube就越会向你推荐相关的企业和新兴技术内容。谢谢！支持我们的使命：>>>>>立即订阅我们的YouTube频道。……我们还想告诉你我们的使命，以及你如何帮助我们完成它。SiliconANGLE Media Inc.的商业模式是基于内容的内在价值，而不是广告。与许多在线出版物不同的是，我们没有付费墙或横幅广告，因为我们想让我们的新闻保持开放，不受影响，也不需要追逐交通。那个新闻、报道和评论SiliconANGLE——以及现场报道，我们的硅谷工作室和cube环球巡演的视频团队提供的未经剪辑的视频需要大量的辛勤工作、时间和金钱。保持高质量需要赞助商的支持，他们与我们的无广告新闻内容的愿景一致。如果你喜欢这里的报道，视频采访和其他无广告内容，请花点时间看看我们的赞助商支持的视频内容样本，在推特上表达你的支持，然后继续回到SiliconANGLE。