这篇文章是由我们在Technicolor的朋友撰写的，他们的Virdata平台现在已经"在apachespark上认证"关于VirdataVirdata是Technicolor的云端物联网平台，提供对数量空前的连接设备和应用程序的实时监控、配置和管理。Virdata将其高度可扩展的数据接收和消息传递功能与实时和历史分析相结合，为多个数据驱动的市场带来价值。Virdata平台于2014年1月在拉斯维加斯CES推出。基于Virdata云的平台架构将最先进的开源软件组件集成到一个同质、高可用性的数据处理环境中。Virdata和Apache SparkVirdata解决方案体系结构包括3个方面：消息传递、数据处理和应用程序——所有这些都是通过api访问的。它基于发布/订阅的消息传递基础设施包含一个高吞吐量的分布式消息代理、分布式复杂事件处理和双向消息路由组件。该解决方案完成了Virdata的"全栈"物联网（IoT）平台，提供了广泛的Apache Spark驱动的内存和后处理能力，以便转换、存储和分析物联网世界产生的巨大消息流。Spark于2013年初作为数据处理框架集成到Virdata架构中，用于分析由Virdata云平台监控的数百万设备发布的传入物联网消息。在Virdata中，Spark用于设备数据的批处理和实时处理，以便计算时间序列、预先计算的复杂数据可视化和定制的监视报告。Virdata的数据处理实现采用了Lambda架构()非常适合火花和火花流的结合。Virdata将其数据处理方法从最初的面向流的框架中迁移到采用Spark流，以分布式方式优化处理和消息存储。Spark流式微批处理方法特别能够消除Virdata数据库中存储数据时出现的任何"阻抗不匹配"。开源社区越来越多地采用Spark起着重要作用。作为一个例子，最近发布的Spark-Cassandra驱动程序允许Virdata用专门的组件替换自定义代码，从而提高了性能特性。Virdata如何从Spark中获益Virdata从三个方面受益于Spark：Spark为Virdata提供了一个用于批处理和实时处理的单一框架。Spark提供了自己的开发人员和更广泛的数据科学界所青睐的编程语言。Spark支持Virdata的原生云开发操作和配置环境。Virdata和SparkVirdata对Spark生态系统中越来越丰富的库感到特别兴奋，并且已经在考虑集成其他功能，如SparkSQL、最近宣布的Spark ElasticSearch集成和Spark机器学习库（MLlib），并期待着其他许多功能的发布。欲了解更多关于特艺彩Virdata的信息，请访问我们的网站：请随时发送电子邮件至杰里米·德克勒克@特艺彩网为了提问和演示。免费试用Databricks。今天就开始吧