DataWorks峰会始于2008年的Hadoop峰会，当时它是由Yahoo Inc.主办的开发者活动。随着成熟的数据供应商和热门初创企业催生了创新的动力，大数据市场爆炸式增长，核心技术不断发展，最终让位给了更深层的开源生态系统。保持不变的是数据在全球经济中的中心地位，以及领先的大数据解决方案提供商倾向于完全或主要是开源软件。Hadoop是其中最小的一个。在多云大数据解决方案提供商中，Hortonworks公司仍然是开源生态系统中最活跃的参与者和提交者之一。它的解决方案组合现在包含了26个开源代码库。其中包括广泛采用的数据和分析平台，如Apache Hadoop、Apache Hive和Apache Spark，以及用于管理、保护和管理大数据环境的各种代码，如Apache Atlas、Apache Ranger、Apache Ambari和Apache Knox。DataWorks的产品焦点（如图所示）是Hortonworks发布的下一代核心Hadoop平台，该平台构建在apachehadoop3.1发行版上。新的Hortonworks数据平台3.0现在可以根据早期访问计划进行预览，预计将在2018年第三季度全面提供。HDP 3.0包括以下新功能：容器化：对于开发人员构建下一代云原生数据应用程序，HDP 3.0支持更快地构建、培训和部署集装箱化高级分析、机器学习，深度学习和人工智能工作负载微服务一直延伸到当今日益分布的云环境的边缘。通过在HDP上运行容器，开发人员可以快速移动、高效地部署更多软件并以更快的速度运行，这是为正在构建更多数据应用程序的DevOps环境而优化的。hdp3.0中的可伸缩性增强支持运行非常大的多租户集群和更多打包的容器化微服务。GPU支持：hadoop3.0的YARN调度器中对图形处理单元的支持使AI、DL和ML工作负载能够在受支持的Hadoop集群上运行。hdp3.0现在允许Hortonworks客户利用云中的gpu进行可伸缩的培训和推断工作负载。在云中开发和改进集装箱化TensorFlow应用程序时，数据科学家可以通过hdp3.0中的池和隔离来共享对GPU资源的访问。hive3.0支持：hdp3.0包括一个基于hive3.0构建的实时数据库，该数据库现在集成了Tez、LLAP和Druid来支持实时数据仓库。在这个版本中，Hive已经发展成为一个完整的企业数据库，支持高并发、低延迟、扩展的SQL语法和ACID遵从性。在hdp3.0中，hive3.0提供了一个统一的SQL层，该层支持改进的查询优化，以更快速地处理更多的实时和历史数据，以满足低延迟和高吞吐量应用的需要。它支持对私有、公共和混合云中任何地方的数据进行可伸缩的交互式查询。异构云存储优化：hdp3.0包括将存储集群与计算集群分离的能力。作为HDFS在云端运行时的替代方案，hdp3.0支持在所有主要的公共云对象存储中存储数据，包括Amazon S3、Azure存储Blob、Azure data Lake、Google云存储和AWS弹性MapReduce文件系统。HDP工作负载通过Hadoop兼容的文件系统API访问云存储环境。最新的存储增强包括非一致性云存储的一致性层。它还提供了更好的存储可扩展性，利用NameNode中的增强功能以较低的存储开销支持数十亿个文件的横向扩展持久性。它还包括存储效率增强，如支持擦除编码。治理和法规遵从性增强：hdp3.0通过支持完整的数据保管链和细粒度事件审计，实现了对GDPR等命令的增强治理和遵从性。用户现在可以跟踪数据的血统，从它的起源一直到它在hdp3.0上构建的数据湖的存储。这使得审核员可以在不做任何更改的情况下查看数据，强制执行基于时间的策略，并在具有加密保护的第三方周围审核事件。hdp3.0还支持跨公共云的共享企业安全和数据治理服务，以及基于使用率或时间度量的自动集群扩展。尽管Hortonworks讨论了一种新的轻量级流媒体技术MiNiFi，该技术将使客户能够部署集装箱化的AI/DL/ML，用于部署到多云中的物联网、边缘和嵌入式端点，但Hortonworks并未宣布针对移动数据的具体增强。同样，关于它的DataPlane服务或DPS，也没有具体的产品发布，Hortonworks以前曾作为"单一的玻璃板"发布，用于监视、管理和部署复杂的混合数据多云中的数据应用程序。然而，Hortonworks广泛讨论了一个新的与法规遵从性相关的DPS解决方案Data Steward Studio，该解决方案几个月前在柏林DataWorks 2018上推出。与之前发布的平台一样，hdp3.0使客户能够构建混合数据多云，其中包括任何和所有主要的公共云提供商。上周五，它发布了Cloudbreak 2.7，它支持将HDP集群配置到复杂的混合云架构中。Hortonworks现在将其公共云足迹放在其走向市场信息的中心位置，尽管目前在其1400个付费客户中，只有25%在公共云中运行Hortonworks解决方案，只有5%的客户在公共云中。相比之下，95%的Hortonworks客户完全或主要在内部部署其产品。然而，Hortonworks认为客户倾向于将更多的分析工作负载放在公共云和混合云上，其整个产品路线图都致力于为客户提供尽可能无缝的过渡。这与Wikibon最近对我们的大数据市场预测进行年度更新的发现是一致的。我们的分析师发现，混合云正成为企业大数据分析部署的中间站，在未来十年甚至更长的时间里，它们将在公共云上实现更完整的部署。在整个大数据市场，传统的基于场所的平台正在重新构建，主要部署在公共云上。Hortonworks本周在圣何塞DataWorks发布了公共云合作伙伴关系公告，旨在帮助客户在准备就绪时实现转型：IBM公司：合作伙伴宣布IBM托管Hortonworks或IHAH分析，后者在ibmcloud上运行hdp3.0实例，并集成了ibmdb2、ibmbigsql和ibmdatascienceexperience或DSX。这一举措建立在去年IBM和Hortonworks宣布他们将HDP和DSX整合到一个融合解决方案中，为下一代开发人员构建用于多云部署的AI驱动的应用程序。IHAH将融合的数据管理和分析产品作为托管服务引入ibmcloud。它支持快速设置、资源调配、安全性和部署，以便数据科学家和其他开发人员能够快速操作其应用程序以供生产企业使用。它允许用户在虚拟Python环境中在ibmcloud托管的所有HDP集群上运行DSX工作负载，而无需在这些节点上安装Python库。在IHAH中，DSX工作负载可以轻松地使用ibmcloud中HDP数据湖中管理的数据和基础设施服务。托管服务还允许数据科学家编写ansisql来直接从DSX调用ibmbigsql，从而避免了编写Python脚本的需要，以便将来自ibmcloud中不同联邦数据存储区的不同类型的数据聚集在一起。微软公司：合作伙伴宣布，客户现在可以将完整的Hortonworks产品组合（包括HDP、HDF和DPS）部署在微软Azure的基础设施公共云上。这为联合客户在复杂的混合多云场景中分配大数据工作负载提供了更大的灵活性，包括"物联网"中的边缘部署。联合客户还保留了在现有HDInsight产品的公共云中运行其分析工作负载（如Hadoop和Spark）的选择在Microsoft Azure中。谷歌有限责任公司：合作伙伴宣布扩大对谷歌云平台公共云存储服务的支持。Hortonworks的客户现在可以使用Google云存储来支持在各种私有、公共和混合云环境中运行的HDP、HDF和DPS工作负载。在GCP公共云中，用户可以运行快速、可扩展的分析，用于交互式查询、AI/ML/DL和流式数据分析。客户可以在几分钟内免费提供HDP，GCP中的HDF和DPS工作负载具有无限的弹性可扩展性，它们可以在配置和保护云中的工作负载的同时，自动化和优化GCP资源的供应。它们现在可以灵活地在GCP中运行短暂的、短暂的工作负载。而且，它们可以安全地在本地HDP/HDF/DPS部署和GCP部署之间移动来自任何源的任何数据流。Hortonworks首席执行官Rob Bearden在其对the Cube的采访中，讨论了供应商现在走向市场战略的关键主题：边缘、集装箱化、合规性、互联社区、流计算，以及管理分布在混合云上的数据分析资产的"单一玻璃窗"。您可以回放比尔登的第一天主题演讲：图片：罗伯特·霍夫/SiliconANGLE其他对霍顿工厂管理人员和合作伙伴的采访也在这里。无论是霍顿工场还是其他赞助商，都无法对cube或siliconagle的内容进行编辑控制。）既然你来了…用我们的一键式subscr显示您对我们任务的支持