流计算是越来越多的数据丰富、低延迟应用的关键平台。更多的在线应用——如移动、物联网、媒体、游戏和无服务器——需要一个健壮、低延迟的数据处理主干网。ACID流式处理的许多核心功能包括：即时发布和订阅事务语义，以及实时事务处理。流计算正在迅速崛起在未来十年中，静态数据架构（如数据仓库、数据湖和事务性数据存储）将不再是企业数据战略的核心。在一年前损坏的WikBion的大数据分析市场，我们发现了一些趋势，指向一个新的时代，其中流计算是大多数数据架构的基础：流计算是许多新的边缘应用的基础，包括移动、嵌入式和"物联网"设备的访问，后端基础设施提供实时设备管理和流内分析处理。企业正在扩大在内存、连续计算、更改数据捕获和其他低延迟解决方案方面的投资，同时将这些投资与他们的大数据静态环境（包括Hadoop、NoSQL和rdbms）融合在一起。流媒体环境正在发展，以支持低延迟、应用程序级处理任何卷、种类、频率、格式、负载、顺序或模式的实时数据。流计算主干正在被部署以管理更多有状态的事务性工作负载、执行流式机器学习和处理其他复杂的编排场景，这些场景在以前一直是关系数据库和其他静态存储库的领域。在线事务分析处理、数据转换、数据治理和机器学习正越来越多地朝着低延迟、有状态的流媒体主干移动。供应商正在推出创新的解决方案，这些解决方案整合了流媒体平台，确保它们可以作为各种应用程序的持久真相来源。云提供商已将流媒体技术集成到其解决方案组合的核心中，以实现移动性、物联网、无服务器计算和其他关键解决方案模式。企业正在将更多的推断、培训和其他工作负载迁移到边缘设备上，这些设备处理本地获取的传感器数据的实时流。开源流媒体环境正在成为重要的企业大数据平台。面向批处理的大数据部署正在让位于更完全实时、流式、低延迟的端到端环境。大多数机器学习、深度学习和其他人工智能工作负载将在流中实时处理。Apache Flink在流计算领域保持着势头在过去的几年里，流计算市场上出现了大量的开源项目。其中许多现在都在Apache软件基金会的管理之下。除了市场上许多成熟的商业流计算和复杂事件处理解决方案外，企业还可以选择Apache Kafka、Flink、Spark Streaming、Apex、Heron、Samza、Storm、Pulsar和Beam。虽然这些流计算项目之间的功能重叠是相当大的，但是Wikibon已经看到越来越多的企业实现使用其中的两个或多个，利用了每一个的优势。除了Kafka之外，apacheflink是最流行的流计算开源项目。Flink已经是它发明的第10个年头，也是它成为Apache项目的第5个年头，它的强大优势在于它的架构多功能性。apacheflink每秒可以接收数百万个数据点，并在跟踪相关上下文信息的同时这样做。其最著名的用户包括Netflix公司、优步科技公司、Lyft公司和阿里巴巴集团控股有限公司。尽管Flink缺乏Kafka核心的发布和订阅特性，但它为绝大多数流计算用例提供了一个健壮的框架和可伸缩的分布式引擎。事实上，在许多企业流计算应用程序中，Kafka和Flink以互补的方式部署并不少见。目前，Apache Flink开源代码库的核心功能是：支持有状态、事件驱动、高吞吐量、连续处理的应用程序；以内存速度执行事件驱动的计算；以任何规模经营；在所有常见的集群环境中运行，包括Kubernetes、Docker、Mesos和YARN；处理无界和有界流；支持批处理和连续延迟；保证非常大的分布式状态在多个节点上的分片表上持久化一次；提供增量检查点；执行复杂的实时数据处理；支持SQL查询低延迟应用；通过连接到各种内部企业数据库和计算平台，以及阿里和其他公共云，支持混合云分布式部署；允许开发人员构建有状态的流媒体应用程序来部署Flink集群；在一个后端RocksDB实现中，每秒可以处理数百万个事件，并节省高达TB的实时状态；支持实时数据流的度量、记录和操作；支持实时流媒体Flink应用程序的分叉和使用历史数据重播流，以保证数据的一致性；允许开发人员拍摄正在运行的应用程序的快照，从这些快照中启动新代码；与第三方DevOps工具（如Jenkins）集成；以及使用一个包含数据流和数据集API的通用开发抽象。本周，在旧金山举行的第三届年度Flink Forward开发者大会上，与会者了解到了Apache Flink项目和使用该项目的社区可能会如何发展，因为它的主要开发者——data Artisans GmbH（最近更名为Ververica）已被中国云计算巨头阿里巴巴（Alibaba）收购。在会议主题演讲中，来自verververica和阿里巴巴的高管们阐述了公司未来十年的优先事项。最值得注意的是Wikibon对流媒体市场的预测有多准确，尤其是它与批处理和机器学习的融合。发展Apache Flink开源社区apacheflink正在发展，对于越来越多的流媒体用例来说，它正变得不可或缺。Flink Forward 2019大会上提出的采用率、开源代码承诺和其他指标表明，it正在成为企业数据战略的关键支柱。Ververica的工程主管罗伯特梅茨格（robertmetzger）显示，数据显示，Flink在全球范围内越来越受欢迎，尤其是在中国。因此，当梅茨格讨论verververica如何为apacheflink社区推出一个新的中文用户支持邮件列表时，考虑到verververica的新企业血统，这一点也不奇怪。他还讨论了公司为将Flink在中国的大量用户群整合到开源项目的Apache社区所做的努力。为了支持这些和其他社区成员，梅茨格讨论了verververica在改进Flink网站方面的投资。正在进行的关键增强包括改进管理问题和bug跟踪、发布社区包以及处理请求请求评审和标记的工作流的能力。为ApacheFlink开源代码库贡献创新Ververica计划继续将apacheflink从流处理器发展成一个统一的数据处理系统。最终，它专注于开发Flink的批处理、机器学习和流式分析以及数据仓库/ETL集成功能。在批处理方面，阿里巴巴高级员工平台工程师姜晓伟（音译）与verververica团队讨论了如何在开源平台上构建"Blink"批处理能力。为此，计划在Flink代码库中增加一个新的表API和一个增强的SQL查询处理器。据verververica首席技术官Stephan Ewen透露，该公司正与阿里巴巴合作，提高跨分布式节点运行的批处理作业的性能和容错能力。在机器学习方面，verververica首席执行官Kostas Tzoumas讨论了公司在深化Apache Flink的算法库、实用程序和用户界面方面的投资，这些数据科学家正在为实时连续计算构建人工智能和流分析应用程序。他们还增加了对飞艇笔记本中Flink机器学习应用程序开发的支持。Tzuumas称，在数据仓库和ETL集成方面，Flink正与Hive的元存储和数据目录进行更紧密的集成。它还在其嵌入式SQL查询处理引擎中看到性能增强。此外，当天的各种突破集中在正在进行的apacheflink增强，这将加强它与TensorFlow、apachebeam和apachepulsar的集成。总之，这些体系结构的改进将使开源apacheflink能够支持更多的企业用例，这些用例在历史上都是在静态数据平台（比如apachehadoop）上使用的。开发Apache Flink商业生态系统去年，数据工匠针对企业推出了Flink的商业版。该平台包括用于自动设置和维护大规模部署的功能。它还为ACID提供支持，ACID是一种能够保证重要信息（如财务记录）可靠性的方法。为了保持Flink生态系统的商业势头，Ververica保留了data Artisan的所有产品并重新命名。以前称为dA平台，新改名的Ververica平台作为许可软件提供，包括三个核心组件：apacheflink（用于分布式、有状态、实时流计算的开源引擎）；Ververica Application Manager（生命周期管理框架