我很高兴地宣布Databricks Runtime 4.3的发布，它由ApacheSpark提供支持。我们在这个版本中加入了一系列新特性、性能改进和平台质量改进。为了利用这些改进，我们建议迁移到Databricks Runtime 4.3。为了不断提高平台的性能，Databricks Runtime 4.3版本比以前版本的Databricks运行时获得了显著的性能提升。我们已经看到了AWS在4.3中的性能改进超过15%。随着DBIO缓存的改进，以更有效地跳过数据，我们在Azure上以1 TB的规模使用TPC-DS，性能提高了55%以上：在技术文档中了解有关Azure Databricks premium SKU with Ls series VM的DBIO缓存功能以及如何在Azure中启用其他VM类型的缓存。除了性能改进之外，我们还为Databricks Delta添加了新功能：Truncate Table：使用Delta可以使用Truncate删除表中的所有行。需要注意的是，我们不支持删除特定的分区。有关更多信息，请参阅文档：Truncate TableAlter Table Replace columns：替换Databricks Delta表中的列，包括更改列的注释，我们支持多个列的重新排序。有关更多信息，请参阅文档：Alter TableFSCK Repair Table：此命令允许您从在底层文件系统中找不到的Databricks Delta表的事务日志中删除文件条目。当手动删除这些文件时，可能会发生这种情况。有关更多信息，请参阅文档：修理表缩放"合并"操作：此版本附带了对具有"合并"操作的较大源表的实验性支持。如果要尝试此功能，请与支持人员联系。我们为结构化流媒体添加了很大的改进，我还想强调一下：我们现在支持使用azuresql数据仓库连接器的流式写入。在Python中支持foreachBatch（）（Scala已经提供）。有关详细信息，请参阅foreach和foreachBatch文档。对水印策略的更改允许您在查询中存在多个输入流时指定最小或最大水印，而不是默认为最小时间戳。有关详细信息，请参阅多水印策略。要阅读有关以上新功能的更多信息，并查看Databricks Runtime 4.3中包含的改进的完整列表，请参阅以下位置的发行说明：Amazon Web Services:Databricks Runtime 4.3发行说明Azure:Databricks Runtime 4.3发行说明免费试用Databricks。今天就开始吧