人工智能的困境人工智能（AI）有巨大的潜力推动颠覆性创新，影响到地球上大多数企业。然而，大多数企业都在努力实现人工智能的成功。为什么？简单地说，人工智能和数据被隔离在不同的系统和不同的组织中。企业数据分散在数百个系统中，如数据仓库、数据湖、数据库和未启用人工智能的文件系统。流行的机器学习框架，如TensorFlow、Pythorch和SciKit Learn不进行数据处理。因为这些数据系统不"做人工智能"，而这些人工智能技术也不"做数据"，企业要想成功运用人工智能是极其困难的，毕竟这两个要素都是成功的。加上数据和人工智能技术的鸿沟，各公司在数据和人工智能方面都有各自为政的团队。数据工程师处理大规模数据处理和生产部署，而数据科学家处理人工智能——探索数据、培训和验证模型。考虑到人工智能开发的高度迭代性，这种组织上的分离造成了巨大的摩擦，并大大减缓了人工智能的发展速度。数据科学与工程相结合统一分析是一种新的解决方案类别，它将数据科学和工程相结合，使企业组织更容易实现人工智能，并使它们能够加速其人工智能计划。Unified Analytics将数据科学和工程的不同领域与一个通用平台结合在一起，使数据工程师能够更轻松地跨孤立的系统构建数据管道，并为模型构建准备标记的数据集，同时使数据科学家能够探索和可视化数据并协同构建模型。统一分析提供了一个引擎来准备大规模的高质量数据，并在相同的数据上迭代地训练机器学习模型。统一分析还为数据科学家和数据工程师提供协作能力，以便在整个人工智能生命周期中有效地工作。成功地在规模上统一数据并将数据与最佳的人工智能技术相统一的组织将有更高的成功几率。Databricks统一分析平台由Apache SparkTM提供支持的Databricks统一分析平台降低了企业利用人工智能进行创新的障碍，加快了企业的创新速度。它有三个主要组成部分：Databricks工作空间，使数据科学和工程能够在一个共同的平台上进行协作；Databricks工作区与云原生Spark集群紧密集成，使数据科学家能够在整个AI生命周期中高效地执行任务——从大规模的数据探索到使用机器学习和深度学习构建预测模型。Databricks运行时在规模上统一数据和人工智能技术；Databricks运行时将数据处理能力和机器学习框架独特地结合到一个统一的分析引擎中。Databricks云服务通过自动配置和自动缩放集群抽象数据基础设施的复杂性，自动化和简化devops；并提供企业级安全性和法规遵从性，以及Apache Spark原始创建者提供的同类最佳Spark支持。Databricks统一分析平台的新创新在旧金山举行的Spark+AI峰会上，我们自豪地宣布了以下创新，以进一步统一数据科学和工程，以加速人工智能计划-Databricks Delta–为机器学习准备数据Databricks Delta现在是Databricks运行时的一部分，它与apachespark一起工作，通过对批处理和流式数据的事务完整性，使数据可靠并为ML做好准备。Delta还通过缓存和索引功能将性能提高到100倍。通过Delta，数据工程师可以确保数据科学家能够尽早获得新的大规模可靠数据集。在这里注册Databricks Delta。ML的Databricks Runtime–简化大规模分布式学习根据客户的需求，我们非常高兴地宣布与流行的ML库（包括xgboost、scikit learn和numpy）以及流行的深度学习框架（如TensorFlow、Keras、Horovod）的新的本地和深度集成。这将大大简化配置和设置，使数据科学家能够专注于他们的数据和模型构建。MLflow–标准化完整的机器学习生命周期MLflow是第一个开源的跨云框架，它极大地简化了与构建、部署和迭代机器学习相关的工作流。使用MLflow，组织可以将代码打包为可重复运行，执行和比较数百个并行实验，利用任何现有的开源项目，并将模型部署到各种服务平台上的生产中。你可以在Matei的博客上了解更多关于MLflow的信息，并在这里下载MLflow。有关MLflow和Databricks集成的未来更新，请在此处注册。Databricks统一分析平台结论我们的目标是通过统一数据科学、工程和商业来加速创新。我们将继续通过向Databricks统一分析平台添加新功能来推动数据科学和工程的统一。今天就开始使用Databricks统一分析平台。免费试用Databricks。今天就开始吧