在当今的商业环境中，预测和满足客户需求的能力是成功的关键。具有前瞻性的商业领袖们希望释放人工智能（AI）的力量来推动创新，但这需要将不同的团队和大量数据汇集在一起。随着攻击者变得越来越复杂，保护这些复杂的数据工作流是当务之急。人工智能和大数据的安全挑战许多组织都面临着一个共同的挑战，即如何最好地操纵大量敏感数据，以安全的方式获得有意义的见解。数据工程师和安全团队努力让他们的数据科学家和分析员在确保一致的策略管理、数据治理和安全合规性的同时，提高数据科学家和分析师对数据的访问速度和访问能力。许多人选择将大量的数据处理（Spark、Hive、Pig等）和AI/ML工具（SparkML、Tensorflow、PyTorch等）拼凑在一起，构建自己的高级分析解决方案，其中许多都是开源的。这可能会导致增加安全风险的行为。根据Gartner的数据，80%的组织将无法跨竖井制定统一的数据安全策略。为了解决这一问题，一些公司通过严格锁定数据来过度轮换。这可能代价高昂，阻碍了他们的创新能力，阻碍了他们满足客户需求的方式。作为Databricks的首席信息安全官（CISO），我帮助客户建立并保护他们的AI数据管道。我反复看到以下3个安全挑战：团队在筒仓中行动：对于许多组织来说，技术、人员和人工智能工作流都存在于筒仓中。数据工程师和数据科学家使用他们自己的工具集工作。通常，这些工具都是快速发展的开放源代码应用程序，跨数据工作流的集成度很低。这不仅扼杀了创新，也造成了巨大的安全漏洞。无法安全地大规模部署：构建一个安全可扩展的体系结构是困难的。您必须管理配置、监视、修补、身份验证和安全扫描。有法规遵从性要求的企业（如SOC2、ISO、HIPAA、GDPR）面临着更为困难的挑战。安全是事后的想法：人工智能项目开始时注重速度和创新。安全性通常是一种临时措施，只有在重要的合规性审计到期时才会考虑。此时，解决部署中的一些基本问题可能为时已晚。人工智能和数据的统一安全方法Databricks Unified Analytics平台将数据和机器学习（ML）与最受信任的云上的同类最佳安全性结合在一起，以加速创新，同时将风险降至最低。我们以安全第一的理念构建了Databricks统一分析平台，以解决以下问题：1我们的平台——在保证数据安全的同时，击倒筒仓数据科学家和工程师通常使用不同的工具集合和零碎的数据集在竖井中工作。此外，人工智能还需要最新的工具（Tensorflow、Pythorch、Keras等）来实现给定模型的最佳或最有效的结果。这些工具正在快速发展，并停留在最新的漏洞和集成错误之上是很麻烦的。Databricks通过提供：统一的数据和人工智能工作流程-一个单一的平台，汇集了数据科学家和工程师使用的工具，确保整个人工智能工作流程的一致性和兼容性安全性。安全和透明的协作—统一的工作区（笔记本）使团队能够在提供集中审核、跟踪和评论的同时对同一数据进行协作，从而降低安全风险，同时加快跨职能部门的成果。一个共享工作区和一致的工作流安全性作为核心设计原则-分离数据和控制平面，以及经过深思熟虑的访问控制，最大限度地减少用户错误和对数据的意外访问。基本功能，如数据加密（在传输和静态）和细粒度访问控制是内置的，提供企业所需的数据安全性。这是一个关键原因，即在监管严格、数据高度敏感的行业（尤其是金融服务、医疗保健和政府机构）中的组织选择数据块。2大规模安全部署和运行随着数据、用户、工具、工作负载和ML模型的数量和类型的增加，保护它们的复杂性也成倍增加。作为一个统一的分析平台，Databricks提供：最安全的云——与AWS和Azure最佳实践和专业技术深度集成，对于大多数公司来说，在内部重新创建既具有安全性又具有规模性和弹性的专业技术是非常困难和耗时的。安全集成—通过内置的集成，轻松地管理和保护工作流，这些集成针对流行的企业安全技术，如单点登录（SSO）和跨域身份管理系统（SCIM），以及大数据技术（如数据湖、数据仓库和商业智能工具）。大规模的用户安全性—用户管理功能使用完整的审核功能，可以轻松地装载和删除大量用户、应用策略和管理对数据的访问。分离数据和控制平面、工作负载隔离和安全集成三。我们的文化——以安全为核心在许多DIY分析和人工智能解决方案中，速度和创新是第一位的，安全性是事后考虑的。从第一天开始，我们就建立了以数据安全为核心的数据库。以安全第一的心态构建-通过VPC对等，将数据和控制平面硬隔离在单独的AWS帐户中，使数据保留在原来的位置（在您的AWS/Azure帐户中，因此我们无法访问它），而集成为客户提供了基于其首选的安全工具集和资源所需的管理和控制。通过透明实现安全性—数据块已通过第三方渗透测试和验证进行验证，我们的认证和合规性证明包括ISO 27001、SOC 2 Type 2，以及满足医疗保健（如Sanford Health）等高度监管行业所需的严格数据和政策要求，金融服务业（如金融业监管局）和公共部门。具有安全意识的团队——安全的开发和更新管理、低工程损耗率和专用的漏洞识别资源（始终是测试方法），为我们的客户提供可靠的企业级解决方案。文化——安全第一的心态结论-各级数据保护Databricks在我们基础设施的每一层都进行了架构，为您的数据、AI和Apache SparkTM工作流提供高级安全性、风险预防和管理控制。通过将安全性和便利性相结合，我们将团队聚集在一起，以实现人工智能的承诺，并推动实现业务转型的创新。在接下来的几周里，你可以找到更多关于这三个安全支柱的博客。 试试看！请与我们联系，了解Databricks如何改善您的安全状况。通过在apachespark上下载我们的保护企业数据的安全电子书来了解更多信息。 免费试用Databricks。今天就开始吧