这是关于Databricks安全性的一系列博客文章中的第二篇。我的同事David Cook（我们的CISO）在blog#1中阐述了Databricks的安全方法。DIY平台：安全性缺乏凝聚力如今，许多公司在由各种开源工具和技术组成的自制大数据和人工智能平台上运营。这些拼凑在一起的平台让数据科学家与数据工程师相互竞争，并使整个组织面临安全漏洞的风险。一方面，数据科学家需要最新的人工智能工具，并优先考虑速度和生产力。他们认为IT和安全是缓慢和僵硬的。另一方面，数据工程师被鼓励在一个安全、可支持、可生产的平台上维护原始数据。此外，每个团队都需要自己的工具集来满足工作需要。这些工具经常脱节，数据工作流无法进行端到端的跟踪。这导致数据工程和数据科学团队在筒仓中工作，面临以下挑战：从生产力的角度来看：有时，数据被锁定在prem上，使用外围安全方法使规模和弹性变得困难，最终阻碍了创新。当团队无法协作、无法使用孤立的工具和构建不连贯的数据工作流时，创新和推进人工智能项目实际上就变得不可能了。从安全和监管的角度来看：开源工具集正在迅速发展。它们没有被修补、测试或维护良好——有良好意图的内部人员存在漏洞和错误的可能性很高。不同的系统有不同的安全模式，这使得从一个工具集到下一个工具集复制策略并确保安全性的忠实性成为一个挑战。缺乏一个单一的工作区，使得在控制谁可以访问哪些内容的同时，更难将正确的数据传递给正确的人。图1:DIY人工智能平台——安全性缺乏凝聚力为了克服这些障碍，数据科学家最终会雇佣数据工程师加入他们的团队，而数据工程师也会这样做，从而削减预算，创造重复的功能。最后，你的团队不能一起工作，没有责任感，互相指责造成了无法维持的局面。这可能会造成数据泄露或监管侵权的重大风险，从而使公司面临风险，而这些风险可能是他们从未考虑过的。我相信，有比DIY人工智能更好的方法来满足数据科学团队的需求。以安全为核心的统一分析平台Databricks将数据工程和数据科学团队聚集在一个统一的分析平台上，为数据科学家提供他们想要的灵活性，同时为数据工程师提供一致、安全和可靠的工具集。统一是关键。与DIY解决方案不同，我们在整个数据工作流中提供了一个一致的安全模型。我们使您能够为您的数据框架设置一次安全性，然后它就可以用于您的数据处理以及您的ML和AI需要。在保证数据安全的同时，击倒筒仓我们的统一分析平台为您提供所需的安全性，同时使团队能够合作推动创新。我们方法的核心是：1作为核心设计原则的安全Databricks是一个云本地平台，从第一天起，它就以一级公民的身份进行安全设计云计算本地使用安全最佳实践-人们经常说他们把重要的数据保存在prem上以保证安全。这是一个危险的用词不当。prem上的安全性和云中的安全性一样困难。除了云的弹性和现收现付的优势，Databricks提供全面管理和监控的安全产品，利用世界领先的安全专家提供的最佳云计算实践。我们有内置的控制，以尽量减少人为错误，包括隔离数据工作负载和通过特定VPC/Vnet控制访问，IAM安全组，同时使用细粒度的访问控制对传输和静止数据进行加密。专为不接触您的数据而设计—数据是您公司的业务优势。我们希望确保您能够最大限度地控制数据以产生业务价值。由于数据保留在您的云帐户中，我们为您提供基础设施并对其进行管理，以确保您的安全并从您的数据中获得最大价值。使用单独的数据和控制平面，数据和工作负载驻留在您的云帐户中，而Databricks无法直接访问它。与现有流程集成—作为一个与熟悉的SSO（单点登录）、数据仓库和BI工具的产品进行安全集成的单一平台，可以轻松地将数据块集成到您现有的环境和流程中。图2：使用分离的数据和控制平面最大限度地减少人为错误2一致、可靠和兼容的工作流程—数据科学家一直在寻找最新型号的最新软件。ML模型的改进即使只有半个百分点，也会影响数百万美元的收入。DIY需要团队集成他们自己的数据工程工具（Spark、Hive等）和数据科学工具（SparkML、Tensorflow、Keras等）。Databricks通过提供一个单一的统一平台和简化的工作流来为您工作。您不再需要担心互操作性问题。配线、配置都是精心设计的，整个系统都由世界一流的专家进行笔试和监控。这使得it和安全团队能够轻松地维护整个工作流的安全性。三。安全和透明的协作—Databricks允许数据工程和数据科学家团队在一个共享的工作空间中协同工作。Databricks笔记本可以由多个团队共享，其注释和版本控制非常类似于googledocs。这不仅增强了协作，而且是控制、跟踪和审核用户数据访问的单一界面。细粒度访问控制使您不仅可以在存储桶、文件级别，而且可以在行和列级别管理数据。有了这种级别的控制，您可以让数据库访问范围更广的人群，但屏蔽特定的敏感列，如信用卡号码和社会保险号码。图3：统一分析、一致且兼容的工作流和共享工作区结论当充分发挥其潜力时，数据可以成为您公司真正的与众不同之处。我们希望授权您的团队使用您首选的人工智能框架和库来创造业务价值，同时确保数据安全和法规遵从性。如果您目前正在解决DIY AI带来的挑战，我们可以帮助您确定当前数据分析设置中的安全漏洞，并向您展示如何通过单一平台解决方案更有效地解决这些问题。试试看！请致电我们，了解数据块如何改善您的安全状况。通过在apachespark上下载我们的保护企业数据的安全电子书来了解更多信息。 免费试用Databricks。今天就开始吧