这是我们远端朋友的博客。如今，96%的美国医疗保健提供者使用电子医疗记录（EHR），高于2008年的10%。当我还是一名临床实习生时，纸质图表是一种常态。今天，我们在一个数据驱动的世界里行医。大型支付机构，如医疗保险和健康保险公司，希望看到医疗机构利用临床数据来改善健康结果、降低成本和改善患者体验。为了实现这种变化，支付方已开始将与次优医疗相关的部分成本转移给提供者；这是医疗行业的一个根本性转变。就在几年前，医疗索赔的支付不考虑临床结果。今天，超过30%的医疗保险支付（每年1170亿美元）通过一些"基于价值的支付"机制与临床质量挂钩。从今年开始，未能在数据驱动的质量改进方面取得进展的医疗保健提供商将面临巨大的经济处罚。医疗服务提供商的回应是召集临床质量经理、信息学家和健康IT专家组成的团队，引导向基于价值的支付的过渡。这些临床和技术领先者必须克服一些技术挑战，是否所有供应商最终都能成功，还有待观察。一个新兴的主题是大数据技术的核心作用，比如apachespark。医疗保健提供商有一个大数据问题庞大的数据量和惊人的多样性：美国医院每年总共产生超过20兆字节的数据。这一数字不包括在门诊部、药房、第三方临床实验室、消费者可穿戴设备或便携式显示器上收集的数据。完全不同的系统：临床数据并不仅仅存在于电子健康记录中。临床数据分散在放射学、实验室和药房信息系统（仅举几个例子）中是很常见的。竖井式数据存储：有时多个EHR实例部署在一个物理位置。例如：斯坦福医院和斯坦福的露西尔·帕卡德儿童医院都使用相同的EHR软件，但它们操作不同的实例。因此，无法通过儿童医院EHR从成人医院检索完整的病历（反之亦然）。这是一个很大的问题，在医疗紧急情况下，病人护理团队由两个医院的工作人员组成（例如，急诊剖腹产或小儿外伤）。医疗保健中糟糕的数据互操作性造成信息缺口，使患者暴露于伤害之中，并导致数十亿美元的浪费性开支。不一致的数据模式：原始临床数据的RDBMS表示由数百个表组成，这些表之间的相互关系没有很好的文档记录（如果有的话）。这是因为底层模式随着对前端的定制而发展。这也意味着斯坦福大学的数据模式与凯撒、萨特和加州大学旧金山分校的数据模式大不相同——尽管它们都是从同一家供应商获得EHR软件许可的。远端如何用Databricks驯服医疗大数据远端提供了一个交钥匙软件解决方案，将医疗保健提供商与他们提供特殊护理所需的信息连接起来。我们的临床智能平台通过一个易于使用的web应用程序提供具有临床意义的见解。我们使用Databricks构建ETL管道，将多个数据源混合到一个标准的真实源中。我们还结合了远端的专有算法和MLlib的基于数据帧的管道，以自动化数据建模和临床概念映射。Databricks是构建一个经济高效的软件解决方案的关键，它使临床医生能够参与数据驱动的质量改进。Databricks允许我们利用Apache Spark的强大功能：从各种来源摄取大量结构化、半结构化和非结构化数据，对原始数据应用通用语义层，集成和消除重复数据元素，分析数据，将结果映射到一组公共API资源，向最终用户展示见解，以及通过加密、细粒度访问控制和详细的审计跟踪来保护患者隐私。发挥特别重要作用的数据链组件包括：笔记本和协作特性：Databricks笔记本允许我们快速迭代新的ETL组件，并测试它们如何适合于互补的管道。我们从一个笔记本开始，其中包含了完成任务的所有代码。在这个阶段，在一个笔记本中有Java、Scala和Python的片段。一旦我们有了一个工作概念，我们就把功能代码块分解成单独的笔记本，以便将它们作为独立的作业运行。在整个过程中，我们依赖于Databricks的协作特性a）修复bug，b）跟踪更改，以及c）在内部共享支持生产的库。Databricks library manager：我们觉得有必要迅速行动，因此我们尽可能将开源库/包整合到ETL过程中。很早以前，我们就使用Databricks搜索Spark包和mavencentral，寻找最稳定、最受支持的库。一旦管道开始成形，我们就使用Databricks包管理器自动将所需的库附加到新的集群中。与amazonwebservices的集成：Databricks构建在amazonwebservices（AWS）之上，这一事实使我们能够无缝地与AWS服务集成，同时遵守安全最佳实践。Databricks使我们能够使用IAM角色来限制对S3桶的读/写访问，而不是完全依赖于AWS访问密钥（这些密钥可能丢失或被盗）。此外，我们通过Databricks管理面板应用用户级访问控制来限制对处理敏感数据的管道的访问。一个即将发生的事情的暗示由于apachespark是ETL和分析堆栈的基石，我们对开发新特性和新产品的能力充满信心。在近期内，我们希望通过开发新的ML算法和借鉴现有方法来扩充ETL管道和知识表示。我们也在寻求壮大我们的团队。如果您喜欢Databricks，并希望帮助我们开发出对数百万人产生可测量影响的产品，请向team@远端.co。免费试用Databricks。今天就开始吧