上周，我们为数据工程师举办了一个Databricks在线研讨会，概括介绍了数据工程的角色、数据工程师在构建ETL管道时面临的常见挑战，以及Databricks如何帮助数据工程师使用apachespark轻松构建生产质量数据管道。Databricks的产品经理Prakash Chockalingam还现场演示了Databricks和数据工程师将从中受益的功能，例如：适合任何工作负载要求的高级群集管理功能。通过集成工作区交互构建ETL管道的能力。使用监视警报简化了作业的故障排除。具有有用功能（如警报、自定义重试策略和并行运行）的作业调度。笔记本工作流允许您直接从Databricks笔记本创建多级生产Spark管道。网络研讨会现在可以按需访问，并且在线研讨会中使用的幻灯片也可以作为网络研讨会的附件下载。我们还回答了以下网络研讨会观众提出的常见问题。如果您还有其他问题，请访问Databricks论坛或新的文档资源。如果您想免费访问Databricks，可以在这里访问免费试用版。常见网络研讨会问答单击问题以查看答案您将如何将生产中的ETL管道与Chef或Puppet等工具、用于持续集成的自动测试工具以及包括其他服务的工具集成在一起？您对使用ApacheNIFI到S3将IoT数据集成到数据块的最佳架构有什么建议吗？你能解释一下任何一种场景吗？在这种情况下，用纱线打火或用中微子打火是一种合理的选择吗？你能解释一下R是Spark的一个组成部分吗？你的分析层是否包含Spotfire？你能用SSH连接到EC2实例吗？Spark在将数据从Oracle传输到HDFS方面与Sqoop相比如何？是否可以从失败的笔记本重新启动作业？Databricks是否为笔记本电脑的执行监控提供了api？SparkSQL是用于构建ETL管道的唯一组件吗？我们可以使用Spark和do插入和更新来实现类型2逻辑吗？风暴和星火的主要区别是什么？使用Spark可以实时处理数据吗？免费试用Databricks。今天就开始吧