云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

CDN_阿里云控制台登陆_9元

小七 141 0

为开发人员提供更好的数据块:IDE集成

我们一直致力于Databricks,以使我们的产品对开发人员更加友好。最近,我们添加了两个新特性,允许开发人员在Databricks中轻松使用外部库(包括他们自己的和第三方的包)。我们将在一个分为两部分的系列中展示这些功能。这里是第1部分,介绍如何将您自己的库上载到Databricks。请继续关注如何上传apachespark包和其他第三方库的第二部分!使用您最喜欢的IDE与Databricks有时您更喜欢坚持使用您最熟悉的开发环境。但是,您还希望利用Databricks来利用apachespark的强大功能。现在,我们提供了一个选项,可以通过单击将您在最喜爱的IDE中编写的库上载到Databricks。为了提供这个功能,我们创建了一个SBT插件(有关SBT的更多信息,请参见). 这个插件,sbt databricks(https://github.com/databricks/sbt-databricks)为Databricks用户提供在IDE中(如intellijidea)或从终端将其库上载到Databricks的能力。这意味着任何拥有SBT的人都可以通过一次单击无缝地将其自定义库上载到Databricks。这大大简化了开发过程中的迭代时间,并为用户提供了在他们最熟悉的环境中进行开发的自由。通过4个简单的步骤将您自己的库上载到Databricks下面是一个简单的示例,说明如何使用IntelliJ IDEA进行操作:0安装SBT插件。(IntelliJ IDEA->首选项)1导入sbt databricks插件2.在构建文件中设置配置三。打开SBT控制台(通过IDE或终端)4执行"dbcDeploy"并点击"回车"!祝贺 你!你的库现在在Databricks中在Databricks中使用自定义库的示例现在你的库被导入到Databricks,您可以在交互式数据探索会话期间在笔记本中使用它们……或者您也可以在生产环境中使用这些工具!(在Notebook Jobs和Jar Jobs中,请参阅我们的Jobs博客,了解更多关于如何工作的详细信息)摘要在这篇博文中,我们介绍了sbt-databricks,一个sbt插件,它允许用户直接从ide轻松地将自己的库部署到databricks中(可以在这里找到对不同ide的sbt支持)。在Databricks,我们的目标是保持简单的事情简单,并使复杂的事情成为可能。这包括为开发人员提供在他们喜欢的环境(ide或笔记本)中工作的灵活性。毕竟我们自己就是开发者!如果您有更多的问题,请查看其他资源,以获取有关如何使用此插件的详细信息。请继续关注下一期,我们将展示如何从Spark包和/或Maven Central中搜索和导入第三方库!额外资源从github下载sbt数据块获取文档和sbt提示和技巧为其他ide查找SBT插件了解有关数据块的更多信息注册Databricks 14天免费试用 免费试用Databricks。今天就开始吧