自动摄取雪管现在已普遍可用2020年3月19日|3分钟读取作者：迪内什·库尔卡尼雪花新闻，雪花科技实时分析是做出更快的数据驱动决策的关键因素。匆忙做出的决策使用过时的数据或没有数据会适得其反，使企业处于竞争劣势。雪花公司的业务是使企业能够以数据驱动的方式来获取竞争优势，而数据摄取是难题的关键部分。为了应对不断增长的实时分析需求，2017年末，我们推出了Snowpipe，通过一个简单的REST API，通过一个连续的、自动缩放的服务，帮助客户高效地加载所有数据。这个API获取了一个文件列表，可以连续调用。接下来的一年，我们添加了一个毫不费力的自动摄取选项，以消除编写定期调用API的驱动程序的需要。自动摄取只是监听来自云blob存储（如amazons3或azureblob存储）的通知，并在新文件到达时接收它们。我们很高兴地宣布，自动摄取Snowipe功能现在在所有地区的AWS和Azure上都可以使用。它层层在雪地坚实的基础之上，自2018秋季以来，雪管一直以REST API的形式提供。不费吹灰之力，连续的摄入现在是常态企业中不断出现新的连续数据源。它们既为业务创造了机遇，也给已经捉襟见肘的IT和数据工程组织带来了挑战。新数据源的现有连接器通常在blob存储区中创建文件，其余的则交由IT组织管理。使用自动摄取Snowpipe，客户只需设置一个带有blob store通知的管道，并将摄取的日常管理留给Snowflake。此后，自动摄取Snowpipe基础设施负责快速处理新文件通知，并使用动态缩放的雪花管理仓库接收文件面向群众的数据即使在预览期间，我们的客户在过去的12个月内，在AWS和Azure上加载了超过100亿个文件，覆盖了超过17PB的数据，而且他们是通过使用自动摄取Snowpipe实现的。它成为迄今为止增长最快的摄入选择，并且继续快速增长。我们感谢您的信任，并不断努力提高这种流行的持续摄取选项的简单性、效率和可靠性。"使用Snowpipe自动摄取允许我们实时摄取日志数据，从S3桶连续到每天加载1500万行数据的雪花，"Qonto的高级数据科学家Amaury Dumoulin说我们的团队可以不用费事，不用管，不用管。"性能的提高和成本的节约是全面的。"Doctine France的首席架构师Raphaël Champeimont也评论道，"我们利用Snowpipe的自动摄取来处理我们的一些数据管道工作负载。例如，我们能够自动接收数据，并捕捉从AWS Kinesis到S3和我们的雪花表的变化，而无需设置手动"复制到"，并且数据几乎是实时可用的。成本效益令人满意，因为我们能够将管道成本降低16倍。"今天尝试自动摄取雪管今天让自动摄取雪管旋转一下，让我们知道你的反馈。您可以在这里找到有关如何开始的文档和信息。就像你读的？通过喜欢和分享来表达你的感激之情！Facebook推特LinkedIn