在Delta项目团队工作期间，我们与Kroger和Feeding America密切合作，利用Google Cloud转换和分析数据集。

在本博客中，我们将讨论数据非筒仓化的技术工作。（查看这篇文章了解整个项目的更多信息）在数据能够讲述强大的故事之前，需要对其进行访问、转换和格式化，以便能够连接数据集，然后与行业专家一起审查，ecs云服务器，以揭示行业特定的基础关系。

获取数据：自动化数据流进入共享数据群岛

更多在美国，淘客系统，食品系统的大部分仍然是通过纸质印刷品和电子表格运作的。虽然这些捕获、分析和通信数据的方法随着时间的推移提高了业务的速度和规模，但它们确实带来了限制。随着不同的组织寻求合作并实时共享大量数据，来回发送电子表格已不再足够。

克罗格是喂养美国的长期历史合作伙伴这两个组织已经合作了40年。作为全国零售捐赠计划的一部分，大数据网，Kroger商店定期预留捐赠食品，免费企业管理软件，并通过食品储藏室向美国成员食品银行提供食品。作为公司范围内零饥饿、零浪费计划的一部分，Kroger寻求更多的捐赠和浪费数据库。在行业中处于领先地位的克罗格在2017年公开承诺到2025年捐赠30亿份餐食，云服务器吧，并热切希望在其全国2700多家门店的网络中找到尽可能多的捐赠机会。为此，他们希望在自己的商店数据和食品银行合作伙伴的食品慈善数据中找到与克罗格捐赠模式相关的更深层次的模式。

作为这一数据非自选合作伙伴关系中的第一家零售组织，克罗格提出每天分享他们的收缩数据。缩水是由于不完美、变质和其他因素造成的杂货店库存的损失。任何未出售给客户的物品都表示为缩水，并指定用于捐赠、动物饲料、堆肥或填埋。扫描丢失数据表示正式记录的收缩的子集。虽然Kroger在内部跨部门广泛使用这些信息，但这是他们第一次与两个外部合作伙伴合作。

与Kroger的商业智能和IT团队密切合作，Kroger零饥饿、零浪费领导团队导航Kroger的混合多云系统。组织和技术阻力最小的方法是让X团队每天都能得到数据快照，那就是每夜自动发送一封电子邮件，并附上20个运营门店部门的数据文件。

处理传入的数据

所有包含数据文件的电子邮件，该团队需要一种方法来处理和加载数据，以便进行成形和分析。X团队选择了BigQuery，Google云的企业数据仓库，因为它的可扩展性和速度。

为了自动保存和处理收到的电子邮件，团队设置了一个云存储桶。当一个新文件被添加到bucket时，一个Pub/Sub通知会触发一个云函数来自动将数据加载到BigQuery中。如果成功地加载到BigQuery中，则将根bucket中已处理的文件归档到"completed"文件夹中；如果由于任何原因不完整，则将其归档到"error"文件夹中。