"引擎盖下的BigQuery"博客文章概述了不同的BigQuery子系统。今天，我们将深入探讨其中一个问题—存储系统。我们将跟踪加载到BigQuery中的数据表.BigQuery支持多种输入格式—CSV、JSON、数据存储备份、AVRO—当它们被导入时，数据将转换为我们的内部表示。BigQuery使用支持半结构化数据嵌套和重复字段的列式存储。当Google在2010年发表Dremel论文时，它解释了如何在列存储中保留这种结构。每一列，除了它的值，还存储两个数字-定义和重复级别。这种编码确保了记录的完整或部分结构可以通过只读取请求的列来重建，而不需要读取父列（这是使用替代编码的情况）。同一篇论文给出了编码数据和重建记录的精确算法。