我们需要大量的现代机器。现代计算机充满了信息，充满了认知能力，可以实时完成我们的任务。然而，尽管数据管理有了长足的进步，但快速检索和分析数据的能力仍然是当今数字经济的一个关键障碍。一家初创公司正在重新考虑现有的技术，以开放、分布式的方式将位图索引应用于海量数据集。总部位于得克萨斯州奥斯汀的Pilosa今天在开源大会之前发布了它的公开测试版，它的工作原理是将索引与数据存储分离，并对其进行大规模优化。据该公司称，结果是在多个大型结构化数据集上大大加快了查询速度。为了帮助数据库管理的读速度赶上写速度，Pilosa的内存索引加快了对现有数据库的查询，以及连接来自多个源的数据的过程。Pilosa使1万亿字节的数据响应查询，就好像它是10兆字节一样。"我们是一个新的软件类别，"Pilosa首席执行官Higinio（H.O.）Maycotte说我们喜欢坐在任何大的数据集之上。你可能有弹性搜索-我们可以坐在上面。你可能有Neo4j-我们也可以坐在上面。NoSQL数据库，一个栈中所有用于机器学习、报告和分析的组件都可以使用Pilosa作为数据查询点，而不必担心其他组件。如果您的数据高度分散在不同的数据源中，我们只需一站式服务。"为什么是位图索引？好吧，这是一种将结构化数据快速转换为布尔代码（0和1）的方法，将数据转换为最原始的形式，便于计算机消化。目前正在努力加快对海量数据集的数据查询，主要集中在压缩数据以进行位图索引，但Pilosa采取了一种独特的方法，完全避免了压缩的概念。通过分解数据集，Pilosa将每个变量转换为"是或否"问题，其中0表示"是"，1表示"否"。这个过程实际上扩大了数据集中的列数，但这些位大小的数据点对计算机来说更容易理解。例如，出租车服务的数据集在高峰时段可能有几十个变量需要考虑，例如票价、交通流量、天气和上下车地点。Pilosa的位图索引过程将获取每个变量，如天气，并将其分解为一系列问题，这些问题可以用简单的"是"或"否"来回答。天气晴朗吗？是还是不是？天气有点多云吗？是还是不是？天气有暴风雨吗？是还是不是？虽然大多数结构化数据集在布尔代码位图索引中使用类似的并行化数据过程，但Pilosa的区别因素是用于加快查询速度的分布方法。Pilosa没有将数百万个数据点塞进一台机器中对数据运行算法，而是将其分割成多台机器。"当我们问这些数据的问题时，为了比较数百万行（索引），你可以只做一台机器上的400万位和另一台机器上的下400万位的工作。Pilosa工程师Travis Turner解释说："大量的计算分布在集群中的不同节点上。通过这种方式，Pilosa将查询过程民主化，这种查询过程通常是为拥有无限资源和外来硬件的大型公司保留的，例如图形处理单元，这可能需要熟练和敬业的员工。Pilosa拥有一个位于任何持久存储解决方案之上的占地面积小的软件解决方案，它不会取代任何现有的IT基础设施。根据该公司的常见问题解答，他们通过创建一个独立于存储的索引，针对大规模的高基数数据进行了优化，从而解决了潜在的问题。 Pilosa的前身是Umbel，Maycotte的前一家安全管理消费者数据的初创公司，凭借其9项专利，Pilosa在传统企业环境下接手ElasticSearch和Neo4j。许多传统科技巨头也有自己的位图索引服务，包括惠普企业公司（Hewlett-Packard Enterprise Co.）的Vertica、IBM公司的DB2 BLU和Oracle公司的Exadata。Pilosa对软件层采用了一种看似不可知的方法，声称支持任何和所有数据源，以及通过其API将流数据添加到预先存在的索引中的能力。Pilosa的首款产品是作为开源产品发布的，目前在GitHub上提供，因为这家初创公司希望吸引合作的开发人员和使用案例来证明其颠覆性的方法（或者，您可以付费将Pilosa添加到堆栈中并访问高级性能模块）。Pilosa还将面临平衡免费、开源解决方案与最终创收需求的挑战。如果Pilosa的开源努力按计划进行，这家初创公司可能很快就会拥有现实世界的用例和支持性的生态系统，以吸引合作伙伴、客户和投资者，着眼于城市发展（考虑智能城市）、生物信息学（考虑癌症基因治疗）和安全性（考虑网络完整性）。为了在这些高度管制的行业中取得成功，Pilosa也为了安全目的而大张旗鼓地使用位图索引方法。"因为Pilosa不包含元数据，而是0和1的抽象，它允许向那些可能无法访问用于研究或分析的信息的各方开放该索引，因为它具有敏感性，"Maycotte说。资料图：皮洛萨既然你来了…点击订阅我们的YouTube频道（见下文），显示您对我们使命的支持。我们的订户越多，YouTube就越会向你推荐相关的企业和新兴技术内容。谢谢！支持我们的使命：>>>>>立即订阅我们的YouTube频道。……我们还想告诉你我们的使命，以及你如何帮助我们完成它。SiliconANGLE Media Inc.的商业模式是基于内容的内在价值，而不是广告。与许多在线出版物不同的是，我们没有付费墙或横幅广告，因为我们想让我们的新闻保持开放，不受影响，也不需要追逐交通。那个新闻、报道和评论SiliconANGLE——以及现场报道，我们的硅谷工作室和cube环球巡演的视频团队提供的未经剪辑的视频需要大量的辛勤工作、时间和金钱。保持高质量需要赞助商的支持，他们与我们的无广告新闻内容的愿景一致。如果你喜欢这里的报道，视频采访和其他无广告内容，请花点时间看看我们的赞助商支持的视频内容样本，在推特上表达你的支持，然后继续回到SiliconANGLE。