云服务器价格_云数据库_云主机【优惠】最新活动-搜集站云资讯

云存储_六盘水网站建设_新注册优惠

小七 141 0

对象云存储_个人_大数据的利用过程

我最近发布了一些关于Delphix在销毁ZFS克隆的性能方面所做的改进。即使有了这些改进,最坏的情况也只能恢复800K/s(当每个间接块指向一个需要释放的8KB块,物联网概念股,并且池包含一个7200RPM的磁盘)。如何进一步改善这一状况?当前在遍历元数据时发出多个并发i/o的预取机制有点原始。它同时为单个块的子级发出i/o。这可以是1到128个并发i/O。在我的测试中,我平均有6个并发I/O,新云,这意味着当我们添加更多磁盘时,我们应该看到近似线性的扩展,在6个磁盘的情况下达到6倍。额外的磁盘将有递减的回报。一个更复杂的算法应该能够发出几乎无限数量的i/o,以便使用额外的物理磁盘进行无限扩展。(当然,为了避免内存不足,必须设置硬限制!)在最坏的情况下,大数据处理平台,每个间接块只指向我们需要释放的一个块。这是非常低密度的相关信息——我们读取16K的间接块,并且只使用一个128字节的块指针(不到读取数据的1%)。理想情况下,我们将紧凑地存储这组块——"livelist",大数据和小数据,类似于快照的死列表。但是,维护此结构会在写入克隆时造成性能损失(例如,大数据是什么,在释放块时查找要删除的条目,并压缩结构)。过于简单的实现(使用ZAP,一个磁盘上的哈希表)将具有与重复数据消除类似的性能损失。