Google Cloud 推出 Bigtable 分层存储

2025年11月24日 由 佚名 发表 17 0

屏幕截图2025-11-24102501


Google Cloud 最近发布了Bigtable 分层存储的预览版。这一新功能允许开发者在单个 Bigtable 实例中同时管理热数据和冷数据,从而在保持数据访问的同时优化成本。

通过新的 Bigtable 功能,开发者可以在表上设置基于数据年龄的分层策略,最低年龄阈值为30天。该服务会自动在 SSD 和不频繁访问的存储层之间移动数据,无需手动导出不常访问的数据。


Anton Gething,Google 的高级产品经理,和Derek Lee,Google 的软件工程师,解释了分层存储如何减少运营开销并消除手动数据迁移。他们写道:


此功能与 Bigtable 的自动扩展功能配合使用,以优化 Bigtable 实例的资源利用率。此外,不频繁访问存储层中的数据仍可通过相同的 Bigtable API 与现有的 SSD 存储一起访问。


数据根据基于年龄的分层策略移动到不频繁访问的存储层,开发者配置年龄阈值。当单元格的时间戳超过配置的年龄时,它会从 SSD 层移动到不频繁访问层。数据移动仅基于单元格的时间戳,不受数据读取频率的影响。


Bigtable是 Google Cloud 上的一个键值和宽列存储,提供托管的、低延迟的、兼容 Cassandra 和 HBase 的 NoSQL 数据库。该服务旨在快速访问结构化、半结构化或非结构化数据。云提供商建议的常见使用案例包括制造业和汽车行业的传感器、设备和操作的时间序列数据。


文档强调,为了实现最佳的 SSD 性能并充分利用分层存储,开发者应在查询仅访问 SSD 上的数据时使用时间戳范围过滤器。


由于 Bigtable 旨在支持单个数据库中的操作和分析工作负载,Gething 和 Lee 解释了新的分层存储如何简化数据的分析和报告访问:


使用 Bigtable SQL 查询不常用的数据。然后,您可以构建 Bigtable 逻辑视图,以便在需要时以可查询的格式呈现这些数据。此功能对于在不提供对整个表的完全访问权限的情况下,为特定用户提供报告的历史数据访问非常有用。


此外,新功能增加了 Bigtable 节点的存储容量,分层存储节点提供的容量比普通 SSD 节点多出 540%。德意志银行的首席 DevOps 工程师兼副总裁 Florin Lungu评论道:


Bigtable 分层存储提供了一种在不牺牲数据的情况下管理数据成本的解决方案。(...) 这可能会显著影响组织优化其数据存储策略的方式。


要将数据移回 SSD,开发者必须增加分层策略的年龄阈值以包括 SSD 中的旧数据,禁用分层存储,或使用新时间戳重写数据并删除旧副本。


Bigtable 定价基于计算能力、数据库存储、备份存储和网络使用,冷存储比 SSD 存储便宜高达 85%。分层存储不适用于 Bigtable HDD 实例。此外,Bigtable 数据增强和热备份不受支持。


今年早些时候,Google 在 Spanner 上引入了分层存储,这是一种托管的分布式 SQL 数据库,正如InfoQ 之前报道的那样。


文章来源:https://www.infoq.com/news/2025/11/google-bigtable-tiered-storage/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消