腾讯云tbds大数据团队存储组件研发负责人。毕业于武汉理工大学计算机系,在大数据存储,缓存加速,实时计算有丰富落地经验。
2015年校招加入腾讯游戏 研发实时im、音频通讯引擎服务腾讯各大头部游戏。
2020年加入腾讯云tbds大数据研发,从事大数据存算引擎、实时计算的架构设计和研发:解决数百家私有化客户pb级上千节点规模的大数据应用实践问题。
演讲摘要:
在当前越来越强调云原生的环境下,存储计算分离已经是大势所趋,存算分离的存储资源和计算资源的解耦以及尤其是计算资源的弹性扩缩容能充分的提高系统整体资源的利用率和系统的健壮性。
几乎所有我们熟知的云数据库都已经开始使用存算分离实现资源价值的最大化,比如亚马逊的snowflake。不过在私有云场景下,国内在存算分离下的大规模实践还比较少。主要是由于私有化场景比较复杂,需要考虑私有化客户的技术人员在大数据领域的固有技术栈、新老架构平滑升级、不同客户的存储计算引擎有一定的差异等一系列问题。
今天的分享聚焦在腾讯tbds大数据团队通过alluxio+ozone在存算分离上的架构优化,以及存算分离在私有云下大规模集群的实践。
演讲大纲:
一、存算分离的简单介绍
二、存算分离在私有化场景遇到问题
1、业务问题
2、技术问题
三、tbds是怎么解决存算分离在私有化场景上遇到的这些问题
1、统一存储Ozone
1.1 Ozone对象存储怎么支持上万节点的架构设计
1.2 对象存储同时支持hdfs文件系统语义遇到的关键问题怎么处理
2、统一元数据:如何解决海量存储对应的海量库表元数据存储扩展及性能问题
3、alluxio on ozone架构模式及alluxio的优化
4、计算弹性化在大规模集群上遇到的性能问题及我们是怎么应对的
5、越来越多的计算引擎(spark、flink、presto、impala、clickhouse、gp...)的背景下,私有化怎么做统一计算
四、展望
听众收益:
1.了解存算一体/融合在大规模集群下会遇到哪些问题
2.了解私有化场景下存算分离在大规模集群下的实践经验


电话咨询