




腾讯云大数据基础产品中心副总经理 ,中国计算机协会大数据分会会员理事,曾供职AWS 华为云等主流云服务商。多年从事大数据分析、数据调优等相关工作,对于数据库及大数据等产品有丰富的规划和架构经验。
演讲摘要:
TDSQL-C是腾讯打造的云原生数据库产品,其高可用、高可靠、高性能的特性,已经被越来越多的用户认可。本主题将为大家介绍TDSQL-C总体架构和核心能力的持续演进现状,并重点介绍TDSQL-C在可用性、可靠性和性能方面的工作,同时结合用户场景分享TDSQL-C在实际应用中的实践经验。
演讲大纲:
1.架构介绍 - TDSQL-C架构与特性;
2.用户导向的架构突破 - 极速启停、极致伸缩、性能优化、持续备份;
3.新的探索 - 软硬件一体化探索;
听众收益:
了解腾讯云原生的先进技术,了解TDSQL-C的架构演进历史和腾讯云数据库的创新实践。
演讲摘要:
腾讯云MongoDB当前已服务于各行业头部用户,致力于为用户提供高性能、低成本、高可用的存储服务。本主题将为大家分享DBbrain for MongoDB智能诊断、数据库自治等功能实现,包括异常诊断、智能索引推荐、SQL限流等核心功能实现。此外,结合真实典型案例,给大家分享千亿级高并发MongoDB集群踩坑及性能优化实践。
演讲大纲:
1. MongoDB核心优势
2. DBbrain for MongoDB介绍
3. MongoDB异常诊断分享
4. MongoDB智能索引推荐实现
5. MongoDB内核SQL限流实现
6. 典型案例:千亿级高并发MongoDB集群踩坑及性能优化实践
听众收益:
1. 了解MongoDB核心优势
2. 学习MongoDB各种异常诊断方法智能索引推荐实现等
3. 借助真实高并发大数据量MongoDB集群案例学习如何分析问题并进行内核优化
演讲摘要:
在当前越来越强调云原生的环境下,存储计算分离已经是大势所趋,存算分离的存储资源和计算资源的解耦以及尤其是计算资源的弹性扩缩容能充分的提高系统整体资源的利用率和系统的健壮性。
几乎所有我们熟知的云数据库都已经开始使用存算分离实现资源价值的最大化,比如亚马逊的snowflake。不过在私有云场景下,国内在存算分离下的大规模实践还比较少。主要是由于私有化场景比较复杂,需要考虑私有化客户的技术人员在大数据领域的固有技术栈、新老架构平滑升级、不同客户的存储计算引擎有一定的差异等一系列问题。
今天的分享聚焦在腾讯tbds大数据团队通过alluxio+ozone在存算分离上的架构优化,以及存算分离在私有云下大规模集群的实践。
演讲大纲:
一、存算分离的简单介绍
二、存算分离在私有化场景遇到问题
1、业务问题
2、技术问题
三、tbds是怎么解决存算分离在私有化场景上遇到的这些问题
1、统一存储Ozone
1.1 Ozone对象存储怎么支持上万节点的架构设计
1.2 对象存储同时支持hdfs文件系统语义遇到的关键问题怎么处理
2、统一元数据:如何解决海量存储对应的海量库表元数据存储扩展及性能问题
3、alluxio on ozone架构模式及alluxio的优化
4、计算弹性化在大规模集群上遇到的性能问题及我们是怎么应对的
5、越来越多的计算引擎(spark、flink、presto、impala、clickhouse、gp...)的背景下,私有化怎么做统一计算
四、展望
听众收益:
1.了解存算一体/融合在大规模集群下会遇到哪些问题
2.了解私有化场景下存算分离在大规模集群下的实践经验
演讲摘要:
数据湖是一种越来越受欢迎的数据存储和分析方法,可解决处理海量异构数据的难题。
云上数据湖解决方案的核心架构原则SSOT,即一份数据满足不同形态、不同引擎、不同大数据云产品的绝大部分大数据需求,无需数据移动、冗余,极大程度的降低用户云上存储成本。
云原生背景下,大数据与云原生技术更加紧密的结合,基于容器k8s的大数据弹性计算架构也越来越普及,能够为用户极大程度降低云上计算成本。
今天的分享整体介绍腾讯云数据湖解决方案及数据湖计算产品DLC的架构原则和技术选型。
演讲大纲:
一、腾讯云数据湖解决方案架构
1、架构原则SSOT,云上数据产品深度连接,一份数据满足绝大多数需求
2、DLC:全托管云原生数据湖产品形态
二、腾讯云数据湖DLC内核技术揭秘,架构原则 KISS,适应云原生
1、成本相关:数据湖表格式、DLC特有虚拟集群弹性模型
2、分析性能相关:常驻共享sparkcontext、统一sql/view/udf presto无感分析加速、local cache加速分析、海量元数据、数据湖格式加速分析
3、ETL稳定心相关:DLC spark shuffle manager设计、解决对象存储一致性、无rename问题
三、新一代数仓建设
1、如何利用文件格式建立高效低成本的稀疏索引
2、增量数仓新范式
3、展望实时增量数仓
听众收益:
1、如何玩转云上大数据,构建低成本、高性能、稳定的数据业务平台
2、数据平台优化思路
3、大数据计算引擎的最新动态


电话咨询