让消息和流“双轨制”成为历史:云原生消息流平台 Apache Pulsar 架构设计原理

所属专题:面向未来的中间件设计

嘉宾 : 翟佳【腾讯云 TVP】【TGO 鲲鹏会学员】 | StreamNative联合创始人

时间 : 04月16日 10:30

讲师介绍

专题演讲嘉宾:翟佳【腾讯云 TVP】【TGO 鲲鹏会学员】

StreamNative联合创始人

翟佳,Apache Pulsar PMC 成员与 Committer,StreamNative 联合创始人。在此之前任职于 EMC,担任北京 EMC 实时处理平台技术负责人,主要从事实时计算和分布式存储系统的相关开发,在开源项目 Apache BookKeeper,Apache Pulsar 等项目中持续贡献代码,目前是 Pulsar 和 BookKeeper 开源项目 PMC 成员。

议题介绍

演讲:让消息和流“双轨制”成为历史:云原生消息流平台 Apache Pulsar 架构设计原理

 

演讲摘要:

由于之前的技术原因,人们在消息系统中把消息和流分成了两种模型分别对待,企业基础架构存在大量“双轨制”现象,造成了数据隔离、数据孤岛的形成,极大提升了架构复杂度和运维成本──内部关键业务场景里用 MQ 来保证消息服务,在数据管道场景用 Kafka 提供流服务,但消息和流本质是一样的。

在云原生时代,开发者应该把更多精力放在应用程序和微服务上,而不是把时间浪费在维护复杂的消息和流数据基础设施上。Apache Pulsar 提供了队列和流两种消费模型的统一抽象,企业可借助 Apache Pulsar 打造统一的实时数据基础设施平台,打破数据隔离和数据孤岛,简化架构并降低运维复杂度。

同时,Apache Pulsar 采用计算与存储分离架构设计,集消息、存储、轻量化函数式计算为一体,支持多租户、持久化存储、分层存储、多机房跨区域数据复制等特性,目前国内外有越来越多的公司落地 Apache Pulsar。

在本次分享中,翟佳将深入介绍 Apache Pulsar 的云原生特性和架构设计理念、以及在全面云原生时代 Pulsar 在批流一体、大数据生态等方面的最新进展。

 

演讲大纲:

  • 消息和流系统发展回顾
  • Apache Pulsar 诞生背景
  • 详述 Apache Pulsar 架构原理
  • Apache Pulsar 的分层分片架构
  • 流存储底层 BookKeeper 架构
  • Apache Pulsar 落地实践
    • 社区用户
    • 落地场景
  • Apache Pulsar 生态和社区
    • 社区发展与周边生态
    • 未来展望

 

听众受益:

  • 了解企业实时数据基础设施面临的挑战
  • 认知云原生时代消息和流系统发展趋势
  • 获取对 Apache Pulsar 基础架构和设计理念的认识
  • 电话咨询

    联系电话:+86 13240419330
在报名过程中如有任何问题,欢迎微信扫描二维码联系我们的票务经理