许文强,腾讯高级工程师,腾讯云Kafka产品研发负责人,Apache Kafka Contributor。

许文强,腾讯高级工程师,腾讯云Kafka产品研发负责人,Apache Kafka Contributor。
演讲摘要:
随着 Kappa 架构流批一体在大数据领域兴起,万物互联引发数据源爆发,基于数据流的实时处理计算成为趋势,传统的分布式数据计算引擎如 Spark、Flink 也面临着数据量级和业务复杂度的双重考验。业界的流批一体,也逐渐转变为统一到流。近年来,新的流计算形态不断涌现。
在 Apache Kafka 的生态中,通常是通过原生的 Connector 来实现集群间的容灾、同步以及简单的数据转换处理能力。如果需要实现流式计算处理,则需借助Flink、Spark或者原生的Kafka Stream来编程实现。
在实际的使用运营过程中面临学习成本、运维投入、扩缩容等问题。随着Serverless 架构的兴起,其具有事件触发,多语言编程,弹性扩缩容,函数态运行等能力,为消息在容灾、同步、转换处理、流式计算等场景下,提供了一种新的技术选择。本次内容主要分享基于Serverless 架构的消息的处理、流转的一种探索和实践经验。
演讲大纲:
听众收益:
1. 了解Kafka的数据流转和Serverless架构结合的优势。
2. 了解结合Serverless的设计理念,以及实现大数据架构下数据流转的技术实现和原理。
3. 了解如何用Kafka + Function的能力实现消息的流转、处理。简化研发运维的投入成本。
4. 了解如何将消息处理和开源的Serverless项目相结合,实现更轻量的消息计算。


电话咨询