DataPipeline联合ConfluentKafka

Confluent作为国际数据“流”处理技术领先者，提供实时数据处理解决方案，在市场上拥有大量企业客户，帮助企业轻松访问各类数据。DataPipeline作为国内首家原生支持Kafka解决方案的“iPaaS+AI”一站式大数据融合服务提供商，在零售、金融、互联网和制造等行业拥有着丰富实践经验和解决方案能力。

成都创新互联公司始终坚持【策划先行，效果至上】的经营理念，通过多达10年累计超上千家客户的网站建设总结了一套系统有效的全网推广解决方案，现已广泛运用于各行各业的客户，其中包括：咖啡厅设计等企业，备受客户赞许。

此次上海DataPipeline & Confluent Kafka Meetup，我们邀请到了Confluent流数据处理系统架构师和技术负责人王国璋、DataPipeline架构师吕鹏、携程大数据平台实时计算平台负责人潘国庆、阿里巴巴实时计算平台高级技术专家秦江杰、网易云大数据平台架构师欧阳武林等大数据领域六位行业大咖分享Kafka最新研究成果以及行业应用案例。

活动流程

演讲嘉宾

王国璋 

Confluent流数据处理系统架构师和技术负责人

Apache Kafka PMC，Kafka Streams 作者。于康奈尔大学计算机系取得博士学位，主要研究方向为数据库管理和分布式数据系统。现就职于Confluent，任流数据处理系统架构师和技术负责人。此前曾就职于 LinkedIn 数据架构组，主要负责实时数据处理平台，包括 Apache Kafka 和 Apache Samza 系统的开发与维护。

 

演讲主题：《Apache Kafka，从0.7到2.0：那些年我们踩过的坑》

自从 2011年被捐献给Apache基金会到现在，Kafka项目已经走过了七个年头。从最早的“分布式消息系统”，到现在集成了分发、存储和计算的“流式数据平台”，Kafka经历了哪些挑战？又经过了什么样的演进变化？

1. 从硬件的发展趋势，展现 Kafka 架构的演进过程；

2. 从Kafka开发和维护经验，分享分布式系统工程实践的通理；

3. 开源数据系统的开发经验，如何维护和发展一个开源社区。

潘国庆 

携程大数据平台实时计算平台负责人

携程大数据平台实时计算平台负责人，2016年加入携程，主要从事携程实时计算平台的构建与演进、以及携程实时特征平台的搭建，在实时计算领域拥有丰富的实战经验。

 

演讲主题：《携程实时计算平台架构与实践》

1. 携程实时计算平台的演进之路；

2. 实时架构设计与曾经踩过的坑；

3. 实时计算在携程的实践；

4. 未来规划。

 

吕鹏 

DataPipeline 架构师

吕鹏，目前担任DataPipeline架构师一职，负责数据传输和ETL方面的架构和优化工作。曾就职于Talend和销售易大数据部，拥有5余年大数据平台和数据仓库架构搭建经验，在ETL 领域拥有丰富的实战经验。

 

演讲主题：《DataPipeline在大数据平台的实时数据流实践》

1. 大数据时代下企业级数据面临的主要问题和挑战；

2. kafka connect 在大数据时代的数据流的优势和不足；

3. 大数据平台上的kafka connect 实践案例：

       1）kafka connect 下数据仓库greenplum 同步实践以及优化策略；

       2）kafka connect 下 hive 同步实践；

4.  DataPipeline 做了哪些大数据相关工作，遇到的坑以及相应的解决方案；

5.  总结以及DataPipeline 未来在大数据领域的相关工作。

 

 

张勇华 

唯品会消息平台架构师

毕业于武汉大学，目前担任唯品会消息平台架构师。从事消息系统的设计和研发有4年多的时间，对Kafka、RabbitMQ、RocketMQ等消息中间件产品拥有较丰富的实践经验。

 

演讲主题：《基于Kafka1.0建立企业级消息系统平台的思考及实现》

1. 随着业务系统接入增多，对集群和元数据资源(Topic/Group)的管理显得尤为重要，急需建立统一平台来管理系统资源及认证授权接入服务；

2. 提升并发消费场景下的高可靠，及消费异常后如何优雅解决消费重试问题；

3. 如何实现延时消息的投递功能，改善延时精度的方式；

4. 原生kafka支持组间广播对动态增长的业务组申请造成困境，如何实现组内广播来改善现状；

5. 集群故障时如何快速有效迁移服务等问题介绍。

 

 

秦江杰 

阿里巴巴实时计算平台高级技术专家

秦江杰，阿里巴巴实时计算平台高级技术专家。硕士毕业于卡耐基梅隆大学，曾任职于LinkedIn参与Apache Kafka开发，Apache Kafka PMC member。

 

演讲主题：《详解Flink基于Kafka事务的严格一次语义实现》

在流处理系统中，端到端的严格一次的语义只有当输出的Sink支持时才可以实现。在Kafka 0.11中增加了对事物的支持，使得其他系统可以利用这一特性实现严格一次的语义。本次分享将详细介绍Flink是如何利用这Kafka一特性来实现端到端的严格一次语义的。

欧阳武林 

网易大数据平台架构师

曾就职于中国移动、51信用卡，主要从事云计算平台开发相关工作。目前就职于网易，主要从事大数据平台开发。

演讲主题：《Kafka 在网易云上的实践》

1.Kafka上云面临的挑战和机遇；

2.网易云Kafka架构实现；

3.网易云Kafka的关键问题解决之法；

4.未来规划。

时间&地点

时间：2018年10月21日，13:30签到

详细地址：上海市长宁区金钟路968号凌空SOHO12号楼11层

活动报名

添加DataPipeline君微信：datapipelien2018，拉你进现场活动群。

分享题目：DataPipeline联合ConfluentKafka
网页地址：http://mswzjz.cn/article/gdeggc.html