Serverless云函数怎么实现CKafka数据转存到ES
这期内容当中小编将会给大家带来有关Serverless 云函数怎么实现CKafka 数据转存到ES，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。
10年的冠县网站建设经验，针对设计、前端、开发、售后、文案、推广等六对一服务，响应快，48小时及时工作处理。成都营销网站建设的优势是能够根据用户设备显示端的尺寸不同，自动调整冠县建站的显示方式，使网站能够适用不同显示终端，在浏览器中调整网站的宽度，无论在任何一种浏览器上浏览网站，都能展现优雅布局与设计，从而大程度地提升浏览体验。成都创新互联从事“冠县网站设计”,“冠县网站推广”以来，每个客户项目都认真落实执行。
背景介绍
腾讯云 Serverless 云函数是下一代通用计算平台，提供安全稳定、高效易用的低成本无服务器运行环境。随着 Kafka 社区的繁荣，越来越多的用户开始使用 Kafka 来做日志收集、大数据分析、流式数据处理等。而公有云上的产品 Ckafka 也借助了开源社区的力量，做了很多优化：
基于 ApacheKafka 的分布式、高可扩展、高吞吐
100% 兼容 Apache KafkaAPI（0.9 及 0.10）
无需部署，直接使用 Kafka 所有功能
Ckafka 封装所有集群细节，无需用户运维
支持动态升降实例配置，按照需求付费（开发中）
对消息引擎优化，性能比社区最高提升 50%
同时，在公有云上，云函数也和 CKafka 做了深度联动，并推出了很多非常实用的功能。
运行原理
如下图，云函数可以实时消费 Ckafka 中的消息，比如做数据转存、日志清洗、实时消费等。并且，像数据转存的功能已经集成到了 Ckafka 的控制台上，用户可以一键开启使用，大大降低了用户使用的复杂度。
方案优势
对比使用云主机自建 Ckafka Consumer 的方式，云函数帮用户屏蔽掉了很多不必要的开销：
云函数控制台上可以一键开启Ckafka触发器，帮助用户自动创建 Consumer，并由云函数平台来维护组建的高可用；
Ckafka 触发器自身支持很多实用的配置：支持配置 offset 位置、支持配置1~1万消息聚合条数、支持配置 1~1万次重试次数等；
基于云函数开发的业务逻辑，天然支持弹性伸缩，无需额外搭建和维护服务器集群等。
常用场景
如下图所示，借助云函数和 Ckafka 触发器，可以非常方便实现 CKafka 消息转存到 COS、ES、DB等，那本次也会借助云函数来替代 Logstash，实现 Ckafka 消息罗盘 ES。
和使用 CVM 自建 Logstash 对比，云函数有以下优势：
云函数自带 Consumer 组件，可自行聚合；
云函数的模板函数已经实现了消息聚合和部分清洗能力，还可自行扩展；
云函数集群自带高可用和监控日志能力，业务上线速度更快；
云函数采用按实际使用收费，比自建集群费用更优，可以节省 50% 的费用。
部署流程
前置条件（以广州地域为例）：
开启 Elasticsearch 服务
开启 Ckafka 服务
1. 创建云函数
登录云函数控制台，选择地域后，新建函数，选择运行环境 Python3.6，搜索「Ckafka」，选中模板函数后，下一步。
在下一步中，点开高级设置：配置环境变量，如下：
必填参数：ES_Address, ES_User, ES_Password, ES_Index_KeyWord
可选填入：
ES_Log_IgnoreWord（需要删除的关键词，缺省则全量写入，如填name,password）ES_Index_TimeFormat（按照天或者小时设置 Index，缺省则按照天建立索引，如填hour）
在高级设置中，配置私有网络，需要选择和 ES 相同 VPC，完成函数创建。
2. 创建 Ckafka 触发器
在函数的【触发管理】页面，创建触发器，配置对应 Topic 的触发方式，提交后即可生效。
3. 查看 ES 和函数运行日志
查看函数运行日志
查看 Kibana
扩展能力介绍
如果想要实现高级日志清洗逻辑，可直接在函数代码中修改逻辑。
针对函数的运行状态，可以自行配置监控告警，实时感知业务运行情况。
上述就是小编为大家分享的Serverless 云函数怎么实现CKafka 数据转存到ES了，如果刚好有类似的疑惑，不妨参照上述分析进行理解。如果想知道更多相关知识，欢迎关注创新互联行业资讯频道。
文章名称：Serverless云函数怎么实现CKafka数据转存到ES
文章路径：http://mswzjz.cn/article/giesoi.html