我们专注攀枝花网站设计 攀枝花网站制作 攀枝花网站建设
成都网站建设公司服务热线:400-028-6601

网站建设知识

十年网站开发经验 + 多家企业客户 + 靠谱的建站团队

量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决

腾讯云服务器性能测试 腾讯云服务器什么配置

腾讯云CKafka压测踩坑记录

由于最近项目要上腾讯云,不得不对腾讯云CKafka进行压测,评估kafka的处理性能是罩没简否满足项目需求。(项目期望Kafka能够处理上千万级别的MQ)

武强ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景,ssl证书未来市场广阔!成为创新互联建站的ssl证书销售渠道,可以享受市场价格4-6折优惠!如果有意向欢迎电话联系或者加微信:13518219792(备注:SSL证书合作)期待与您的合作!

一、 明确测试目的

本次性能测试在UAT环境下腾讯云服务器上CKafka处理MQ消息能力进行压力测试。测试包括对Kafka写入MQ消息和消费MQ消息进行压力测试,根据100w、500w和1000w级别的消息处理结果,评估Kafka的处理性能极限值。

二、 Kafka测试前期准备

2.1  Kafka的性能测试主要测试kafka的吞吐量,kafka吞性能为生产者在向kafka传入消息时的写入量,kafka的吐性能为消费者在kafka集群中消费的能力,也就是读取量。

2.2 Borker相关

    Kafka的borker是kafka集群的缓存代理,消息中间件处理结点,一个Kafka节点就是一个broker,多个broker可以组成一个Kafka集群。具体可参考kafka官方文档。

2.3 Cousumer相关

察前    Consumer为kafka的消费者,同一个topic消费者越多越快,但是需要注意的是,消费者的数量不能超过topic的分区数量,因为每个topic的每个分区只能被一个消费者消费,多出来的消费者会无信息可消费。导致资源浪费。具体可参考腾讯云Ckafka指南。

三、Kafka常用参数配置

3.1 生产端常用参数配置如下:

消费者参数配置如下:

Broker 配置参数说明如下:

四、场景设计

4.1 Kafka写入消息压力测试

4.2 Kafka消费压测测试

五、测试方法

5.1 在服务器上使用Kafka自带的测试脚本,分别模拟100w、500w和1000w的消息写入请求,查看Kafka处理不同数量级的消息数时的处理能力,包括每秒生成消息数、吞吐量、消息延迟时间。Kafka消息吸入创建的topic命名为test-2,使用命令发起消费该topic的请求,查看Kafka消费不同数量级别的消息时的处理能力。

5.2 压测命令(脚本执行目录:bin/)

        zookeeper脚本:./kafka-consumer-perf-test.sh --zookeeper IP:port --topic forbid_resources_topic --fetch-size 1048576 --messages 10000 --threads 1

写入脚本命令的参数解析:

消费脚本参数解析:

六、测试结果

写入100W结果:

消费100W结果:

注意:这里的坑就来了实际消费数量与脚本设置的消费数量不一致,在这里的这个问题查了物裤很多资料发现两个问题,一会下面慢慢解释,先来看每个字段的意思。

我们先来看看消费的每个数据字段的含义,如下图:

上图我们可以看出,data.consumed.in.nMsg(总消费消息数)与脚本中messages设置的值不一致;设置消费100W,实际消费121431条消息。

坑就在这里,由于是买的腾讯云的PASS服务,很多东西都没办法获取权限查看,只能一步步和客服沟通,挨个排查。

腾讯售后客服也给发了案例和教程,发现教程里也是实际消费和设置消费数不一致;,此处省略一万字。。。

最终在无意之间更改了Topic分区数之后再次运行脚本发现问题消失了,测试环境的Topic分区设置为1,后续增加分区数发现能实际消费和设置消费消息数一致。最后经过多次测试最终Topic分区数设置为3。这次之后发现忽略了腾讯云提供的压测指南中的底部有几句话;

在多次和腾讯售后客服沟通和交流,后续也有和腾讯相关后端开发沟通,发现竟然连开发都解释不清楚出现这个问题的原因,只要深入了解,就会含糊解释说:“我们卖了这么多产品,Kafka肯定不会有问题的”,其内部也没有关于Kafka相关的压测分析案例。可能是我寡闻,在此记录,也是分享出此次压测的踩坑经历。

腾讯云服务器IO性能测试报告

测试方法:

1、 dd bs=64k count=4k if=/dev/zero of=test

没有加任何参数,dd默认的方式不包括“同步(sync)”命令。也就胡盯是说,dd命令完成前并没有让系统真正把文件写到磁盘上。所以以上命令只是单纯地把这128MB的数据读到内存缓冲当中(写缓存[write cache])。所以你得到的将是一个超级快的速度。因为其实dd给你的只是读取速度,直到dd完成后系统才开始真正往磁盘上写数据,但这个速度你是看不到了。所以如果这个速度很快,没有什么作用。

2、dd bs=64k count=4k if=/dev/zero of=test oflag=dsync

加入这个参裤橡和数后,dd在执行时每次都会进行同步写入操作。也就是说,这条命令每次如举读取64k后就要先把这64k写入磁盘,然后再读取下面这64k,一共重复128次。这可能是最慢的一种方式了,因为基本上没有用到写缓存(write cache)。这种方法是最严格的,可以模拟数据库的插入操作,所以很慢,也是用来测试vps硬盘性能标准的一条标杆,一般来说测试结果,如果超过10M,对正常建站就无影响。超过50M,就是非常给力状态。

腾讯云

[root@VM_37_104_centos ~]# time dd if=/dev/zero of=test.dbf bs=8k count=300000

300000+0 records in

300000+0 records out

2457600000 bytes (2.5 GB) copied, 9.98703 s, 246 MB/s

real 0m10.027s

user 0m0.071s

sys 0m4.413s

[root@VM_37_104_centos ~]# time dd if=/dev/zero of=test bs=64k count=16k oflag=dsync

16384+0 records in

16384+0 records out

1073741824 bytes (1.1 GB) copied, 20.3013 s, 52.9 MB/s

real 0m20.308s

user 0m0.014s

sys 0m2.724s

天互数据 为你解答,希望能帮到你

如何对比测试云服务器的性能

相信你也经常遇到云服务器无法访问的搭渗御问题?

也会遇到服务器丢包,数据加载慢的问题?

阿里云、腾讯云和华为云三大知名云计算厂家的网络情况怎么样?

要判断一个云服务的网络情况好坏又应该从哪些方面考虑呢?

面对以上疑问?一起来看一下阿里云、腾讯云和华为云的云服务器网络能力哪家强。

一、阿里云、腾讯云喊搜和华为云的运营商内网间TCP带宽性能测试华为云400Mbps,阿里云在280Mbps左右,腾讯云优势较大,达到1100Mbps。

云服务器

二、在都开放了16001-16008端口的情况下,华为云S6内网PPS测试结果达到25万,阿里云15万,腾讯云知岩S2在45万至51万之间。

三、三大服务器的外网主机连通性表现基本相同,国内地区服务器响应速度在60ms左右,海外地区响应速度在130ms左右。

四、上传下载能力对比,同样下载100MB大小的文件,华为云耗时120s,腾讯云162s,阿里云154s。

希望本篇回答可以帮助到你

望采纳~


分享名称:腾讯云服务器性能测试 腾讯云服务器什么配置
文章出自:http://mswzjz.cn/article/ddpjshc.html

其他资讯