RocketMQ中怎么判断消息堆积

这期内容当中小编将会给大家带来有关RocketMQ中怎么判断消息堆积,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。

创新互联专业为企业提供云龙网站建设、云龙做网站、云龙网站设计、云龙网站制作等企业网站建设、网页设计与制作、云龙企业网站模板建站服务,10年云龙做网站经验,不只是建网站,更提供有价值的思路和整体网络服务。

一 机器部署

1、机器组成

7台机器,均为16G内存  

每台服务器均有4个CPU,2核

RocketMQ中怎么判断消息堆积

2、运行环境配置

RocketMQ中怎么判断消息堆积

3、刷盘方式

每台机器master机器均采用异步刷盘方式

RocketMQ中怎么判断消息堆积

RocketMQ中怎么判断消息堆积

二 性能评测

1、评测目的

   测试rocketmq是否存在消息堆积场景。

2、评测指标

    producer发送消息的maxOffset与consumer消费消息的currOffset的差异值

    给定的常量消息堆积数值。

3、评测逻辑

  若消息offset的差异值 大于 常量堆积数值,则认为存在消息堆积的情况。

    反之则不存在消息堆积。

4、评测过程

       (1)producer端向topic名称为“orderTopicTest”的队列发送海量消息,定为40000条。

    (2)consumer端订阅特定名称的topic,并进行消费。每次消费消息,记录当前消息的Offset;并根据“MAX_OFFSET”关键字,从当前消息对象获取消息最大偏移量的属性值,然后计算偏移量MAX_OFFSET与offset的差异值。关键代码如下:

RocketMQ中怎么判断消息堆积

(3)发送消息,记录发送的消息及其相关日志。

      如果消息偏移量offset的差异值 大于 给定的消息堆积个数值,则记录日志,说明存在消息堆积的情况。反之则不存在消息堆积。产生的日志如下

RocketMQ中怎么判断消息堆积

RocketMQ中怎么判断消息堆积

RocketMQ中怎么判断消息堆积

   (4)消息堆积处理

    从日志看出,因producer端先运行了好一会儿,已经产生了741个消息挤压;

    随着consumer消费服务开启,消息一边产生,一边消费,整体来说消息消费的速率高于消息产生的速率,所以消息offset的差异值在不断的减少,故第二个截图的情况存在:消息offset的差异值小于阈值100,所以存在正常消费与消息堆积的混合情况。

    consumer继续消费消息,producer产生消息的速率跟不上consumer的消费速率,故第三图就已经是正常消息消费了,即此时的消息堆积的那一部分消息已被消费。

    (5)注意事项

    rocketmq官网文档指出,集群在有Slave情况下,Master一旦发现Consumer访问堆积在磁盘的数据时,访问堆积在磁盘的数据时,回向consumer下达一个指令,命令consumer从slave拉取数据,这样使得正常发消息的consumer与正常消费消息的consumer都不会收到影响。

   此种情况前提:

    A)集群存在salve机器

    B)consumer存在消息堆积

    C)consumer因某种原因访问磁盘数据(而非访问pageCache等内存数据)

    这种情况的场景要求苛刻,需要在高并发的场景下才可能出现;此外,生产环境的集群配置,出现消息堆积的情况,还有可能是受到磁盘大小、网络因素等等原因,本次测试并未深入到此场景,留待后续进一步测试。

二 评测结果

     1、消息堆积是一个相对值,针对consumer消费消息,某个topic队列中最大的maxOffset与当前消费消息的currOffset的差异值,大于某个特定的阈值,才会出现消息堆积。

    2、当发送消息高于消息消费的速率,则可能出现消息堆积。

    3、其他条件保存正常水平,存在消息堆积的那一部分消息会随着时间不断减少直至消息被消费。

    4、针对过多的消息堆积,可以选择丢弃不重要的消息,即仅仅记录日志,而不真正消费,以此保证消息的完整性,以此来特殊处理消息的堆积情况。

上述就是小编为大家分享的RocketMQ中怎么判断消息堆积了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注创新互联行业资讯频道。


本文标题:RocketMQ中怎么判断消息堆积
文章起源:http://csdahua.cn/article/gjgpes.html
扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流