关于服务器性能的问题求助

Yanc 20小时前私有部署性能收藏

17 / 799

服务器配置：
处理器：AMD 霄龙 7H12 * 2 （128 核 256 线程）
内存：256
系统：CentOS 7.9
docker 版本.png

部署方式：docker 一键部署

资源和消耗.png

有大量的工作流排队，但是 CPU 占用一直是个位数，我参考官方文档里面的自定义工作流消息队列的消费线程数，调整的第一步就出错
部署问题 | 明道云私有部署 (mingdao.com)

进入容器：docker exec -it $(docker ps | grep community | awk '{print $1}') bash
执行以下命令可查看现有分区数和消息堆积情况
/usr/local/kafka/bin/kafka-consumer-groups.sh --bootstrap-server ${ENV_KAFKA_ENDPOINTS:=127.0.0.1:9092} --describe --group md-workflow-consumer

在执行命令查看现有分区数和消息堆积情况时提示
错误提示.png

请问这个该如何调整把硬件资源利用起来呢

听人劝吃饱饭 20小时前回复

晋太元中 1天前

调整 kafka 分区出现报错。官方命令落后版本没更新了吗？

昨天刚碰到
一条流程也堆积，流程就走不下去了（新建一样的又可以，就是那一个不行！怎么削都消不掉）
排队导致后面建的数据进不了流程
说是版本 bug，更新 😕
本质原因还是硬盘读写性能不行
但是其他流程可以，实在说不过去

晋太元中 1天前回复

调整 kafka 分区出现报错。官方命令落后版本没更新了吗？

沈毅 2023-08-23 02:07:10 回复

禹建勋（Team） 2023-08-22 10:09:08

不能减少。
单机模式 ENV_WORKFLOW_CONSUMER_THREADS 一般小于等于分区数

刚才升级时发现，现在版本默认就是 10 个分区，但是工作流的默认线程数还是 3 吗？因为我看了下 kafka 消费者里每个 topic 分区消费者 ID 有点重复，基本 10 个分区对应 3 个消费线程

Yanc 2023-08-22 10:38:02 回复

沈毅 2023-08-21 22:42:51

调整完 CPU 利用率起来了吗？你调了多少？

我调到 100，CPU 使用率倒是起来了，现在能跑到 50%

禹建勋（Team） 2023-08-22 10:09:08 回复

沈毅 2023-08-21 23:11:49

请问分区数是不是只能增加不能减少？如果想减少，不动分区，只改环境变量 ENV_WORKFLOW_CONSUMER_THREADS 有效吗

不能减少。
单机模式 ENV_WORKFLOW_CONSUMER_THREADS 一般小于等于分区数

禹建勋（Team） 2023-08-22 10:08:22 回复

沈毅 2023-08-21 22:48:20

想确认下，kafka-topics.sh 也是用下载里的那份是把？调整工作流的部分，文档写的对吗？

/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow-Batch 
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow-Button 
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow-Process
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow-Router
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkSheet 
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkSheet-Batch
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkSheet-Router
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkSheet-onlyimport

对

沈毅 2023-08-21 23:11:49 回复

禹建勋（Team） 2023-08-17 16:59:50

http://pdpublic.mingdao.com/private-deployment/offline/common/kafka_2.12-2.8.0.tgz
进入容器下载这个包，解压，用解压目录的 bin/kafka-consumer-groups.sh 执行即可

请问分区数是不是只能增加不能减少？如果想减少，不动分区，只改环境变量 ENV_WORKFLOW_CONSUMER_THREADS 有效吗

沈毅 2023-08-21 22:48:20 回复

禹建勋（Team） 2023-08-17 16:59:50

http://pdpublic.mingdao.com/private-deployment/offline/common/kafka_2.12-2.8.0.tgz
进入容器下载这个包，解压，用解压目录的 bin/kafka-consumer-groups.sh 执行即可

想确认下，kafka-topics.sh 也是用下载里的那份是把？调整工作流的部分，文档写的对吗？

/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow-Batch 
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow-Button 
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow-Process
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow-Router
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkSheet 
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkSheet-Batch
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkSheet-Router
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkSheet-onlyimport

沈毅 2023-08-21 22:42:51 回复

Yanc 2023-08-17 17:49:04

嗯工作流正常修改好了 👍

调整完 CPU 利用率起来了吗？你调了多少？

Yanc 2023-08-17 17:49:04 回复

禹建勋（Team） 2023-08-17 17:43:45

堆积修改工作流的即可工作表的可以先忽略

嗯工作流正常修改好了 👍

禹建勋（Team） 2023-08-17 17:43:45 回复

Yanc 2023-08-17 17:42:17

工作表消息队列的消费线程数

worksheet-passiverelation
worksheet-editcontrols
worksheet-formula

前 2 项能正常修改，第三项 worksheet-formula 修改的时候提示
Error: Consumer group 'worksheet-formula' does not exist.

[root@e1338b4e1478 /]# /usr/local/kafka/bin/kafka-consumer-groups.sh --bootstrap-server ${ENV_KAFKA_ENDPOINTS:=127.0.0.1:9092} --describe --group worksheet-formula
Note: This will not show information about old Zookeeper-based consumers.
Error: Consumer group 'worksheet-formula' does not exist.

堆积修改工作流的即可工作表的可以先忽略

Yanc 2023-08-17 17:42:17 回复

禹建勋（Team） 2023-08-17 17:18:14

不需要，不做任何替换操作。只是查看堆积情况和调整分区出现你帖子截图报错才会使用这个。

工作表消息队列的消费线程数

worksheet-passiverelation
worksheet-editcontrols
worksheet-formula

前 2 项能正常修改，第三项 worksheet-formula 修改的时候提示
Error: Consumer group 'worksheet-formula' does not exist.

[root@e1338b4e1478 /]# /usr/local/kafka/bin/kafka-consumer-groups.sh --bootstrap-server ${ENV_KAFKA_ENDPOINTS:=127.0.0.1:9092} --describe --group worksheet-formula
Note: This will not show information about old Zookeeper-based consumers.
Error: Consumer group 'worksheet-formula' does not exist.

Yanc 2023-08-17 17:21:22 回复

禹建勋（Team） 2023-08-17 17:18:14

不需要，不做任何替换操作。只是查看堆积情况和调整分区出现你帖子截图报错才会使用这个。

好的

禹建勋（Team） 2023-08-17 17:18:14 回复

Yanc 2023-08-17 17:14:55

需要用这个把原 kafka 目录的文件全部替换吗

不需要，不做任何替换操作。只是查看堆积情况和调整分区出现你帖子截图报错才会使用这个。

Yanc 2023-08-17 17:14:55 回复

禹建勋（Team） 2023-08-17 16:59:50

http://pdpublic.mingdao.com/private-deployment/offline/common/kafka_2.12-2.8.0.tgz
进入容器下载这个包，解压，用解压目录的 bin/kafka-consumer-groups.sh 执行即可

需要用这个把原 kafka 目录的文件全部替换吗

Yanc 2023-08-17 17:09:10 回复

禹建勋（Team） 2023-08-17 16:59:50

http://pdpublic.mingdao.com/private-deployment/offline/common/kafka_2.12-2.8.0.tgz
进入容器下载这个包，解压，用解压目录的 bin/kafka-consumer-groups.sh 执行即可

好的，我去试试，多谢禹老师

禹建勋（Team） 2023-08-17 16:59:50 回复

http://pdpublic.mingdao.com/private-deployment/offline/common/kafka_2.12-2.8.0.tgz
进入容器下载这个包，解压，用解压目录的 bin/kafka-consumer-groups.sh 执行即可

发表话题

Yanc

这家伙很懒，什么都没留下

积分
777
注册排名
156