关于服务器性能的问题求助

αппəх Lv.6传道发布于 2023-08-17 15:19 最后回复 2024-12-21 15:03:42 私有部署性能

17 回复2056 浏览

服务器配置：
处理器：AMD 霄龙 7H12 * 2 （128 核 256 线程）
内存：256
系统：CentOS 7.9
docker 版本.png

部署方式：docker 一键部署

资源和消耗.png

有大量的工作流排队，但是 CPU 占用一直是个位数，我参考官方文档里面的自定义工作流消息队列的消费线程数，调整的第一步就出错
部署问题 | 明道云私有部署 (mingdao.com)

进入容器：docker exec -it $(docker ps | grep community | awk '{print $1}') bash
执行以下命令可查看现有分区数和消息堆积情况
/usr/local/kafka/bin/kafka-consumer-groups.sh --bootstrap-server ${ENV_KAFKA_ENDPOINTS:=127.0.0.1:9092} --describe --group md-workflow-consumer

在执行命令查看现有分区数和消息堆积情况时提示
错误提示.png

请问这个该如何调整把硬件资源利用起来呢

陆荼荼 Lv.7合道 2024-12-21 15:03:42

晋太元中 2024-12-21 10:03:04

[图片] [图片] 调整 kafka 分区出现报错。官方命令落后版本没更新了吗？

调整 kafka 分区出现报错。官方命令落后版本没更新了吗？

昨天刚碰到
一条流程也堆积，流程就走不下去了（新建一样的又可以，就是那一个不行！怎么削都消不掉）
排队导致后面建的数据进不了流程
说是版本 bug，更新 😕
本质原因还是硬盘读写性能不行
但是其他流程可以，实在说不过去

晋太元中 Lv.5明道 2024-12-21 10:03:04

调整 kafka 分区出现报错。官方命令落后版本没更新了吗？

沈毅 Lv.3修习 2023-08-23 02:07:10

禹建勋 2023-08-22 10:09:08

不能减少。单机模式 ENV_WORKFLOW_CONSUMER_THREADS 一般小于等于分区数

不能减少。
单机模式 ENV_WORKFLOW_CONSUMER_THREADS 一般小于等于分区数

刚才升级时发现，现在版本默认就是 10 个分区，但是工作流的默认线程数还是 3 吗？因为我看了下 kafka 消费者里每个 topic 分区消费者 ID 有点重复，基本 10 个分区对应 3 个消费线程

αппəх Lv.6传道 2023-08-22 10:38:02

沈毅 2023-08-21 22:42:51

调整完 CPU 利用率起来了吗？你调了多少？

调整完 CPU 利用率起来了吗？你调了多少？

我调到 100，CPU 使用率倒是起来了，现在能跑到 50%

禹建勋 Lv.5明道明道云员工 2023-08-22 10:09:08

沈毅 2023-08-21 23:11:49

请问分区数是不是只能增加不能减少？如果想减少，不动分区，只改环境变量 ENV_WORKFLOW_CONSUMER_THREADS 有效吗

请问分区数是不是只能增加不能减少？如果想减少，不动分区，只改环境变量 ENV_WORKFLOW_CONSUMER_THREADS 有效吗

不能减少。
单机模式 ENV_WORKFLOW_CONSUMER_THREADS 一般小于等于分区数

禹建勋 Lv.5明道明道云员工 2023-08-22 10:08:22

沈毅 2023-08-21 22:48:20

想确认下， kafka-topics.sh 也是用下载里的那份是把？调整工作流的部分，文档写的对吗？ /usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow /usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow-Batch /usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow-Button /usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow-Process /usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow-Router /usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkSheet /usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkSheet-Batch /usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkSheet-Router /usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkSheet-onlyimport
想确认下，kafka-topics.sh 也是用下载里的那份是把？调整工作流的部分，文档写的对吗？
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow-Batch 
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow-Button 
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow-Process
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow-Router
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkSheet 
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkSheet-Batch
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkSheet-Router
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkSheet-onlyimport

对

沈毅 Lv.3修习 2023-08-21 23:11:49

禹建勋 2023-08-17 16:59:50

http://pdpublic.mingdao.com/private-deployment/offline/common/kafka_2.12-2.8.0.tgz 进入容器下载这个包，解压，用解压目录的 bin/kafka-consumer-groups.sh 执行即可

http://pdpublic.mingdao.com/private-deployment/offline/common/kafka_2.12-2.8.0.tgz
进入容器下载这个包，解压，用解压目录的 bin/kafka-consumer-groups.sh 执行即可

请问分区数是不是只能增加不能减少？如果想减少，不动分区，只改环境变量 ENV_WORKFLOW_CONSUMER_THREADS 有效吗

沈毅 Lv.3修习 2023-08-21 22:48:20

禹建勋 2023-08-17 16:59:50

http://pdpublic.mingdao.com/private-deployment/offline/common/kafka_2.12-2.8.0.tgz 进入容器下载这个包，解压，用解压目录的 bin/kafka-consumer-groups.sh 执行即可

http://pdpublic.mingdao.com/private-deployment/offline/common/kafka_2.12-2.8.0.tgz
进入容器下载这个包，解压，用解压目录的 bin/kafka-consumer-groups.sh 执行即可

想确认下，kafka-topics.sh 也是用下载里的那份是把？调整工作流的部分，文档写的对吗？

/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow-Batch 
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow-Button 
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow-Process
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkFlow-Router
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkSheet 
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkSheet-Batch
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkSheet-Router
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic WorkSheet-onlyimport

沈毅 Lv.3修习 2023-08-21 22:42:51

αппəх 2023-08-17 17:49:04

嗯工作流正常修改好了 👍

嗯工作流正常修改好了 👍

调整完 CPU 利用率起来了吗？你调了多少？

αппəх Lv.6传道 2023-08-17 17:49:04

禹建勋 2023-08-17 17:43:45

堆积修改工作流的即可工作表的可以先忽略

堆积修改工作流的即可工作表的可以先忽略

嗯工作流正常修改好了 👍

禹建勋 Lv.5明道明道云员工 2023-08-17 17:43:45

αппəх 2023-08-17 17:42:17

工作表消息队列的消费线程数 worksheet-passiverelation worksheet-editcontrols worksheet-formula 前 2 项能正常修改，第三项 worksheet-formula 修改的时候提示 Error: Consumer group 'worksheet-formula' does not exist. [root@e1338b4e1478 /]# /usr/local/kafka/bin/kafka-consumer-groups.sh --bootstrap-server ${ENV_KAFKA_ENDPOINTS:=127.0.0.1:9092} --describe --group worksheet-formula Note: This will not show information about old Zookeeper-based consumers. Error: Consumer group 'worksheet-formula' does not exist.

工作表消息队列的消费线程数

worksheet-passiverelation
worksheet-editcontrols
worksheet-formula

前 2 项能正常修改，第三项 worksheet-formula 修改的时候提示
Error: Consumer group 'worksheet-formula' does not exist.

[root@e1338b4e1478 /]# /usr/local/kafka/bin/kafka-consumer-groups.sh --bootstrap-server ${ENV_KAFKA_ENDPOINTS:=127.0.0.1:9092} --describe --group worksheet-formula
Note: This will not show information about old Zookeeper-based consumers.
Error: Consumer group 'worksheet-formula' does not exist.

堆积修改工作流的即可工作表的可以先忽略

αппəх Lv.6传道 2023-08-17 17:42:17

禹建勋 2023-08-17 17:18:14

不需要，不做任何替换操作。只是查看堆积情况和调整分区出现你帖子截图报错才会使用这个。

不需要，不做任何替换操作。只是查看堆积情况和调整分区出现你帖子截图报错才会使用这个。

工作表消息队列的消费线程数

worksheet-passiverelation
worksheet-editcontrols
worksheet-formula

前 2 项能正常修改，第三项 worksheet-formula 修改的时候提示
Error: Consumer group 'worksheet-formula' does not exist.

[root@e1338b4e1478 /]# /usr/local/kafka/bin/kafka-consumer-groups.sh --bootstrap-server ${ENV_KAFKA_ENDPOINTS:=127.0.0.1:9092} --describe --group worksheet-formula
Note: This will not show information about old Zookeeper-based consumers.
Error: Consumer group 'worksheet-formula' does not exist.

αппəх Lv.6传道 2023-08-17 17:21:22

禹建勋 2023-08-17 17:18:14

不需要，不做任何替换操作。只是查看堆积情况和调整分区出现你帖子截图报错才会使用这个。

不需要，不做任何替换操作。只是查看堆积情况和调整分区出现你帖子截图报错才会使用这个。

好的

禹建勋 Lv.5明道明道云员工 2023-08-17 17:18:14

αппəх 2023-08-17 17:14:55

需要用这个把原 kafka 目录的文件全部替换吗

需要用这个把原 kafka 目录的文件全部替换吗

不需要，不做任何替换操作。只是查看堆积情况和调整分区出现你帖子截图报错才会使用这个。

αппəх Lv.6传道 2023-08-17 17:14:55

禹建勋 2023-08-17 16:59:50

http://pdpublic.mingdao.com/private-deployment/offline/common/kafka_2.12-2.8.0.tgz 进入容器下载这个包，解压，用解压目录的 bin/kafka-consumer-groups.sh 执行即可

http://pdpublic.mingdao.com/private-deployment/offline/common/kafka_2.12-2.8.0.tgz
进入容器下载这个包，解压，用解压目录的 bin/kafka-consumer-groups.sh 执行即可

需要用这个把原 kafka 目录的文件全部替换吗

αппəх Lv.6传道 2023-08-17 17:09:10

禹建勋 2023-08-17 16:59:50

http://pdpublic.mingdao.com/private-deployment/offline/common/kafka_2.12-2.8.0.tgz 进入容器下载这个包，解压，用解压目录的 bin/kafka-consumer-groups.sh 执行即可

http://pdpublic.mingdao.com/private-deployment/offline/common/kafka_2.12-2.8.0.tgz
进入容器下载这个包，解压，用解压目录的 bin/kafka-consumer-groups.sh 执行即可

好的，我去试试，多谢禹老师

禹建勋 Lv.5明道明道云员工 2023-08-17 16:59:50

http://pdpublic.mingdao.com/private-deployment/offline/common/kafka_2.12-2.8.0.tgz
进入容器下载这个包，解压，用解压目录的 bin/kafka-consumer-groups.sh 执行即可

发表话题

αппəх Lv.6传道

主业是生活，副业是码农。

积分
1683
注册排名
156