运维工具介绍

最近更新时间: 2025-03-11 17:03:00

运维常用命令

Flink常用操作
启动、停止流任务

在tcloud-barad-skywalker的/usr/local/services/barad-skywalker/job目录下

执行run-job.sh启动脚本
执行stop-job.sh启动脚本

Flink补点操作

配置文件介绍

job.properties

  kafkaStartTimestamp 为kafka消费的毫秒时间戳

  validBegin 为设定的补算的开始的毫秒时间戳

  validEnd 为设定的补算的结束的毫秒时间戳

注意：

推荐validBegin和kafkaStartTimestamp设置为一样。

脚本介绍

create-supplement-job.sh 为创建补算的任务，并运行补算的作业。

run-supplement-job.sh 为手动运行补算的任务。

stop-supplement-job.sh 为手动停止补算的任务。

补算步骤

进入到tcloud-barad-skywalker容器中的/usr/local/services/barad-skywalker/job目录下。
修改job.properties 文件中的kafkaStartTimestamp，validBegin，validEnd，将validBegin，kafkaStartTimestamp设定的补算的开始的毫秒时间戳，validEnd设定的补算的结束的毫秒时间戳。
运行create-supplement-job.sh，查看/usr/local/services/barad-skywalker/logs下flink-supplement-job.log的最新的日志。整条的日志tranceId为运行脚本的时间，可以根据时间来获取整条任务执行过程。

  如果看到上述图中的记录，则说明创建补算任务和运行任务成功。可以从flink-ui上查看补算任务运行的效果。

当补算任务执行完成后，会改变数据库manager中的ExpectStatus的状态数据，执行创建补算任务的脚本会有定时任务将每分钟读取这个数据库中的状态，将发送任务停止的消息，停到补算任务。整个补算任务流程结束。

  可以从数据上查看到这段时间补算的结果，已经将这段时间无数据填充。示例图中是从10.41-10.51的补算。

注意：

如果发现补算任务一直没有停止，可以手动执行stop-supplement-job.sh ，进行停掉补算任务。

Kafka操作命令

Kafka节点启动
cd /usr/local/services/kafka_2.11-1.1.1/bin/
./kafka-server-start.sh-daemon
../config/server.properties
查看启动日志
tailfkafkaServer.out 
jps 查看kafka进程是否正常
查看 topic 列表 
./kafka-topics.sh--zookeeper {zookeeperIP}:{zookeeperPort}/kafka –list
查看指定topic详情 
./kafka-topics.sh--describe --zookeeper {zookeeperIP}:{zookeeperPort}/kafka --topic {topicname}
删除topic 
./kafka-topics.sh–delete --topic {topicname} --zookeeper {zookeeperIP}:{zookeeperPort}/kafka
创建topic
./kafka-topics.sh--create --zookeeper {zookeeperIP}:{zookeeperPort}/kafka --replication-factor{x} -partitions {y} --topic {topicname}

Es相关命令

登陆到ES主机上执行。
集群健康状态: curl -XGET http://localhost:9200/_cluster/health\?pretty
集群node信息: curl -XGET http://localhost:9200/_nodes/process?pretty
查看集群状态: curl http://localhost:5100/_search/clusters
查看所有metric: curl http://localhost:9200/_metrics
查看分片已使用空间: curl http://localhost:9200/_cat/allocation?v
查看分片状态: curl -XGET http://localhost:9200/_cat/shards
查看索引状态: curl -XGETlocalhost:9200/_cat/indices?v&amp;pretty