Redis的slot迁移工具

4910阅读　0评论2020-08-11　aquester
分类：系统运维

工具下载：

支持迁移已有的keys。

  1. #!/bin/sh
  2. # Writed by yijian on 2020/8/10
  3. # 迁移 slot 工具，但一次只能迁移一个 slot
  4. #
  5. # 使用时，需要指定如下几个参数：
  6. # 1）参数1：必选参数，用于指定被迁移的 slot
  7. # 2）参数2：必选参数，用于指定源节点（格式为：ip:port）
  8. # 3）参数3：必选参数，用于指定目标节点（格式为：ip:port）
  9. # 6）参数4：可选参数，用于指定访问 redis 的密码
  10. #
  11. # 使用示例（将2020从10.9.12.8:1383迁移到10.9.12.9:1386）：
  12. # move_redis_slot.sh 2020 10.9.12.8:1383 10.9.12.9:1386
  13. #
  14. # 执行本脚本时，有两个“确认”，
  15. # 第一个“确认”是提示参数是否正确，
  16. # 第二个“确认”是提示是否迁移已有的keys，
  17. # 如果输入非yes则只迁移slot，不迁移已有keys。
  19. # 确保redis-cli可用
  20. REDIS_CLI=${REDIS_CLI:-redis-cli}
  21. which "$REDIS_CLI" > /dev/null 2>&1
  22. if test $? -ne 0; then
  23. echo "\`redis-cli\` not exists or not executable"
  24. exit 1
  25. fi
  27. # 参数检查
  28. if test $# -ne 3 -a $# -ne 4; then
  29. echo -e "Usage: `basename $0` \033[1;33mslot\033[m source_node destition_node redis_password"
  30. echo -e "Example1: `basename $0` \033[1;33m2020\033[m 127.0.0.1:6379 127.0.0.1:6380"
  31. echo -e "Example2: `basename $0` \033[1;33m2020\033[m 127.0.0.1:6379 127.0.0.1:6380 password123456"
  32. exit 1
  33. fi
  35. SLOT=$1
  36. SRC_NODE="$2"
  37. DEST_NODE="$3"
  38. REDIS_PASSOWRD="$4"
  40. # 得到指定节点的 nodeid
  41. function get_node_id()
  42. {
  43. node="$1"
  44. node_ip="`echo $node|cut -d':' -f1`"
  45. node_port=`echo $node|cut -d':' -f2`
  47. # 得到对应的 nodeid
  48. $REDIS_CLI --raw --no-auth-warning -a "$REDIS_PASSOWRD" \
  49. -h $node_ip -p $node_port \
  50. CLUSTER NODES | awk -v node=$node '{if ($2==node) printf("%s",$1);}'
  51. }
  53. SRC_NODE_ID="`get_node_id $SRC_NODE`"
  54. SRC_NODE_IP="`echo $SRC_NODE|cut -d':' -f1`"
  55. SRC_NODE_PORT=`echo $SRC_NODE|cut -d':' -f2`
  56. DEST_NODE_ID="`get_node_id $DEST_NODE`"
  57. DEST_NODE_IP="`echo $DEST_NODE|cut -d':' -f1`"
  58. DEST_NODE_PORT=`echo $DEST_NODE|cut -d':' -f2`
  60. echo -e "\033[1;33mSource\033[m node: $SRC_NODE_IP:$SRC_NODE_PORT"
  61. echo -e "\033[1;33mDestition\033[m node: $DEST_NODE_IP:$DEST_NODE_PORT"
  62. echo -en "Confirm to continue? [\033[1;33myes\033[m/\033[1;33mno\033[m]"
  63. read -r -p " " input
  64. if test "$input" != "yes"; then
  65. exit 1
  66. fi
  67. echo "........."
  69. # 目标节点上执行 IMPORTING 操作
  70. # 如果 $SLOT 已在目标节点，则执行时报错“ERR I'm already the owner of hash slot 1987”
  71. echo -e "\033[1;33mImporting\033[m $SLOT from $SRC_NODE to $DEST_NODE ..."
  72. err=`$REDIS_CLI --raw --no-auth-warning -a "$REDIS_PASSOWRD" \
  73. -h $DEST_NODE_IP -p $DEST_NODE_PORT \
  74. CLUSTER SETSLOT $SLOT IMPORTING $SRC_NODE_ID`
  75. if test "X$err" != "XOK"; then
  76. echo "[destition://$DEST_NODE_IP:$DEST_NODE_PORT] $err"
  77. exit 1
  78. fi
  80. # 源节点上执行 MIGRATING 操作
  81. # 如果 $SLOT 并不在源节点上，则执行时报错“ERR I'm not the owner of hash slot 1987”
  82. echo -e "\033[1;33mMigrating\033[m $SLOT from $SRC_NODE to $DEST_NODE ..."
  83. err=`$REDIS_CLI --raw --no-auth-warning -a "$REDIS_PASSOWRD" \
  84. -h $SRC_NODE_IP -p $SRC_NODE_PORT \
  85. CLUSTER SETSLOT $SLOT MIGRATING $DEST_NODE_ID`
  86. if test "X$err" != "XOK"; then
  87. echo "[source://$SRC_NODE_IP:$SRC_NODE_PORT] $err"
  88. exit 1
  89. fi
  91. # 是否迁移已有的keys？
  92. echo -en "Migrate keys in slot://$SLOT? [\033[1;33myes\033[m/\033[1;33mno\033[m]"
  93. read -r -p " " input
  94. if test "$input" = "yes"; then
  95. first=1 # 是否第一轮keys迁移操作
  96. batch=100 # 一次批量迁移的keys数
  97. timeout_ms=60000 # 超时时长（单位：毫秒）
  98. destination_db=0 # 对于redis集群，取值总是为0
  99. num_keys=0
  101. echo "........."
  102. echo -e "Migrating keys in slot://$SLOT ..."
  103. while true
  104. do
  105. # 在源节点上执行：
  106. # 借助命令“CLUSTER GETKEYSINSLOT”和命令“MIGRATE”迁移已有的keys
  107. keys="`$REDIS_CLI --raw --no-auth-warning -a '$REDIS_PASSOWRD' \
  108. -h $SRC_NODE_IP -p $SRC_NODE_PORT \
  109. CLUSTER GETKEYSINSLOT $SLOT $batch | tr '\n' ' ' | xargs`"
  110. if test -z "$keys"; then
  111. if test $first -eq 1; then
  112. echo -e "No any keys to migrate in slot://$SLOT"
  113. else
  114. echo -e "Finished migrating all keys ($num_keys) in slot://$SLOT"
  115. fi
  116. break
  117. fi
  118. first=0
  119. n=`echo "$keys" | tr -cd ' ' | wc -c`
  120. num_keys=$(($num_keys + $n))
  122. # 在源节点上执行命令“MIGRATE”迁移到目标节点
  123. # MIGRATE returns OK on success,
  124. # or NOKEY if no keys were found in the source instance
  125. if test -z "$REDIS_PASSOWRD"; then
  126. err=`$REDIS_CLI --raw \
  127. -h $SRC_NODE_IP -p $SRC_NODE_PORT \
  128. MIGRATE $DEST_NODE_IP $DEST_NODE_PORT "" $destination_db $timeout_ms \
  129. REPLACE KEYS $keys`
  130. else
  131. err=`$REDIS_CLI --raw --no-auth-warning -a "$REDIS_PASSOWRD" \
  132. -h $SRC_NODE_IP -p $SRC_NODE_PORT \
  133. MIGRATE $DEST_NODE_IP $DEST_NODE_PORT "" $destination_db $timeout_ms \
  134. REPLACE AUTH "$REDIS_PASSOWRD" KEYS $keys`
  135. fi
  136. if test "X$err" = "XNOKEY"; then
  137. break
  138. fi
  139. done
  140. fi
  143. # 取得所有 master 节点
  144. nodes=(`$REDIS_CLI --raw --no-auth-warning -a "$REDIS_PASSOWRD" -h $DEST_NODE_IP -p $DEST_NODE_PORT \
  145. CLUSTER NODES | awk '{if (match($3,"master")) printf("%s\n",$2);}'`)
  147. # 在所有 master 节点上执行 NODE 操作
  148. # 实际上，只可对源节点和目标节点执行 NODE 操作，
  149. # 新的配置会自动在集群中传播。
  150. echo "........."
  151. for node in ${nodes[*]}; do
  152. node_ip="`echo $node|cut -d':' -f1`"
  153. node_port=`echo $node|cut -d':' -f2`
  154. echo -en "NODE: $node_ip:$node_port "
  155. err=`$REDIS_CLI --raw --no-auth-warning -a "$REDIS_PASSOWRD" \
  156. -h $node_ip -p $node_port \
  157. CLUSTER SETSLOT $SLOT NODE $DEST_NODE_ID`
  158. echo -e "\033[1;33m$err\033[m"
  159. done

上一篇：Redis的slot迁移
下一篇：Redis之延迟监控