如何在运行多个命令时并行运行 ssh 连接 Linux

Question

我试图了解在具有ssh的远程主机上以parallel方式运行多个命令并在屏幕上显示 output 的最佳方法，同时挤压屏幕上的警告和错误。

这篇文章主要与之前的帖子有关， KamilCuk用一些漂亮的技巧回答了这个帖子，但是我还有一些更开放的问题。

下面的代码适用于给定的命令，但是我的系统很少有真正旧的并且不理解nproc命令来获取系统上的处理器数量，因此我需要使用grep -c processor /proc/cpuinfo如果我不工作在当前解决方案中这样做，例如tmp=$(ssh "$server" bash -c 'grep -c "^processor" /proc/cpuinfo; free -g') 。

还可以考虑合并条件，例如是否存在nproc然后使用文件/proc/cpuinfo来计算 CPU，这只是与许多其他类似的一件事。 因此，如果您有不同的命令子集需要从commands和files中获取值，那么如果有更多的方法可以做到这一点，我期待着什么。

 #!/bin/bash

read -rsp $'Please Enter password below: ' SSHPASS
export SSHPASS

work() {
   server=$1
   # ONE connection
   tmp=$(ssh "$server" bash -c 'nproc; free -g')
   # parsing later
   cpu_info=$(<<<"$tmp" awk 'NR==1')
   mem_info=$(<<<"$tmp" awk '/Mem:/{printf $2}')
   swap_info=$(<<<"$tmp" awk '/Swap:/{printf $2}')
   # outputting
   printf "%-40s %5s %5s %5s\n" "$server" "$cpu_info" "$mem_info" "$swap_info"
}
export -f work
< /home/user1/mem xargs -P0 -n1 -d'\n' bash -c 'work "$@"' _

我在下面尝试了这个想法，但它只打印SEREVR名称，没有别的：

#!/bin/bash
read -rsp $'Please Enter password below: ' SSHPASS
export SSHPASS

for SERVER in '$(cat /home/user1/mem)'
do
sshpass -e ssh -q -t -oStrictHostKeyChecking=no $SERVER << EOF
        cpu_info=$(grep processor /proc/cpuinfo | awk 'NF==3{count++} END {printf count}')
        mem_info=$(free -g | awk /Mem:/{printf' '})
        swap_info=$(free -g | awk /Swap:/{printf' '})
        
        printf "%-40s %5s %5s %5s\n" "$server" "$cpu_info" "$mem_info" "$swap_info"

EOF
done | tee  2>/dev/null

我可能有多个错误，请原谅我只是想学习。

编辑注：

我知道会有一个明确的问题，为什么不使用ssh keys或already existed tooling ，如 ansible、盐等，原因仅仅是，由于公司安全政策，我们不能使用其中任何一个，否则没有办法重新发明车轮，但是我们在正常环境中大量使用 Ansible 和其他工具。

Answer 1

首先，这个循环不起作用：

for SERVER in '$(cat /home/user1/mem)'
do
...
done

因为 ''，首先删除 '' 或更好地读取 var 或数组中的主机列表：

var=$(cat  /home/user1/mem)
arr=($(cat /home/user1/mem))

并循环这个 var(arr)：

for SERVER in   $var     ; { ...; }
for SERVER in "${arr[@]}"; { ...; }

并行 ssh 连接可以这样完成：

cmd="
    cpu_info=\$(grep processor /proc/cpuinfo | awk 'NF==3{count++} END {printf count}')
    mem_info=\$(free -g | awk /Mem:/{printf' '})
    swap_info=\$(free -g | awk /Swap:/{printf' '})

    printf \"%-40s %5s %5s %5s\n\" \"\$HOSTNAME\" \"\$cpu_info\" \"\$mem_info\" \"\$swap_info\"
"

for SERVER in "${arr[@]}"; {
    sshpass -p "$SSHPASS" ssh -q -t -oStrictHostKeyChecking=no "$SERVER" "$cmd" &
}

Answer 2

获得您需要的这些值的另一种解决方案可能是：

$ ssh user@foobar "bash -c \"grep -c '^processor' /proc/cpuinfo; free -g\"" | awk '{if (NR==1) {printf $1 " "} if ($1=="Mem:") { for (i=1; i<=NF; i++) printf $i " "}; if ($1=="Swap:") { for (i=1; i<=NF; i++) printf $i " "};}'
user@foobar's password:
4 Mem: 15 2 2 0 10 11 Swap: 15 0 15                                                                                                                                                                                                

如果您告诉我们这些“旧”系统中可用的命令或工具是什么，那就太好了。 我只习惯使用脚本中的命令（grep 和 awk）。

对于多个 SSH 连接，只需在 for 循环中引入命令行即可。

更新：要处理如果机器没有命令 nproc 的问题，只需添加一个 if 条件：

if ! command -v nproc &> /dev/null
then
        ssh user@foobar "bash -c \"grep -c '^processor' /proc/cpuinfo; free -g\"" | awk '{if (NR==1) {printf $1 " "} if ($1=="Mem:") { for (i=1; i<=NF; i++) printf $i " "}; if ($1=="Swap:") { for (i=1; i<=NF; i++) printf $i " "};}'

else
        ssh user@foobar "bash -c \"nproc ; free -g\"" | awk '{if (NR==1) {printf $1 " "} if ($1=="Mem:") { for (i=1; i<=NF; i++) printf $i " "}; if ($1=="Swap:") { for (i=1; i<=NF; i++) printf $i " "};}'
fi