如何在 Linux 中获取包含感兴趣的特定文件的最新文件夹，并在 Python 中使用 Paramiko 下载该文件？

Question

我正在尝试在 Python 3 中使用 Paramiko 将特定文件从远程服务器 scp 到我的本地计算机。

背景：目标机器198.18.2.2上有一个目录mydir ，里面有很多以2020...

目标机器： 198.18.2.2

源机器： 198.18.1.1

到目前为止，我已经设法构建要执行的命令，如下所示 -

cd "$(ls -1d /mydir/20* | tail -1)"; scp -o StrictHostKeyChecking=no email_summary.log root@198.18.1.1:/mydir/work/logs/email_summary_198.18.2.2.log

代码：

def remote_execute(dest_ip, cmd):
    """API to execute command on remote machine"""
    result = []
    sys.stderr = open('/dev/null')
    ssh_client = paramiko.SSHClient()
    ssh_client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
    try:
        ssh_client.connect(dest_ip, username='root')
        stdin, stdout, stderr = ssh_client.exec_command(cmd)
        for line in stdout.readlines():
            result.append(line.strip())
        ssh_client.close()
        return result
    except paramiko.AuthenticationException:
        print("Authentication with the remote machine failed")
        return
    except paramiko.SSHException:
        print("Connection to remote machine failed")
        return
    except paramiko.BadHostKeyException:
        print("Bad host key exception for remote machine")
        return

调用： remote_execute('198.18.1.1', cmd)

问题是ls -1d /mydir/20* | tail -1 ls -1d /mydir/20* | tail -1总是给我最新的时间戳文件夹。 但是，如果该文件夹中不存在email_summary.log文件，我想查看下一个包含文件email_summary.log的最新时间戳文件夹。

本质上，scp 来自包含文件“email_summary.log”的最新时间戳文件夹中的文件。 有人可以帮我吗？

提前致谢。

Answer 1

在远程机器上执行scp命令将文件推送回本地机器是一种矫枉过正的做法。 并且通常依赖 shell 命令是非常脆弱的方法。 您最好只使用本机 Python 代码，以识别最新的远程文件并将其拉到本地机器。 您的代码将更加健壮和可读。

---

sftp = ssh.open_sftp()
sftp.chdir('/mydir')

files = sftp.listdir_attr()

dirs = [f for f in files if S_ISDIR(f.st_mode)]
dirs.sort(key = lambda d: d.st_mtime, reverse = True)

filename = 'email_summary.log'

for d in dirs:
    print('Checking ' + d.filename)
    try:
        path = d.filename + '/' + filename
        sftp.stat(path)
        print('File exists, downloading...')
        sftp.get(path, filename)
        break
    except IOError:
        print('File does not exist, will try the next folder')

以上是基于：

• 如何使用 Paramiko 从 SFTP 服务器下载最新的文件？
• Paramiko 获取排序的目录列表

---

附注：不要使用AutoAddPolicy 。 这样做会失去安全感。 请参阅Paramiko“未知服务器” 。

Answer 2

使用find文件（而不是目录）怎么样？

find /mydir/20* -name email_summary.log | sort | tail -1

这将为您提供要复制的最新文件的路径。

因此，您的命令将如下所示：

scp -o StrictHostKeyChecking=no "$(find /mydir/20* -name email_summary.log | sort | tail -1)" root@198.18.1.1:/mydir/work/logs/email_summary_198.18.2.2.log