使用 python 脚本通过 SSH 连接到服务器

Question

我是一名处理大型数据集的天文学学生。我在尝试使用 python 脚本处理的超级计算机上有 80 TB 的 .fits 文件。我可以通过提交作业来处理存储在超级计算机上的数据（它在队列中停留了很长时间），或者我可以在本地桌面上处理数据（无需下载所有数据）。但是，由于存储问题，我无法将所有（80TB）数据下载到本地桌面。我想知道是否有办法在我的本地桌面上运行处理 python 脚本，但它使用安全外壳从超级计算机读取数据。

Answer 1

查看使用 Python 通过 ssh 执行命令 和使用 Python 通过 SSH 下载文件 如何在 python 中通过 sftp 连接后列出目录中的所有文件夹和文件

你可以把它放在一个循环中并获取一个文件 > 解析它 > 获取下一个文件等等。