科学的在主机间传输文件

长久以来,一直被如何高效的传输文件困扰。比如说打印PDF啊,在主机间传输文件啊。去打印店的话用USB可以解决,但这样还好中毒,一不小心还会把U盘忘掉,还要插拔4次,真是麻烦。况且很多情况下用不了U盘。看了我下面的方法后,U盘就剩下在没网的情况下使用的价值了。

原始:

要复制另一台主机的一个小文件,而且现在正是ssh的状态,那么可以直接cat,然后选中内容,再粘贴到本机文件。但如果这个小文件是个zip,或者其他什么二进制文件就不能直接复制了,因为不可打印字符的存在。那就用base64。简单粗暴。

 Netcat:

顾名思义,就是联网的cat。netcat(nc)被称为Swiss Army Knife of networking.我还没有深入研究过,就使用的几个命令来看,确实很吊。他也能用来传输文件。下面是简单的例子,具体选项看man。这个方法很迅速,很干净。缺点是对方是windows怎么办?

临时Web服务器:

这tm总没问题了吧,只要有浏览器就能传输文件了。python,对,python就是这么方便。我就想说,U盘存在的意义在哪?据测试,python的SimpleHTTPServer能轻松胜任10M/s的传输速率传输3G文件。更高速率还没测过。

 安全:

有时候还有满足安全方面的考虑,以及复制目录的要求,前面的几种方法好像不是很难胜任。所以需要更专业的工具。scp和sftp之前在实用ssh已经提到过。使用起来也非常方便。而rsync则是更专业的工具,可以支持增量复制。相当于在本地和远程目录间保持同步。rsync也能使用ssh的别名,更加方便了。

一定还有更吊的,发现了再更新。

链接:

  1. nc transfer file
  2. rsync

实用SSH

已经1个多月没有更新了,上个月突然就事情多了。比如开学交报告,面试工作,然后就是保研了。当然还有其他事,简直麻烦。现在成了保研狗,之前还信誓旦旦说要工作,现在仔细想想,确实现在准备还不充分,1写代码能力还很差,2没有在某个专业有很深的研究。所以还得在读研期间好好学习。


 

SSH在Linux下,是个绝好的东西。因此很有必要进一步掌握它,而不仅仅是只会ssh登录主机。我直接就看了一本书,叫SSH: The Secure Shell The Definitive Guide。我在这里介绍一点其中的精华和比较实用的技巧以及一些SSH高级特性,详细的还得参考书籍。

escape sequences

这是我之前从来没有听说过的,但是却很好用,所以看书还是很有用的。在ssh中同样有转义字符,通常是~。可以在登录ssh后,按下 ~? 来查看用法,会出现以下内容:

我觉得最有用的是 ~^Z ,可以暂时挂起ssh连接,可以使用jobs查看效果,然后fg,重新连接。

ssh-config

直接 man ssh_config ,就能获取大量有用配置。想想现在我有7、8台主机,我还要记IP什么的,很麻烦。最初的做法是用alias,后来发现真是弱爆了。这个只能用来登录什么的,scp就没办法了。使用ssh-config只要创建一个 ~/.ssh/config 文件,然后怎么配置就可以看man,或者参考Simplify Your Life With an SSH Config File。以下是个例子:

这样就方便多了,无论scp还是ssh,都能直接使用 ssh aws  ,如此简洁的命令。

ssh-keygen

我相信很多人的密钥都没有密码,什么意思呢?就是ssh host时,不需要输入密码。其实这是很不安全的。当然现在还来得及补过,只要 ssh-keygen -p -f .ssh/id_rsa 就能在原key的基础上加上一个密码。以下还有一些关于ssh-keygen的用途:

  • ssh-keygen -l -f ~/.ssh/known_hosts    查看本机登录的主机及其指纹
  • ssh-keygen -f .ssh/id_rsa.pub -e -m pem > .ssh/id_rsa_pub.pem  生成pem格式的公钥

ssh-agent

确实id_rsa有密码有时会很不方便,这时可以用ssh-agent解决。我还没有意识到这个问题,所以还没怎么使用,有兴趣的可以参考ssh-agent

scp

这也是非常有用的命令,结合ssh config,我最常用的命令一共3条。

  1. scp aws:text1 text1  从服务器上cp到本机
  2. scp text2 aws:text2  从本机cp到服务器
  3. scp -rp aws:/home/ubuntu ./ubuntu  cp目录并保持权限

exec command

有时登录ssh,只是为了运行一个命令,那么可以简单直接运行。最简单的是 ssh aws ls -al ,当然也有在本地运行命令,然后保存结果到服务器。如 ls -la | ssh aws 'cat > test' 。如果运行的命令比较复杂,则可以通过linux常用方法批量运行。

X11

ssh也支持图像化(X11),首先要在服务器端启用X11 forwarding,当然还要有相应的库。本机执行 ssh -Y aws ,然后试试xterm看看有没有图像,然后接着操作其他高级的图像界面。为了安全起见,最好不要启用X11,实在要用也可以使用vnc。

有时为了远程运行一个图形界面的程序,并且ssh退出后不打断图形程序的运行。比如运行一个bt程序。首先要 export DISPLAY=:0 ,表明使用远程主机的DISPLAY (简单来说,DISPLAY会被设置为localhost:10.0,类似的。10表示监听端口为6000+10,0表示第一个screen,远程主机将图形信息发送的6010,ssh则负责转发到本地),然后使用nohup,如 nohup vuze &

forwarding

这也是ssh不得不说的吊功能。不但可以用来加密,还可以用来穿透防火墙,或者说翻墙。具体有local forwarding,remote forwarding,dynamical forwarding。具体看前一篇,DNS配置

match

如果有个用户比较特别,允许其用密码登录,其他不能用密码登录。Match就能发挥作用了。详细查看man ssh_config. 简单最常用的配置如:

注意match下的规则,是从match下一直结束或者遇到下一个match,小心操作,登不上去就麻烦了。

subsystem

这是ssh的特性之一。最常用的是sftp。然后又发展出sshfs,就是以ssh形式挂载远程文件目录。这体验跟网速延迟有很大关系。延迟小网速快,体验就非常好,跟本地磁盘差不多。简单用法: sshfs -o IdentityFile=/home/york/.ssh/RH-Hadoop.pem ubuntu@54.64.60.106: ~/tmp 其他可以参考sshfs.

这个功能在局域网里简直算吊炸。比如我远程挂载了一个目录/opt,里面有matlab。我就可以在本地执行matlab了。爽不爽。

restart

为了使配置生效,必须重启sshd。这个很讨厌,如果不小心配置错了,登不了服务器就麻烦了。如果能不打断连接的情况下,重启sshd就好了。这点开发者早就想到了。可以用如下命令重启。

reverse ssh

如果你有一台内网机器A(外网无法直接ssh到A),但有一台外网机器B(可以从A直接ssh连接到B),当你要在外网ssh连接A时,就是reverse ssh的用武之地。具体如下:

其中20002端口可以设置成任意其他空闲端口。perfect!

 

链接:

  1. Why passphrase
  2. ssh configSimplify Your Life With an SSH Config File
  3. converting-openssh-public-keys

 

我很高兴有人通过博客联系我。我之前没有外链,纯粹通过搜索引擎。有人能到这里就说明我的内容还是有用的,这也是写博客的动力之一。现在我决定分享到g+和twitter,虽然也没有多少好友。