参考文献

效率

重新获得上一个命令最后一个字符串

!$ 是一个特殊的环境变量,它代表了上一个命令的最后一个字符串。如:你可能会这样:

1
2
3
$ mkdir mydir
$ mv mydir yourdir
$ cd yourdir

可以改成:

1
2
3
$ mkdir mydir
$ mv !$ yourdir
$ cd !$

以root的身份执行上一条命令

sudo !! 以root的身份执行上一条命令。

场景举例:比如 Ubuntu 里用 apt-get 安装软件包的时候是需要root身份的,我们经常会忘记在 apt-get 前加 sudo 。每次不得不加上 sudo 再重新键入这行命令,这时可以很方便的用 sudo !! 完事。

重复最近的一条命令

在shell下,有时候你会输入很长的命令,你可以使用 !xxx 来重复最近的一次命令,比如,你以前输入过, vi /where/the/file/is , 下次你可以使用 !vi 重新获得最近一次的vi命令。

回到上一次的目录

cd - 回到上一次的目录 。

场景举例:当前目录为/home/a,用cd …/b切换到/home/b。这时可以通过反复执行cd -命令在/home/a和/home/b之间来回方便的切换。

陈皓注cd ~ 是回到自己的Home目录,cd ~user,是进入某个用户的Home目录

获得上次命令行的参数

热键 <Alt> .ESC . 可以重新获得上次命令行的参数。

替换前一条命令里的部分字符串

场景: echo 'wanderful',其实是想输出 echo 'wonderful' 。只需要 ^a^o 就行了,对很长的命令的错误拼写有很大的帮助。

陈皓注: 也可以使用 !!:gs/old/new

便捷

显示ascii码表

1
$ man ascii

场景:忘记ascii码表的时候还需要google么?尤其在天朝网络如此“顺畅”的情况下,就更麻烦在GWF多应用一次规则了,直接用本地的man ascii吧。

时间戳转时间

1
$ date -d@1234567890

下载整个网站

1
$ wget --random-wait -r -p -e robots=off -U mozilla http://www.example.com

下载整个www.example.com网站。(注:别太过分,大部分网站都有防爬功能了 :)

查看外网的IP

1
$ curl ifconfig.me

改一下图片的大小尺寸

1
convert input.png -gravity NorthWest -background transparent -extent 720×200 output.png

合并多个pdf文件到一个pdf文件

1
$ gs -dNOPAUSE -sDEVICE=pdfwrite -sOUTPUTFILE=output.pdf -dBATCH input1.pdf input2.pdf

在某个时间运行某个命令

1
$ echo "ls -l" | at midnight

命令行的方式更新 twitter

1
curl -u user:pass -d status="Tweeting from the shell" http://twitter.com/statuses/update.xml

检查你的gmail未读邮件

1
curl -u username -silent "https://mail.google.com/mail/feed/atom" | perl -ne 'print "\t" if /<name>/; print "$2\n" if /<(title|name)>(.*)<\/\1>/;'

一句话实现一个HTTP服务

1
$ python -m SimpleHTTPServer

一句话实现一个HTTP服务,把当前目录设为HTTP服务目录,可以通过http://localhost:8000访问 这也许是这个星球上最简单的HTTP服务器的实现了。

输出你最常用的十条命令

1
$ history | awk '{CMD[$2]++;count++;} END { for (a in CMD )print CMD[a] " " CMD[a]/count*100 "% " a }' | grep -v "./" | column -c3 -s " " -t | sort -nr | nl | head -n10

这行脚本能输出你最常用的十条命令,由此甚至可以洞察你是一个什么类型的程序员。

陈皓: 有点复杂了,history|awk '{print $2}'|awk 'BEGIN {FS="|"} {print $1}'|sort|uniq -c|sort -rn|head -10

文件管理

列出当前目录里最大的10个文件

1
$ du -s * | sort -n | tail

复制文件或者目录

1
$ cp -av 原文件或原目录 新文件或新目录

不显示以#开头的行

1
$ cat /etc/vsftpd.conf |grep -v ^#

带行号显示文件的内容

1
2
$ nl 文件名
$ cat -n 文件名

查看文件类型

1
$ file filename

获得文件的后缀名

1
$ echo xxx.xxx.rmvb |sed 's/.*\(\..*$\)/\1/'

去除文件的后缀名

1
$ echo xxx.xxx.rmvb |sed 's/\(.*\)\..*$/\1/'

显示xxx文件倒数6行的内容

1
$ tail -6 xxx

查看文件中指定行范围的内容

如第五行(含)到第10行(含):

1
$ sed -n '5,10p' /var/log/apache2/access.log

查看当前目录的子目录

1
$ ls -d */ 或 echo */

显示当前目录指定时间范围的文件

如2小时到8小时之内:

1
$ find . -mmin +120 -mmin -480 -exec more {} \;

去除文件中的行号

1
$ cut -c 5- a.py

显示包含或者不包含字符串的文件名

1
2
3
4
$ grep -l -r 字符串 路径 #显示内容包含字符串的文件名
$ grep -L -r 字符串 路径 #显示内容不包含字符串的文件名
$ find . -path './cache' -prune -o -name "*.php" -exec grep -l "date_cache[$format]['lang']" {} \; #显示当前目录下不包含cache目录的所有含有“date_cache[$format]['lang']”字符串的php文件。
$ find . -type f -name \*.php -exec grep -l "info" {} \;

把所有文件的後辍由rm改为rmvb

1
$ rename .rm .rmvb *.rm

把所有文件名中的大写改为小写

1
$ rename 'tr/A-Z/a-z/' *

去掉文件中的^M

1
2
3
4
5
6
#注意不要使用同样的文件名,会清空掉原文件
$ cat filename | tr -d "^M" > newfile;
或者
$ sed -e "s/^M//g" filename > newfile;
或者
ex "+:%s/[Ctrl+V][Enter]//g" "+:wq" filename #直接修改文件

批量修改文件和目录的权限

批量修改src目录下所有文件的权限为644:

1
$ find src -type f -exec chmod 644 {} \;

批量修改src目录下的所有子目录的权限为755:

1
$ find src -type d -exec chmod 755 {} \;

删除特殊文件名的文件

如文件名:–help.txt :

1
$ rm -- --help.txt 或者 rm ./--help.txt

删除当前目录里面所有的.svn目录

1
$ find . -name .svn -type d -exec rm -fr {} \;

查找删除不以java和xml结尾,并7天没有使用的文件

1
$ find . ! -name *.java ! -name ‘*.xml’ -atime +7 -exec rm {} \;

查找目录下所有有包含abcd文字的文本文件,并替换为xyz

1
$ grep -rIl "abcd" ./## --color=never | xargs sed -i "s/abcd/xyz/g" #注意grep的一个参数是大写的i,一个参数是小写的L

服务和进程

列出头十个最耗内存的进程

1
ps aux | sort -nk +4 | tail

列出本机进程监听的端口号

1
netstat -tlnp

实时查看本机网络服务的活动状态

1
lsof -i

陈皓注netstat -anop 可以显示侦听在这个端口号的进程 伟洲注lsof -i:<端口号> 可以查看某个端口号被什么程序占用

实时监控并过滤log是否出现了某条记录

1
$ tail -f /path/to/file.log | sed '/^Finished: SUCCESS$/ q'

当file.log里出现Finished: SUCCESS时候就退出tail,这个命令用于实时监控并过滤log是否出现了某条记录。

在远程机器上运行一段脚本

1
$ ssh user@server bash < /path/to/local/script.sh

在远程机器上运行一段脚本。这条命令最大的好处就是不用把脚本拷到远程机器上。

比较一个远程文件和一个本地文件

1
$ ssh user@host cat /path/to/remotefile | diff /path/to/localfile -

后台运行一段不终止的程序,并可以随时查看它的状态

1
$ screen -d -m -S some_name ping my_router

后台运行一段不终止的程序,并可以随时查看它的状态。-d -m 参数启动“分离”模式,-S 指定了一个session的标识。可以通过-R命令来重新“挂载”一个标识的session。更多细节请参考screen用法 man screen

监控

查看主机网卡流量

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
#!/bin/bash
#!/bin/bash
#network
#Mike.Xu
while : ; do
time='date +%m"-"%d" "%k":"%M'
day='date +%m"-"%d'
rx_before='ifconfig eth0|sed -n "8"p|awk '{print $2}'|cut -c7-'
tx_before='ifconfig eth0|sed -n "8"p|awk '{print $6}'|cut -c7-'
sleep 2
rx_after='ifconfig eth0|sed -n "8"p|awk '{print $2}'|cut -c7-'
tx_after='ifconfig eth0|sed -n "8"p|awk '{print $6}'|cut -c7-'
rx_result=$[(rx_after-rx_before)/256]
tx_result=$[(tx_after-tx_before)/256]
echo "$time Now_In_Speed: "$rx_result"kbps Now_OUt_Speed: "$tx_result"kbps"
sleep 2
done
done

系统状况监控

1
2
3
4
5
6
7
8
9
10
11
12
13
#!/bin/sh
#systemstat.sh
#Mike.Xu
IP=192.168.1.227
top -n 2| grep "Cpu" >>./temp/cpu.txt
free -m | grep "Mem" >> ./temp/mem.txt
df -k | grep "sda1" >> ./temp/drive_sda1.txt
#df -k | grep sda2 >> ./temp/drive_sda2.txt
df -k | grep "/mnt/storage_0" >> ./temp/mnt_storage_0.txt
df -k | grep "/mnt/storage_pic" >> ./temp/mnt_storage_pic.txt
time=`date +%m"."%d" "%k":"%M`
connect=`netstat -na | grep "219.238.148.30:80" | wc -l`
echo "$time $connect" >> ./temp/connect_count.txt

监控主机的磁盘空间,当使用空间超过90%就通过发mail来发警告

1
2
3
4
5
6
7
#!/bin/bash
#monitor available disk space
SPACE='df | sed -n '/ \ / $ / p' | gawk '{print $5}' | sed 's/%//'
if [ $SPACE -ge 90 ]
then
fty89@163.com
fi

监控CPU和内存的使用情况

1
2
3
4
5
6
7
8
9
10
11
12
#!/bin/bash
#script to capture system statistics
OUTFILE=/home/xu/capstats.csv
DATE='date +%m/%d/%Y'
TIME='date +%k:%m:%s'
TIMEOUT='uptime'
VMOUT='vmstat 1 2'
USERS='echo $TIMEOUT | gawk '{print $4}' '
LOAD='echo $TIMEOUT | gawk '{print $9}' | sed "s/,//' '
FREE='echo $VMOUT | sed -n '/[0-9]/p' | sed -n '2p' | gawk '{print $4} ' '
IDLE='echo $VMOUT | sed -n '/[0-9]/p' | sed -n '2p' |gawk '{print $15}' '
echo "$DATE,$TIME,$USERS,$LOAD,$FREE,$IDLE" >> $OUTFILE

全方位监控主机

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
#!/bin/bash
# check_xu.sh
# 0 * * * * /home/check_xu.sh
DAT="`date +%Y%m%d`"
HOUR="`date +%H`"
DIR="/home/oslog/host_${DAT}/${HOUR}"
DELAY=60
COUNT=60
# whether the responsible directory exist
if ! test -d ${DIR}
then
/bin/mkdir -p ${DIR}
fi
# general check
export TERM=linux
/usr/bin/top -b -d ${DELAY} -n ${COUNT} > ${DIR}/top_${DAT}.log 2>&1 &
# cpu check
/usr/bin/sar -u ${DELAY} ${COUNT} > ${DIR}/cpu_${DAT}.log 2>&1 &
#/usr/bin/mpstat -P 0 ${DELAY} ${COUNT} > ${DIR}/cpu_0_${DAT}.log 2>&1 &
#/usr/bin/mpstat -P 1 ${DELAY} ${COUNT} > ${DIR}/cpu_1_${DAT}.log 2>&1 &
# memory check
/usr/bin/vmstat ${DELAY} ${COUNT} > ${DIR}/vmstat_${DAT}.log 2>&1 &
# I/O check
/usr/bin/iostat ${DELAY} ${COUNT} > ${DIR}/iostat_${DAT}.log 2>&1 &
# network check
/usr/bin/sar -n DEV ${DELAY} ${COUNT} > ${DIR}/net_${DAT}.log 2>&1 &
#/usr/bin/sar -n EDEV ${DELAY} ${COUNT} > ${DIR}/net_edev_${DAT}.log 2>&1 &

放在crontab里每小时自动执行:

1
0 * * * * /home/check_xu.sh

这样会在/home/oslog/host_yyyymmdd/hh目录下生成各小时cpu、内存、网络,IO的统计数据。

如果某个时间段产生问题了,就可以去看对应的日志信息,看看当时的主机性能如何。

其他资源