Shell 编程

什么是 Shell

• Shell 是命令解释器，用于解释用户对操作系统的操作

• shell 有很多, 查看机器支持的 shell

  cat /etc/shells
  

Linux 的启动过程

/BIOS-MBR-BootLoader(grub)-kernel-init-系统初始化-shell

Shell 书写规范

#!/bin/bash
# Sha-Bang
# 第一行的#!/bin/bash,告诉看脚本的人,这个文件需要用哪个shell编译器运行
# 当以 ./xx.sh 的方式运行脚本是,会读取第一行,并以对应的编译器运行

# demo
cd /var
ls
pwd
# 列出当前目录下所有文件大小
du -sh *
# 查看当前文件夹的大小
du -sh
# 查看整文件系统空间使用情况
df -h

执行方式

• bash ./filename.sh : 产生一个bash的子进程运行

• ./filename.sh : 使用Sha-Bang 对应的解析器解析,并生成一个子进程运行
• source [./]filename.sh : 在当前进程运行
• . filename.sh : source 的简化写法, 在当前进程运行

内建命令和外部命令的区别

• 内建命令不需要创建子进程, 比如cd, 会切换当前进程目录
• 内建命令对当前 Shell 生效

管道与重定向

• 管道与管道符
  • 管道和信号一样，也是进程通信的方式之一
  • 匿名管道(管道符)是 Shell 编程经常用到的通信工具
  • 管道符是“|”，将前一个命令执行的结果传递给后面的命令, 管道符的两边是两个子进程
    • ps | cat
    • echo 123 | ps
• 子进程与子shell
  • 子进程是 Shell 程序，称作子 Shell ?
  • 内部命令的结果不会传递给子 Shell ?
• 重定向符号
  • 一个进程默认会打开标准输入、标准输出、错误输出三个文件描述符

  • 输入重定向符号 “ <”

    • read var < /path/to/a/file : 把文件的内容输入到前面的进程
    • wc -l < /etc/passwd : 统计文件行数
  • 输出重定向符号 “>” “»” “2>” “&>”

    • ”>” : echo 123 > test , 输出并覆盖文件内容

    • ”»”: echo 123 » test , 输出内容到文件末尾

    • “2>”: mkdi 2> test , 输出错误结果到文件

    • “&>”: mkdi &> test , 无论输出有没有出错,都输出到文件

    • 组合应用: cat > ~/Desktop/test.sh «EOF 开始文件编辑, 遇到EOF文件结束. 用于在shell内部再生成shell文件

      #!/bin/bash
      cat > ~/Desktop/test.sh <<EOF
      echo "hello bash"
      EOF
      

变量

• 变量的定义

• 变量的赋值

• 变量的查看

  • $var , ${var}

• 数组

  # 定义数组
  IPTS=(10.0.0.1 10.0.0.2 10.0.0.3 )
  # 显示数组的所有元素
  echo ${IPTS[@]}
  # 显示数组元素个数
  echo ${#IPTS[@]}
  # 显示数组的第一个元素
  echo ${IPTS[O]} 
  

• 变量的作用范围

  • 默认作用范围,当前进程
  • 使用 source subShell.sh 运行的脚本因为是在当前进程运行的,所以可以获得上去上下文的变量
  • export var1=xxx 可以导出变量, 子进程也可以使用var1
  • unset var1 释放变量,将它置为空

• 系统环境变量

  • env: 获取系统环境变量

  • set: 获取当前环境定义的变量

  • $?: 上一条指令运行正确返回 0, 错误是1

    # 目录 Desktop 存在
    ➜  ~ test -d Desktop 
    ➜  ~ echo $?
    0
    # 目录 Deskto 不存在
    ➜  ~ test -d Deskto 
    ➜  ~ echo $?       
    1
    

    • $$ : 当前进程的pid

       echo $$
       1033
      

    • $0 : 当前进程名, 也是当前运行脚本的文件名

      echo $0
       -zsh
      

      $# : 环境变量的个数

      ${2-_}: 处理空参数的技巧

      ➜  bash_test cat 8.sh 
      #!/bin/bash
            
      # demo
            
      pos1=$1
      # 没有读到参数的时候用‘_’占位
      pos2=${2-_}
            
      echo $pos1
      echo $pos2
      ➜  bash_test sh 8.sh -a -l
      -a
      -l
      ➜  bash_test sh 8.sh -a   
      -a
      _
      

  • 环境变量配置文件

    • /etc/profile , ~/.bash_profile : su - user 的时候才会调用

    • /etc/bashrc , ~/.bashrc : su user 的时候调用

      $ su root
      ~/.bashrc
      /etc/bashrc
            
      $ su - root
      /etc/profile
      ~/.bash_profile
      ~/.bashrc
      /etc/bashrc
      

运算符

• 赋值运算符: =
  • 使用unset取消为变量的赋值
  • = 除了作为赋值运算符还可以作为测试操作符
• 算数运算符: + - * / % **
  • 使用expr计算: expr 4 * 5
  • 使用(())计算: (( 4 ** 5 )) ,((4**5))
• 数字常量:
  • let 常量名=变量值 -> 不使用let定义变量, 用0开头就只是字符串
  • 变量值使用0开头为八进制
  • 变量值使用0x开头为十六进制
• 双圆括号
  • 双圆括号是let命令的简化 : let a=0x78 等价于 ((a=0x78))
  • (( a= 10 ))
  • (( a++ ))
  • echo $((2**10))

特殊符号大全

• 引号:

  • 单引号 ‘ : 完全引用, “$var” $不能获取变量值
  • 双引号“: 不完全引用, “$var” $可以获取变量值
  • 反引号 ` : 执行命令

• 括号

  • ()(())$() 圆括号

    • (): 单独使用圆括号会产生一个子shell (xyz=123) : 子Shell和子线程不是一回事
    • (): 数组初始化 IPS=( ip1 ip2 ip3 )
    • (( )) : 计算括号内的公式, 等价于 let
    • $() : 相当于 ``, 括号内写命令

  • [] [[]]方括号

    • 单独使用方括号是测试(test)或数组元素功能

      var=(1 2 3)
      # 取数组元素
      echo ${var[0]}
      1
      echo ${var[1]}
      2
      echo ${var[2]}
      3
            
      # 测试判断, [] 内需要使用 -le, -ge ... 等比较符号
      [root@3fc93cd751e9 learn_bash]# [ 1 -le 2 ]
      [root@3fc93cd751e9 learn_bash]# echo $?
      0
      [root@3fc93cd751e9 learn_bash]# [ 1 < 2 ]
      bash: 2: No such file or directory
      [root@3fc93cd751e9 learn_bash]# [ 3 -le 2 ]
      [root@3fc93cd751e9 learn_bash]# echo $?
      1
      

    • 两个方括号表示测试表达式

      [root@3fc93cd751e9 learn_bash]# [[ 3 > 1 ]]; echo $?
      0
      [root@3fc93cd751e9 learn_bash]# [[ 3 < 1 ]]; echo $?
      1
      

    • < > 尖括号: 重定向符号

    • { } 花括号

      • 输出范围echo {0..9}

      • 文件复制cp /etc/passwd{,.bak} -> {a,b} 表示一个序列 a 和 b.

        所以前面的句子相当于 cp /etc/passwd /etc/passwd.bak

      [root@3fc93cd751e9 learn_bash]# echo {0..9}
      0 1 2 3 4 5 6 7 8 9
      [root@3fc93cd751e9 learn_bash]# touch name
      [root@3fc93cd751e9 learn_bash]# cp name{,.bak}
      [root@3fc93cd751e9 learn_bash]# ll
      total 4
      -rw-r--r-- 1 root root   0 Jul  8 14:09 name
      -rw-r--r-- 1 root root   0 Jul  8 14:10 name.bak
      [root@3fc93cd751e9 learn_bash]# cp name{.bak,.book}
      [root@3fc93cd751e9 learn_bash]# ll
      total 4
      -rw-r--r-- 1 root root   0 Jul  8 14:09 name
      -rw-r--r-- 1 root root   0 Jul  8 14:10 name.bak
      -rw-r--r-- 1 root root   0 Jul  8 14:10 name.book
      

• 运算和逻辑符号

  • +-*/%算数运算符

  • ><=比较运算符

  • && || ! 逻辑运算符

    [root@3fc93cd751e9 learn_bash]# (( 5 > 4)); echo $?
    0
    [root@3fc93cd751e9 learn_bash]# (( 5 < 4)); echo $?
    1
    [root@3fc93cd751e9 learn_bash]# (( 5 > 4 && 6 > 5 )); echo $?
    0
    [root@3fc93cd751e9 learn_bash]# (( 5 > 4 && 6 < 5 )); echo $?
    1
    [root@3fc93cd751e9 learn_bash]# (( 5 > 4 || 6 < 5 )); echo $?
    0
    [root@3fc93cd751e9 learn_bash]# (( ! 5 > 4 )); echo $?
    1
    

• 转义符号

• 其他符号

  • ＃注释符

  • ；命令分隔符

    • case语句的分隔符要转义 ;;

  • :空指令

• .和 source命令相同

  • ~ 家目录

• ，分隔目录

  # 查看当前目录下所有文件及子目录的内容
  [root@3fc93cd751e9 ~]# ls *
  anaconda-ks.cfg  anaconda-post.log  docker  helloworld.sh  original-ks.cfg
    
  learn_bash:
  name  name.bak	name.book  subShell.sh
  

测试与判断

退出与退出状态

• 退出程序命令
  • exit : 不带数字使用会返回上一条指令执行返回的错误码,0表示正常退出
  • exit 10 返回10给 Shell，返回值非 0 位不正常退出
  • $? 判断当前 Shell 下前一个进程是否正常退出

测试命令 test

• test 命令利用程序是否正常退出返回 0 或 1

• test 可以做以下测试:

  • 文件测试
  • 整数比较测试
  • 字符串测试

  # 查看test的用法
  man test
    
  SYNOPSIS
       test expression
       [ expression ]
  DESCRIPTION
  		 -d file       True if file exists and is a directory.
       -e file       True if file exists (regardless of type).
       -f file       True if file exists and is a regular file.
       string        True if string is not the null string.
       s1 = s2       True if the strings s1 and s2 are identical.
       s1 != s2      True if the strings s1 and s2 are not identical.
       s1 < s2       True if string s1 comes before s2 based on the binary value of their characters.
       s1 > s2       True if string s1 comes after s2 based on the binary value of their characters.
       n1 -eq n2     True if the integers n1 and n2 are algebraically equal.
       n1 -ne n2     True if the integers n1 and n2 are not algebraically equal.
       n1 -gt n2     True if the integer n1 is algebraically greater than the integer n2.
       n1 -ge n2     True if the integer n1 is algebraically greater than or equal to the integer n2.
       n1 -lt n2     True if the integer n1 is algebraically less than the integer n2.
       n1 -le n2     True if the integer n1 is algebraically less than or equal to the integer n2.
    
       These primaries can be combined with the following operators:
       ! expression  True if expression is false.
       expression1 -a expression2
                     True if both expression1 and expression2 are true.
       expression1 -o expression2
                     True if either expression1 or expression2 are true.
       ( expression )
       							 True if expression is true.
  EXIT STATUS
       The test utility exits with one of the following values:
       0       expression evaluated to true.
       1       expression evaluated to false or expression was missing.
       >1      An error occurred
  

  test案例

  [root@3fc93cd751e9 learn_bash]# ls
  exitDemo.sh  name  name.bak  name.book	subShell.sh
  [root@3fc93cd751e9 learn_bash]# test -e exitDemo.sh ; echo $?
  0
  [root@3fc93cd751e9 learn_bash]# test -e exitDe.sh ; echo $?
  1
  [root@3fc93cd751e9 learn_bash]# test -d ../learn_bash ; echo $?
  0
  [root@3fc93cd751e9 learn_bash]# test -f ../learn_bash ; echo $?
  1
  [root@3fc93cd751e9 learn_bash]# [ 3 -gt 2 ]; echo $?
  0
  [root@3fc93cd751e9 learn_bash]# [ 1 -gt 2 ]; echo $?
  1
  [root@3fc93cd751e9 learn_bash]# [ "name" ]; echo $?
  0
  [root@3fc93cd751e9 learn_bash]# [ "name" = 'name'  ]; echo $?
  0
  [root@3fc93cd751e9 learn_bash]# [ "name" = 'name1'  ]; echo $?
  1
  [root@3fc93cd751e9 learn_bash]# [ "name" < 'name1'  ]; echo $?
  bash: name1: No such file or directory
  1
  [root@3fc93cd751e9 learn_bash]# [ "name" -le 'name1'  ]; echo $?
  bash: [: name: integer expression expected
  2
  [root@3fc93cd751e9 learn_bash]# [[ "name" < 'name1'  ]]; echo $?
  0
  [root@3fc93cd751e9 learn_bash]# [[ "namea" < 'name1'  ]]; echo $?
  1
  [root@3fc93cd751e9 learn_bash]# [ 1 -lt 3 -a 4 -le 5  ]; echo $?
  0
  [root@3fc93cd751e9 learn_bash]# [ 1 -lt 3 -a 4 -ge 5  ]; echo $?
  1
  [root@3fc93cd751e9 learn_bash]# [ 1 -lt 3 -o 4 -ge 5  ]; echo $?
  0
  [root@3fc93cd751e9 learn_bash]# [ 1 -lt 3 ]; echo $?
  0
  [root@3fc93cd751e9 learn_bash]# [ ! 1 -lt 3 ]; echo $?
  1
  

使用 if-then语句

• test 测试语句可以简化为 [ ] 符号

• if-then 语句的基本用法

  if [ 测试条件成⽴ 或 命令返回0 ] ; then 
  执行相应命令 
  fi 结束
    
  # 或如下写法
  if [ 测试条件成⽴ 或 命令返回0 ]
  then 
  执行相应命令 
  fi 结束
  

使用 if-then-else 语句

• if-then-else 语句可以在条件不成立时也运行相应的命令

  if [ 测试条件成立 ]
  then 执行相应命令
  else 测试条件不成⽴，执行相应命令 
  fi 结束
    
  # 或如下写法
  if [ 测试条件成立 ]; then 
  执行相应命令
  else 测试条件不成⽴，执行相应命令 
  fi 结束
    
  if [ 测试条件成立1 ]; then 
  执行相应命令
  elif [ 测试条件成立2 ]; then 
  执行相应命令
  else 测试条件不成⽴，执行相应命令 
  fi 结束
  

嵌套 if 的使用

• if 条件测试中可以再嵌套 if 条件测试
• 嵌套的结果和复合比较语句 && 结果相同

分支

• case语句和select语句可以构成分支

  case"$变量” in
  “情况1”)
  	命令... ;;
  “情况2”)
  	命令... ;;
  	* )
  	命令... ;;
  esac
  

  案例

  #!/bin/bash
    
  # case demo
    
  name=$1
    
  case $name in
  	"april"|"APRIL")
  		# april or APRIL
  		echo "hello april" ;;
  	ang*)
  		# ang wildcard
  		echo "hello angie" ;;
  	*)
  		echo "hello nobody" ;;
  esac
  

循环

使用 for 循环遍历命令的执行结果

• for 循环的语法

  for 参数 in 列表 
  do 执行的命令 
  done 封闭一个循环
  

• 使用反引号或 $() 方式执行命令，命令的结果当作列表进行处理

  # 获取当前文件夹下面 x.mp3 文件列表,遍历它
  for filename in `ls *.mp3`
  do             
  # 把mp3改成mp4 
  # $(basename $filename .mp3) 取出文件去掉.mp3之后的名字
  mv $filename $(basename $filename .mp3).mp4
  done
  

C 语言风格的 for 命令

for((变量初始化;循环判断条件;变量变化)) 
do
	循环执行的命令
done

for (( i=1 ; i <= 10 ; i++ ))
do 
	echo $i;
done

while 循环

while test测试是否成⽴ 
do
	命令
done


➜  bash_test a=1                    
➜  bash_test while [ $a -lt 10 ]; do
echo $a ; ((a++))
done
1
2
3
4
5
6
7
8
9
➜  bash_test echo $a
10

until 循环

• until 循环与 while 循环相反，循环测试为假时，执行循环，为真时循环停止

  until test测试是否成⽴ 
  do
  	命令
  done
    
  ➜  bash_test a=1   
  ➜  bash_test until [ $a -ge 10 ];do
  until> echo $a; ((a++))
  until> done
  1
  2
  3
  4
  5
  6
  7
  8
  9
  

循环的使用

* 循环和循环可以嵌套 
* 循环中可以嵌套判断，反过来也可以实现嵌套 
* 循环可以使用 break 和 continue 语句在循环中退出

# break
➜  bash_test for i in {1..9};do 
	if [ $i = 5 ];then 
		break;
	fi
	echo $i
done
1
2
3
4

# continue, skip 5
➜  bash_test for i in {1..9};do
if [ $i = 5 ];then
continue;
fi
echo $i
done
1
2
3
4
6
7
8
9

使用循环处理命令行参数

• 命令行参数可以使用 $1 $2 … ${10}… $n 进行读取

• $0 代表脚本名称

• $* 和 $@ 代表所有位置参数
• $# 代表位置参数的数量
• 使用 ${1-_} 方式代替 $1 避免变量为空导致的遗产

#!/bin/bash

# help display help help

for pos in $@;do
if [ "$pos" = "help" ]; then
	echo $pos $pos
else
	echo $pos
fi
done


echo "1:"$1
# 参数为空的时候占位
echo "1_:"${1-_}

# shift 移动参数,每次删掉参数列表的第一个参数
# 配合while [ $# -ge 1 ] 可以便利参数列表
while [ $# -ge 1 ] 
do
	if [ "$1" = "help" ]; then
		echo $1 $1
	fi
	shift 
done

函数

自定义函数

• 函数用于“包含”重复使用的命令集合

• 自定义函数

  # function 可以省略
  function fname(){
  命令
  }
    
  ## 函数的执行
  fname
  

• 函数作用范围的变量

  • local 函数名 : 定义局部变量,避免污染全局变量

• 函数参数

  • $1 $2 $3 ... $n

自建函数库

• 使用 source 函数脚本文件“导入”函数 cd

脚本控制

脚本优先级控制

• 可以使用nice和renice调整脚本优先级

• 避免出现“不可控的”死循环

  • 死循环导致cpu占用过高
  • 死循环导致死机

  ➜  ~ ulimit -a
  -t: cpu time (seconds)              unlimited
  -f: file size (blocks)              unlimited
  -d: data seg size (kbytes)          unlimited
  -s: stack size (kbytes)             8192
  -c: core file size (blocks)         0
  -v: address space (kbytes)          unlimited
  -l: locked-in-memory size (kbytes)  unlimited
  -u: processes                       2784
  -n: file descriptors                256
  

  fork炸弹: 函数递归调用,cpu满了

    
  func() { func | func& }; func
  # 或
  .() { . | .& }; .
  bash: fork: retry: Resource temporarily unavailable
  bash: fork: retry: No child processes
  bash: fork: retry: No child processes
  bash: fork: retry: Resource temporarily unavailable
  bash: fork: retry: No child processes
  bash: fork: retry: No child processes
  bash: fork: retry: Resource temporarily unavailable
  ...
  

捕获信号

• 捕获信号脚本的编写

  • kill默认会发送15号信号给应用程序
  • ctrl+c发送2号信号给应用程序
  • 9号信号不可阻塞

  vim 16.sh
    
  #!/bin/bash
  # signal demo
  # 捕获 15, 不会被kill掉
  trap "echo sig 15" 15
  # 捕获 2, 不会被ctrl+c结束进程
  trap "echo sig 2" 2
    
  ## 打印当前进程
  echo $$
    
  while :
  do 
  	:
  done
    
  [root@3fc93cd751e9 learn_bash]# bash 16.sh 
  866
  ^Csig 2
  ^Csig 2
  sig 15
  Killed
    
  ## 只能被kill -9 866 杀掉
  

计划任务

一次性计划任务 at

[root@3fc93cd751e9 learn_bash]# at 09:03
warning: commands will be executed using /bin/sh
at> echo hello > /tmp/hello.txt
at> <EOT>     
job 2 at Sat Jul 10 09:03:00 2021
# 使用ctrl+D结束输入,并提交
[root@3fc93cd751e9 learn_bash]# atq
2	Sat Jul 10 09:03:00 2021 a root

周期性计划任务

• cron

  • 配置方式: crontab -e
  • 查看现有的计划任务: crontab -l
  • 配置格式:
    • 分钟 小时 日期 月份 星期执行的命令
    • 注意命令的路径问题

  ➜  /tmp crontab -l
  crontab: no crontab for april
  ➜  /tmp crontab -e
  crontab: no crontab for april - using an empty one
  crontab: installing new crontab
  ➜  /tmp crontab -l
  * * * * * date >> /tmp/date.txt 
  ➜  /tmp tail -f date.txt 
  Sat Jul 10 17:19:00 CST 2021
  Sat Jul 10 17:20:00 CST 2021
  

计划任务加锁

• 如果计算机不能按照预期时间运行
  • anacontab 延时计划任务
  • flock 锁文件

# 排他锁, 使这种方式运行, 如果当前运行的a.sh没有结束
# 就不能在次运行
flock -xn "/tmp/f.lock" -c "/root/a.sh"

Vim 文本编辑器的使用

四种模型:

• 正常模式(Normal-mode)
  • HJKL, 光标移动, 左下右上, 记忆方式:前两个左下, 后两个上右
  • copy-paste
    • yy,p: yy复制当前行, p ->paste
    • nyy, p: 复制n行
    • y$,p: 复制当前行,插入到某行中间, 上面的复制方式都只能不能插入到行中间
  • cut-paste
    • dd,p: dd剪切当前行, p ->paste
    • d$,p: 剪切当前行,,插入到某行中间, 上面的剪切方式都只能不能插入到行中间
  • u, ctrl+r: u-> undo 撤销操作, ctrl+r -> redo 撤销的反操作
  • x, X: 都是删除光标所在位置的一个字符
  • r, R: r替换光标所在位置的一个字符, R进入替换模式,可以替换多个字符直到esc退出
  • gg, shift+g, ngg: gg 跳到第一行, shift+g 跳到最后一行, ngg 跳到第n行
  • ^ , $ : ^ 跳到行首, $ 跳到行尾
• 插入模式(Insert-mode)
  • i, o, a
• 命令模式(Command-mode)
  • :w filename -> 保存文件到某个位置
  • :!cmd -> 在vim里边运行命令, 可以粘贴命令的运行结果
  • 文本替换
    • :s/old/new: 替换当前行第一个old -> new
    • :%s/old/new: 所有行第一个old -> new
    • :%s/old/new/g: 替换全文 old -> new
    • :n,ms/old/new/g: 替换n行到m行中所有 old -> new
  • /str -> 全文搜索str, n下一个, shift+N上一个
  • :set nohlsearch -> 取消搜索高亮
  • :set nonu, set nu -> 取消行号,添加行号
  • vim /etc/vimrc -> 修改vim的启动基本配置
• 可视模式(Visual-mode)
  • v 字符可视模式
  • V 行可视模式
  • ctrl+v 块可视模式
    • 配合y,d和shift+i命令可以进行块的便利操作
    • y,d 复制和剪切,在所有块模式下都可以用
    • shift+i 在块模式下可以实现多行插入, 编辑完成之后esc按两次