7 管道、环境变量与常用命令

7.1 管道

类似文件重定向,可以将前一个命令的stdout重定向到下一个命令的stdin

要点

  • 仅处理stdout,忽略stderr
  • 管道右边的命令必须能接收stdin,例如rm无法接收stdin
  • 多个管道命令可以串联

与文件重定向的区别

  • 文件重定向的左边为命令,右边为文件
  • 管道左右两边都是命令,左边必须有stdout,右边必须有stdin

例:统计当前目录下的所有Python文件的总行数

1
2
find  . -name '*.py' | xargs cat  | wc -l

cat的作用是,把接收的文件拼接在一起,然后输出到stdout中。

xargs接收findstdout作为自己的stdin,然后按空格拆分成多项,传给cat作为它的文件参数。如果不用xargscat只会输出传入的文件名,与预期结果不一样。

例如,当前文件夹下有2个文件a.txtb.txt,则find . -name '*.py' | cat得到输出与find . -name '*.py'一样,都是两行文件名

1
2
3
.../a.txt
.../b.txt

使用xargscat才能正确获取a.txtb.txt的内容。

wc用于统计文件内容,-l表明统计文件行数。

7.2 环境变量

环境变量是Linux系统的全局变量,它可以被各个进程访问到,常用来记录配置信息。

查看

1
2
3
4
5
env  # 显示当前用户的变量
set # 显示当前shell的变量,包括当前的变量
export # 显示当前导出成用户变量的shell变量
echo $PATH # 输出环境变量到stdout

修改

环境变量的定义、修改和删除可以参考第3章。

为了永久修改环境变量,需要将修改命令放入到~/.bashrc中。

编写完~/.bashrc后,需要执行命令source ~/.bashrc才能将配置应用到当前bash下。

原理

启动bash时,会先执行~/.bashrc。而ssh登录或tmux新建一个pane时,系统都会生成一个新的bash

常见环境变量

  • HOME:用户家目录~
  • PATH:可执行文件(命令)的存储路径。
    • 路径与路径之间用:分隔
    • 当某个可执行文件同时出现在多个路径时,系统会优先选择从左到右首次匹配到的文件
  • LD_LIBRARY_PATH:指定动态链接库(.so文件)的路径,内容是以:隔开的路径列表
    • 动态库是已经编译好的可执行程序,在主程序执行时才调用
    • 静态库是未编译的代码,不能直接被调用
  • C_INCLUDE_PATH:C语言的头文件路径,内容是以:隔开的路径列表
  • CPLUS_INCLUDE_PATH:C++的头文件路径,内容是以:隔开的路径列表
  • PYTHONPATH:Python导入包的路径,内容是以:隔开的路径列表
  • JAVA_HOME:JDK的安装目录
  • CLASSPATH:存放Java导入类的路径,内容是以:隔开的路径列表‘

例:增加一个PATH

1
2
export PATH=/home/acs/homework/lesson_6/thrift_lesson/match_system/src:$PATH

将命令追加到~/.bashrc中,再用source ~/.bashrc让改变立即生效。

7.3 常用命令

7.3.1 系统状况

  • top:查看所有进程的信息(Linux的任务管理器)
    • M:按内存使用排序
    • P:按CPU使用排序
    • q:退出
  • df -h:Disk Free,查看硬盘使用情况
  • free -h:查看内存使用情况
  • du -sh:Disk Usage,查看当前目录占用的硬盘空间
  • ps aux:Process Status,查看所有进程
  • kill:关闭进程
    • kill -9 pid:立即关闭进程号为pid的进程
    • kill -15 pid:正常关闭进程号为pid的进程,在进程完成关闭前准备工作后才会关闭
  • netstat -nt:查看所有网络连接
  • w:列出当前登陆的用户
  • ping:检查能否连通某个地址

例:查看某一进程的信息

1
2
ps aux | grep xxx

7.3.2 文件权限

chmod:修改文件权限

  • chmod +x xxx:给xxx增加可执行权限(所有用户)
  • chmod -x xxx:删除xxx的可执行权限(所有用户)
  • chmod 777 xxx:给xxx权限改为777
  • chmod 777 xxx -R:递归修改某个文件夹的权限为777

权限由10位构成

  • 第1位:文件类型
    • d是目录
    • f是文件
    • l是链接
  • 第2~4位:用户的读写执权限rwx
  • 第5~7位:同组用户的读写执权限rwx
  • 第8~10位:其它用户的读写执权限rwx

777指所用用户可读可写可执行。

7.3.3 文件检索

  • find directory -name '*.py':在directory下搜索所有*.py文件
  • grep xxx:从stdin读入若干行,如果行中包含xxx,则输出该行,否则跳过
  • wc:统计stdin内容或文件参数列表中各文件的内容
    • wc -l:统计行数
    • wc -w:统计单词书
    • wc -c:统计字节数
  • tree:展示当前目录的文件结构
    • tree directory: 展示目录directory的文件结构
    • tree -a:显示隐藏文件
  • ag xxx:搜索当前目录下所有文件,检索xxx字符串,并给出所在文件和所在行号
  • cut:从stdin读入多行数据分割
    • 按指定字符分割-d,按列提取-f
      • echo $PATH | cut -d ':' -f 3,5:输出PATH:分割后第3、5列数据
      • echo $PATH | cut -d ':' -f 3-5:输出PATH:分割后第3~5列数据
    • 按字符提取-c
      • echo $PATH | cut -c 3,5:输出PATH的第3、5个字符
      • echo $PATH | cut -c 3-5:输出PATH的第3~5个字符
  • sort:按行进行字典排序
    • 可以从stdin读入多行数据
    • 可以从命令行参数读取文件名列表
  • xargs:将stdin中的数据用空格或回车分割成命令行参数

7.3.4 查看文件内容

  • more:浏览文件内容
    • <Enter>:下一行
    • <Space>:下一页
    • b:上一页
    • q:退出
  • less:与more类似,功能更多
    • <Enter>:下一行
    • y:上一行
    • <Page Down>:下一页
    • <Page Up>:上一页
    • q:退出
  • head -3 xxx:展示xxx的前3行内容,支持stdin读入
  • tail -3 xxx:展示xxx的最后3行内容,支持stdin读入

7.3.5 用户相关

history:展示当前用户的历史操作,内容在~/.bash_history

7.3.6 工具

  • md5sum:计算md5哈希值
    • 可以从stdin读入内容
    • 可以通过命令行参数传入文件名列表
  • time command:统计command的执行时间
  • ipython3:交互式python3环境,可以当做计算器,或批量管理文件,可在里边执行bash——! echo "hello world"
  • watch -n 0.1 command:每0.1秒执行一次command命令
  • tar:压缩文件
    • tar -zcvf xxx.tar.gz /path/to/file/*:把目录/path/to/file/*所有文件压缩到xxx.tar.gz
    • tar -zxvf xxx.tar.gz:解压缩
  • diff xxx yyy:查找文件xxxyyy的不同点

7.3.7 安装软件

  • sudo command:以root身份执行command命令
  • apt-get install xxx:安装软件
  • pip install xxx --user --upgrade:安装Python包