2023SRE线上班全程班（202309改版）

2024Linux云计算SRE工程师万老师

第1天-行业介绍和计算机基础

1-计算机基础和Linux安装

内容概述

计算机系统

计算机硬件组成

操作系统

Linux相关介绍

Linux哲学思想

虚拟机

Linux 安装

1 计算机系统

1.1计算机硬件

计算机发展历史：

电子管时代：第一代计算机（1945-1957）

晶体管时代：第二代计算机（1958-1964）

集成电路时代：第三代计算机（1965-1970）

大规模集成电路时代：第四代计算机（1972-至今）

量子计算机／生物计算机：第五代计算机（可能已经开始了）

冯诺依曼体系结构

其主要内容如下：

1．计算机处理的数据和指令一律用二进制数表示；

2．顺序执行程序的每一条指令；

3．计算机由运算器，控制器，存储器，输入设备和输出设备五大部份组成；

1.2 操作系统和Linux

2 Linux 安装

linux虚拟机安装

第2天-Linux基础入门和帮助

内容概述

1 Linux 基础

Shell 是Linux系统的用户界面，提供了用户与内核进行交互操作的一种接口。它接收用户输入的命令并把它送入内核去执行 。

1.3.3 各种Shell

1.3.4 bash shell

GNU Bourne-Again Shell(bash)是GNU计划中重要的工具软件之一，目前也是 Linux 标准的 shell，与sh兼容

显示当前使用的 shell

root@ubuntu2204:~# echo ${SHELL}

/bin/bash

显示当前系统使用的所有shell

root@ubuntu2204:~# cat /etc/shells

# /etc/shells: valid login shells

/bin/sh

/bin/bash

/usr/bin/bash

/bin/rbash

/usr/bin/rbash

/usr/bin/sh

/bin/dash

/usr/bin/dash

/usr/bin/tmux

/usr/bin/screen

1.4 设置主机名

#临时生效

hostname NAME

#持久生效,支持CentOS7和Ubuntu18.04以上版本

hostnamectl set-hostname NAME

1.6.2 shell中可执行的两类命令

内部命令：由shell自带的，而且通过某命令形式提供，用户登录后自动加载并常驻内存中

外部命令：在文件系统路径下有对应的可执行程序文件，当执行命令时才从磁盘加载至内存中，执

行完毕后从内存中删除

1.7 常见命令

1.7.1 查看硬件信息

1.7.1.1 查看 cpu

lscpu 命令可以查看cpu信息

cat /proc/cpuinfo也可看查看到

1.7.1.2 查看内存大小

[root@ubuntu2204 ~]# free
total
used
353580
0
free
844332
shared buff/cache available
1328 791616 1479600
Mem:
1989528
2097148
Swap:
2097148
[root@ubuntu2204 ~]# cat /proc/meminfo
MemTotal:
MemFree:
MemAvailable:
.....

1.7.1.3 查看硬盘和分区情况

[root@centos8 ~]# lsblk

[root@centos8 ~]# cat /proc/partitions

1.7.2 查看系统版本信息

1.7.2.1 查看系统架构

[root@ubuntu2204 ~]# arch

x86_64

1.7.2.2 查看内核版本

[root@rocky8 ~]# uname -r

4.18.0-372.9.1.el8.x86_64

1.7.2.3 查看操作系统发行版本

#CentOS8 查看发行版本

[root@centos8 ~]#cat /etc/redhat-release

CentOS Linux release 8.1.1911 (Core)

[root@centos8 ~]#cat /etc/os-release

[root@centos8 ~]#lsb_release -a

1.7.3 日期和时间

Linux的两种时钟

系统时钟：由Linux内核通过CPU的工作频率进行的

硬件时钟：主板

[root@ubuntu2204 ~]# date
Mon May 8 02:21:33 AM UTC 2023
#显示时区信息
[root@ubuntu2204 ~]# date -R
Mon, 08 May 2023 02:21:40 +0000
#时间戳
[root@ubuntu2204 ~]# date +%s
1683512505
[root@ubuntu2204 ~]# date -d @`date +%s`
Mon May 8 02:21:51 AM UTC 2023
[root@ubuntu2204 ~]# date -d @1683512505
Mon May 8 02:21:45 AM UTC 2023
[root@ubuntu2204 ~]# date -d @1683512505 +%F_%T
2023-05-08_02:21:45
[root@ubuntu2204 ~]# date -d "2023-05-08" +%s
1683504000

clock，hwclock 显示硬件时钟

[root@centos8 ~]# ll /usr/sbin/clock
lrwxrwxrwx. 1 root root 7 Oct 14 2021 /usr/sbin/clock -> hwclock
#对钟
[root@rocky86 ~]# clock -s
[root@ubuntu2204 ~]# ll /usr/sbin/clock
ls: cannot access '/usr/sbin/clock': No such file or directory
[root@ubuntu2204 ~]# ll /usr/sbin/hwclock
-rwxr-xr-x 1 root root 51704 Feb 21 2022 /usr/sbin/hwclock*

关机：

halt

poweroff

init 0

shutdown -h now

重启：

reboot

init 6

shutdown -r now

#ctrl+alt+delete 三键

关机或重启：shutdown

shutdown 程序会广播己登录的用户，被看作是安全的关机命令

是一个计划关机任务，可撤销

1.7.5 用户登录信息查看命令

whoami: 显示当前登录有效用户

who: 系统当前所有的登录会话

w: 系统当前所有的登录会话及所做的操作

1.7.6 文本编辑

nano 工具可以实现文本的编辑，上手容易，适合初学者

gedit 工具是图形工

1.7.7 会话管理

终端复用器软件就是会话与窗口的"解绑"工具，将它们彻底分离。

1. 它允许在单个窗口中，同时访问多个会话。这对于同时运行多个命令行程序很有用。

2. 它可以让新窗口"接入"已经存在的会话。

3. 它允许每个会话有多个连接窗口，因此可以多人实时共享会话。

4. 它还支持窗口任意的垂直和水平拆分。

类似的终端复用器还有Screen，Tmux

1.7.8 输出信息 echo

1.7.8.1 echo 基本用法

echo 命令可以将后面跟的字符进行输出

1.8 字符集和编码及语言环境

1.9 命令行扩展和被括起来的集合

1.9.1 命令行扩展：`` 和 $()

[root@ubuntu2204 ~]# echo "echo $HOSTNAME"

echo ubuntu2204

[root@ubuntu2204 ~]# echo 'echo $HOSTNAME'

echo $HOSTNAME

[root@ubuntu2204 ~]# echo `echo $HOSTNAME`

ubuntu2204

#结论：

单引号：强引用,六亲不认，变量和命令都不识别，都当成了普通的字符串,"最傻"

双引号：弱引用,不能识别命令，可以识别变量,"半傻不精"

反向单引号：里面的内容必须是能执行的命令并且有输出信息,变量和命令都识别，并且会将反向单引号的内容

当成命令进行执行后，再交给调用反向单引号的命令继续,"最聪明"

1.9.2 括号扩展：{ }

{} 可以实现打印重复字符串的简化形式

{元素1,元素2,元素3}

{元素1..元素2}

echo file{1,3,5} 结果为：file1 file3 file5

[root@ubuntu2204 ~]# echo {000..20..2}
000 002 004 006 008 010 012 014 016 018 020
[root@ubuntu2204 ~]# echo {a..z..2}
a c e g i k m o q s u w y
[root@ubuntu2204 ~]# echo {A..z}
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z [ ] ^ _ ` a b c d e f g h i
j k l m n o p q r s t u v w x y z
[root@ubuntu2204 ~]# echo {a..z} {A..Z}
a b c d e f g h i j k l m n o p q r s t u v w x y z A B C D E F G H I J K L M N O
P Q R S T U V W X Y Z
[root@ubuntu2204 ~]# echo {a..z}{1..3}
a1 a2 a3 b1 b2 b3 c1 c2 c3 d1 d2 d3 e1 e2 e3 f1 f2 f3 g1 g2 g3 h1 h2 h3 i1 i2 i3
j1 j2 j3 k1 k2 k3 l1 l2 l3 m1 m2 m3 n1 n2 n3 o1 o2 o3 p1 p2 p3 q1 q2 q3 r1 r2 r3
s1 s2 s3 t1 t2 t3 u1 u2 u3 v1 v2 v3 w1 w2 w3 x1 x2 x3 y1 y2 y3 z1 z2 z3

1.10 tab 键补全

tab 键可以实现命令及路径等补全，提高输入效率，避免出错

1.11 命令行历史

命令：history

1.13 bash的快捷键

2 获得帮助

whatis & whereis 命令

command --help 选项

man 手册

程序自带文档 /usr/share/doc

项目官网文档

行业网站

搜索引擎

第3天-Linux文件管理和I0重定向

文件管理和IO重定向

内容概述

文件系统目录结构

创建和查看文件

复制、转移和删除文件

软和硬链接

IO 重定向和管道

1 文件系统目录结构

1.1 文件系统的目录结构

文件和目录被组织成一个单根倒置树结构

文件系统从根目录下开始，用“/”表示

根文件系统(rootfs)：root filesystem

标准Linux文件系统（如：ext4），文件名称大小写敏感，例如：MAIL, Mail, mail, mAiL

以 . 开头的文件为隐藏文件

路径分隔的 /

文件名最长255个字节

包括路径在内文件名称最长4095个字节

蓝色-->目录 绿色-->可执行文件 红色-->压缩文件 浅蓝色-->链接文件 灰 ->其他文件

除了斜杠和NUL,所有字符都有效，但使用特殊字符的目录 和文件不推荐使用，有些字符需要用引

号来引用

每个文件都有两类相关数据：元数据：metadata，即属性， 数 ：data，即文件内容

1.2 常见的文件系统目录功能

1.3 应用程序的组成部分

不同类型文件常用的目录

2

文件操作命令

2.1 显示当前工作目录

显示当前shell CWD的绝对路径

pwd命令: printing working directory

2.2 绝对和相对路径

#
[
走绝对路径,从根目录出发
root@ubuntu2204 ~]# cd /etc/apt/
[
/
root@ubuntu2204 apt]# pwd
etc/apt
#
走相对路径，从当前目录出发
[
/
root@ubuntu2204 apt]# pwd
etc/apt
[
root@ubuntu2204 apt]# ls
apt.conf.d keyrings
sources.list
sources.list
auth.conf.d preferences.d sources.list.curtin.old trusted.gpg.d
[
root@ubuntu2204 apt]# cd apt.conf.d/
[
root@ubuntu2204 apt.conf.d]# pwd
etc/apt/apt.conf.d
/
#
[
走相对路径，从当前目录出发
root@ubuntu2204 apt.conf.d]# cd ../../.
[
root@ubuntu2204 ~]# pwd
root

2.3 更改目录

cd

2.4 列出目录内容

2.5 查看文件状态 stat

一个文件有两部份信息：元数据和具体内容

#查看文件元数据

[root@ubuntu2204 ~]# stat /etc/fstab

2.6 确定文件内容

文件可以包含多种类型的数据，使用file命令检查文件的类型，然后确定适当的打开命令或应用程序使用

[root@ubuntu2204 ~]# file test.sh

test.sh: Bourne-Again shell script, ASCII text executable

2.7 文件通配符模式 wildcard pattern

文件通配符可以用来匹配符合条件的多个文件，方便批量管理文件

通配符采用特定的符号，表示特定的含义，此特定符号称为元 meta 字符

常见的通配符如下：

2.8 创建空文件和刷新时间

touch命令可以用来创建空文件或刷新文件的时间

2.9 复制文件和目录

利用 cp（copy）命令可以实现文件或目录的复制

2.10 移动和重命名文件

mv 命令可以实现文件或目录的移动和改名

同一分区移动数据，速度很快，数据位置没有变化

不同分区移动数据，速度相对慢，数据位置发生了变化

利用 rename 可以批量修改文件名

2.11 删除文件

使用 rm 命令可以删除文件和目录

注意：此命令非常危险，慎重使用，建议使用 mv 代替 rm

范例：避免误删除，定义别名

[root@ubuntu2204 ~]# alias rm='mv -t /tmp'

2.12 目录操作

2.12.1 显示目录树 tree

2.12.2 创建目录 mkdir

2.11.3 删除空目录 rmdir

rmdir只能删除空目录，如果想删除非空目录，可以使用rm -r 命令，递归删除目录树

3 文件元数据和节点表结构

3.1 inode 表结构

在Linux系统中，一切皆文件，

每个文件，又分为文件元数据和具体内容两部份，

一个文件元数据和其具体内容数据，在磁盘分区上，是分开存放的。

这种存储文件元数据的区域就叫 inode，中文译作 "索引节点"，

每一个inode表记录对应的保存了以下信息：

inode number（索引节点编号）

文件类型

权限

属主属组

链接数

文件大小

各时间戳

指向具体数据块的指针

有关文件的其他数据

3.2 硬(hard)链接

hard link

硬链接的作用是允许一个文件拥有多个有效的路径名，

新增一个文件，指向某个文件的inode，这样，这两个文件就互为硬链接，

也就是多个文件名，都是指向同一个inode，这是硬链接的本质。

3.3 符号 symbolic (或软 soft)链接

symbolic link，也称为符号链接，类似于windows 中的快捷方式，

软链接是建立一个独立的文件，这个文件的指向的是目标的文件名。

软链接特点

一个符号链接的内容是它引用文件的名称

可以对目录创建软链接

可以跨分区的文件实现

指向的是另一个文件的路径；其大小为指向的路径字符串的长度；不增加或减少目标文件inode的

引用计数

软链接如果使用相对路径，是相对于源文件的路径，而非相对于当前目录

删除软链接本身,不会删除源目录内容

删除源目录的文件,不会删除链接文件

格式：

ln -s filename linkname

范例：删除软链接

3.4 硬链接和软链接区别总结

3.5 生产案例

3.5.1 案例1：提示空间满 No space left on device，但 df 可以看 到空间很多，为什么？

3.5.2 案例2：提示空间快满，使用 rm 删除了很大的无用文件后，df 仍然看到空间不足，为什么？如何解决？

4 IO 重定向和管道

4.1 标准输入和输出

Linux系统中有三个最基本的IO设备

1. 标准输入设备(stdin)：对应终端键盘

2. 标准输出设备(stdout)：对应终端的显示器

3. 标准错误输出设备(stderr)：对应终端的显示器

4.2 I/O重定向 redirect

重定向：redirect

I/O重定向：将默认的输入，输出或错误对应的设备改变，指向新的目标

4.2.1 标准输出和错误重新定向

STDOUT和STDERR默认是使用当前终端，但也可以重定向到指定终端或指定文件

4.2.2 标准输入重定向

4.2.2.1 tr 命令

用于转换字符、删除字符和压缩重复的字符。它从标准输入读取数据并将结果输出到标准输出

4.2.2.1 标准输入重定向

标准输入重定向是使用文件来代替键盘的输入，

从文件中读取数据，代替当前终端的输入设备输入的数据，

此处要严格区分命令是否支持标准输入，标准输入和参数是两个概念；

怎么判断命令能使用标准输入重定向？

不跟任何选项参数，直接回车，看是否等待标准输入，如果是，则该命令可以使用标准输入重定向

[root@ubuntu2204 ~]# cat a.txt
1+2+3+4+5+6+7+8+9+10
#标准输入重定向
[root@ubuntu2204 ~]# bc < a.txt
55
#标准输入输出重定向
[root@ubuntu2204 ~]# bc < a.txt > rs.txt
[root@ubuntu2204 ~]# cat rs.txt
55
#多行执行
[root@ubuntu2204 ~]# seq -s + 10 > a.txt;bc<a.txt>rs.txt

4.2.2.2 标准输入多行重定向

使用 "<<终止词" 命令从键盘把多行重导向给STDIN，直到终止词位置之前的所有文本都发送给STDIN，

有时被称为就地文本（here documents）,其中终止词可以是任何一个或多个符号，比如：!，@，$，

EOF（End Of File）等，其中EOF比较常用

4.2.2.4 高级重定向写法

4.2.2.4.1 cmd <<< "string"

含义是 here-string ，表示传给给cmd的stdin的内容从这里开始是一个字符串。

4.2.2.4.2 cmd1 < <(cmd2)

名称为 Process substitution ,是由两个部分组成

<(cmd2) 表示把cmd2的输出写入一个临时文件, 注意：< 符号 与（ 符号之间没有空格

cmd1 < 这是一个标准的stdin重定向

把两个合起来，就是把cmd2的输出stdout传递给cmd1作为输入stdin, 中间通过临时文件做传递

范例：

[root@ubuntu2204 ~]# bc < <(echo 1+2+3)

6

[root@ubuntu2204 ~]# bc < <(seq -s + 3)

6

[root@ubuntu2204 ~]# tr 'a-z' 'A-Z' < <(hostname)

ROCKY86

4.3 管道

4.3.1 管道

道(pipe)：名顾思义，水管，从一端进去，再从另一端出来。

在shell 中，可以将两个或多个命令(程序|进程)连接起来，将前一个命令的输出作为后一个命令的输入，

就像拿水管将两个命令连起来；

使用管道，要求前一个命令必须支持标准输出，后一个命令必须支持标准输入；

格式

COMMAND1|COMMAND2|COMMAND3|...

功能说明：

将命令1的STDOUT发送给命令2的STDIN，命令2的STDOUT发送到命令3的STDIN

所有命令会在当前shell进程的子shell进程中执行

组合多种工具的功能

注意：STDERR默认不能通过管道转发，可利用2>&1 或 |& 实现，格式如下

COMMAND1 2>&1 | COMMAND2

COMMAND1 |& COMMAND2

范例：

[root@ubuntu2204 ~]# echo 1+2+3|bc

6

4.3.2 tee 命令

将标准输入复制到每个指定文件，并显示到标准输出

第4天-用户和权限管理

内容概述

Linux的安全模型

用户和组相关文件

用户和组管理命令

理解并设置文件权限

默认权限

特殊权限

文件访问控制列表

1 Linux安全模型

资源分派：

Authentication：认证，验证用户身份

Authorization：授权，不同的用户设置不同权限

Accouting：审计 ，事后行为

在Linux系统中，当用户登录成功时，系统会自动分配令牌 token，包括：用户标识和组成员等信息。

3A认证：又称AAA认证，是一套针对网络设备的网络访问控制策略安全模型。

1.1 用户

Linux系统是多用户系统，可以同时存在多个用户，每个用户之间都是互相隔离的。

在Linux系统中，每个用户是通过User Id （UID）来唯一标识的。

1.2 用户组

Linux中可以将一个或多个用户加入用户组中，组就是包含0个或多个用户的集合，用户组是通过Group ID（GID） 来唯一标识的。

1.4 安全上下文

Linux安全上下文Context：

在Linux系统中，运行中的程序（即进程process），都是以进程发起者的身份运行；

进程所能够访问的资源权限取决于进程的运行者的身份；

首先，什么是程序

一个程序或一个命令，本质上也是一个可执行的二进制文件或一个可执行的脚本文件；

在服务器上有很多文件，只有那些特定的，可以被执行的二进制文件，才能被称为程序；

其次，什么是进程

运行中的程序，就是进程；

第三，程序，进程，用户之间的关系是怎样的

只有可以被执行的文件，才能叫作程序；

对于同一个程序，也不是所有用户都可以运行的，这要取决于当前用户对该程序有没有可执行权限；

第四，进程的访问资源

一个进程能不能访问某些资源，是由进程发起者决定的（跟进程本身的程序文件无关），比如某进程要

读写某个文件，则要看该进程发起者有没有权限读取该文件；

2 用户和组的配置文件

2.1 用户和组的主要配置文件

/etc/passwd：用户及其属性信息(名称、UID、主组ID等）

/etc/shadow：用户密码及其相关属性

/etc/group：组及其属性信息

/etc/gshadow：组密码及其相关属性

4 文件权限管理

4.1 Linux中的权限体系介绍

在Linux系统中，一切皆文件；

对文件来讲，系统中的用户，分属于三类不同的角色，分别是属主，属组，其它用户；

而每个角色用户，对该文件的权限，也分三种，分别是读，写，执行；

范例：面试题

执行 cp /etc/issue /data/dir/ 所需要的最小权限？

/bin/cp 需要x权限

/etc/ 需要x权限

/etc/issue 需要r权限

/data 需要x权限

/data/dir 需要w,x权限

4.6 访问控制列表 ACL

4.6.1 ACL权限功能

rwx 权限体系中，仅仅只能将用户分成三种角色，如果要对单独用户设置额外的权限，则无法完成；

而ACL可以单独对指定的用户设定各不相同的权限；提供颗粒度更细的权限控制；

ACL生效顺序：

所有者，自定义用户，所属组，自定义组，其他人

4.6.2 ACL相关命令

setfacl 可设置ACL权限

getfacl 可查看设置的ACL权限

第5天-文本处理工具和正则表达式

内容概述

文本编辑工具VIM

各种文本工具

基本正则表达式和扩展正则表达式

文本处理三剑客之grep

1 文本编辑工具之神VIM

文本编辑种类：

全屏编辑器：nano（字符工具）, gedit(图形化工具)，vi，vim

行编辑器：sed

VIM 小抄

1.2.2 三种主要模式和转换

vim 是一个模式编辑器，击键行为是依赖于 vim的 的“模式”

三种模式：

命令或普通(Normal)模式：默认模式，可以实现移动光标，剪切/粘贴文本

插入(Insert)或编辑模式：用于修改文本

扩展命令(extended command )或命令(末)行模式：保存，退出等

1.8 vim 总结图

2 文本常见处理工具

2.1 文件内容查看命令

2.1.1 查看文本文件内容

2.1.1.1 cat

cat 可以查看文本内容

2.2 分页查看文件内容

2.2.1 more

可以实现分页查看文件，可以配合管道实现输出信息的分页

2.3 显示文本前面或后面的行内容

2.3.1 head

可以显示文件或标准输入的前面行

2.3.2 tail

tail 和head 相反，查看文件或标准输入的倒数行

2.3.3 head 和 tail 总结

2.4 按列抽取文本 cut

cut 命令可以提取文本文件或STDIN数据的指定列

2.5 合并多个文件 paste

paste 合并多个文件同行号的列到一行

2.6 分析文本的工具

文本数据统计：wc

整理文本：sort

比较文件：diff和patch

3 正则表达式

REGEXP： Regular Expressions，由一类特殊字符及文本字符所编写的模式；其中有些字符（元字符）

不表示字符字面意义，而表示控制或通配的功能，类似于增强版的通配符功能；但与通配符不同，通配

符功能是用来处理文件名，而正则表达式是处理文本内容中字符；

正则表达式被很多程序和开发语言所广泛支持：vim, less，grep，sed，awk, nginx，mysql 等;

正则表达式分两类：

基本正则表达式：BRE Basic Regular Expressions；

扩展正则表达式：ERE Extended Regular Expressions；

3.1 基本正则表达式元字符

3.1.1 字符匹配

3.2 扩展正则表达式元字符

3.2.1 字符匹配

3.2.2 匹配次数

3.2.3 位置锚定

4 文本处理三剑客

grep 命令主要对文本的（正则表达式）行基于模式进行过滤

sed：stream editor，文本编辑工具

awk：Linux上的实现gawk，文本报告生成器

第6天-文件查找和打包压缩

内容概述

locate

find

xargs

compress和uncompress

gzip和gunzip

bzip2和bunzip2

xz和unxz

zip和unzip

tar

1 文件查找

在文件系统上查找符合条件的文件

文件查找：

非实时查找(数据库查找)：locate

实时查找：find

2 压缩和解压缩

主要针对单个文件压缩，而非目录

2.1 compress 和 uncompress

此工具来自于ncompress包，此工具目前已经很少使用

对应的文件是 .Z 后缀

3 打包和解包

3.1 tar

tar 即 Tape ARchive 磁带归档，可以对目录和多个文件打包成一个文件进行归档；

其本身不具备压缩功能，但可以使用参数调用相应的压缩命令进行压缩；

此命令可以保留文件属性，推荐使用；

对应的文件是 .tar 后缀

第7天-shell脚本编程-基础

内容概述

编程基础

脚本基本格式

变量

运算

条件测试

配置用户环境

流程控制

函数

脚本工具

数组

字符串处理

高级变量

1 编程基础

2 shell 脚本语言的基本用法

2.1 shell 脚本的用途

将简单的命令组合完成复杂的工作，自动化执行命令，提高工作效率

减少手工命令的输入，一定程度上避免人为错误

将软件或应用的安装及配置实现标准化

用于实现日常性的，重复性的，非交互式的运维工作，如:文件打包压缩备份，监控系统运行状态并实现告警等

2.6 shell 脚本调试

写一个脚本，获取主机系统信息，包括CPU型号，内存大小，硬盘大小，操作系统版本这四个指标

root@ubuntu2204 ~]# vim sysinfo-v1.sh
#!/bin/bash
lscpu | sed -nr 's/^Model name: +(.*)/\1/p'
cat /proc/meminfo | head -n 1 | tr -s " " | cut -d" " -f2,3
lsblk /dev/sda | grep "^sda" | tr -s " " | cut -d" " -f4
cat /etc/os-release | sed -nr "s/^VERSION=\"(.*)\"/\1/p"
[root@ubuntu2204 ~]# bash sysinfo-v1.sh

第二个版本

#!/bin/bash
echo -e "CPU
\c"
lscpu | sed -nr 's/^Model name: +(.*)/\1/p'
echo -e "Mem
\c"
cat /proc/meminfo | head -n 1 | tr -s " " | cut -d" " -f2,3
echo -e "DISK
\c"
lsblk /dev/sda | grep "^sda" | tr -s " " | cut -d" " -f4
echo -e "OS
\c"
cat /etc/os-release | sed -nr "s/^VERSION=\"(.*)\"/\1/p"
[root@ubuntu2204 ~]# bash sysinfo-v2.sh

第三个版本
#!/bin/bash
echo -e "========================= sysinfo begin ================\n"
echo -e "CPU
\c"
echo -e "\E[1;32m `lscpu | sed -nr 's/^Model name: +(.*)/\1/p'` \E[0m"
echo -e "Mem
\c"
echo -e "\E[1;32m `cat /proc/meminfo | head -n 1 | tr -s " " | cut -d" " -f2,3` \E[0m"
echo -e "DISK
\c"
echo -e "\E[1;32m `lsblk /dev/sda | grep "^sda" | tr -s " " | cut -d" " -f4` \E[0m"
echo -e "OS
\c"
echo -e "\E[1;32m `cat /etc/os-release | sed -nr 's/^VERSION=\"(.*)\"/\1/p'` \E[0m"
echo -e "\n========================= sysinfo end =================="
[root@ubuntu2204 ~]# bash sysinfo-v3.sh

2.7 变量

2.7.1 变量

变量表示命名的内存空间，将数据放在内存空间中，通过变量名引用，获取数据

数据要存在内存空间中，而内存空间又是通过内存地址来访问的，但内存地址一般是16进制的编号；

为了方便使用，就有了变量名，当访问一个变量时，实际是访问其对应的内存地址的那块内存空间；

练习：

1. 编写脚本 sysinfo.sh，显示当前主机系统信息，包括:主机名，IPv4地址，操作系统版本，内核版 本，CPU型号，内存大小，硬盘大小

2. 编写脚本 backup.sh，可实现每日将 /etc/ 目录备份到 /backup/etcYYYY-mm-dd中

3. 编写脚本 disk.sh，显示当前硬盘分区中空间利用率最大的值

4. 编写脚本 links.sh，显示正连接本主机的每个远程主机的IPv4地址和连接数，并按连接数从大到小排序

2.8 格式化输出 printf

相当于增强版的 echo, 实现丰富的格式化输出

2.9 算术运算

2.10 逻辑运算

2.10.1 与或非

2.12 关于 () 和 {}

( cmd1;cmd2;... ) 和 { cmd1;cmd2;...; } 都可以将多个命令组合在一起，批量执行

( list ) 会开启子shell,并且list中变量赋值及内部命令执行后,将不再影响后续的环境

{ list; } 不会开启子shell, 在当前shell中运行,会影响当前shell环境，左侧要有空格，右侧要有; 结束

2.13 组合测试条件

2.13.1 第一种方式

练习

1. 编写脚本 argsnum.sh，接受一个文件路径作为参数；如果参数个数小于1，则提示用户“至少应该给 一个参数”，并立即退出；如果参

数个数不小于1，则显示第一个参数所指向的文件中的空白行数

2. 编写脚本 hostping.sh，接受一个主机的IPv4地址做为参数，测试是否可连通。如果能ping通，则提 示用户“该IP地址可访问”；如果不

可ping通，则提示用户“该IP地址不可访问”

3. 编写脚本 checkdisk.sh，检查磁盘分区空间和inode使用率，如果超过80%，就发广播警告空间将满

4. 编写脚本 per.sh，判断当前用户对指定参数文件，是否不可读并且不可写

5. 编写脚本 excute.sh ，判断参数文件是否为sh后缀的普通文件，如果是，添加所有人可执行权限， 否则提示用户非脚本文件

6. 编写脚本 nologin.sh和 login.sh，实现禁止和允许普通用户登录系统

2.14 使用read命令来接受输入

使用read来把输入值分配给一个或多个shell变量，read从标准输入中读取值，给每个单词分配一个变量，所有剩余单词都被分配给最后一个

变量，如果变量名没有指定，默认标准输入的值赋值给系统内置变量REPLY

3 bash shell 的配置文件

3.1 按生效范围划分两类

全局配置：针对所有用户皆有效

/etc/profile

/etc/profile.d/*.sh

/etc/bashrc

个人配置：只针对特定用户有效

~/.bash_profile

~/.bashrc

3.2 shell登录两种方式分类

3.2.1 交互式登录

直接通过终端输入账号密码登录

使用 su - UserName 切换的用户

3.2.2 非交互式登录

su UserName

图形界面下打开的终端

执行脚本

任何其它的bash实例

3.5 Bash 退出任务

保存在~/.bash_logout文件中（用户）,在退出登录shell时运行

功能：

创建自动备份

清除临时文件

练习

1. 让所有用户的PATH环境变量的值多出一个路径，例如：/usr/local/apache/bin

2. 用户 root 登录时，将命令指示符变成红色，并自动启用如下别名： rm=‘rm -i’ cdnet=‘cd /etc/sysconfig/network-scripts/’

editnet=‘vim /etc/sysconfig/network-scripts/ifcfg-eth0’ editnet=‘vim /etc/sysconfig/network-scripts/ifcfg-eno16777736 或 ifcfg-

ens33 ’ (如果系统是 CentOS7)

3. 任意用户登录系统时，显示红色字体的警示提醒信息“Hi,dangerous！”

4. 编写生成脚本基本格式的脚本，包括作者，联系方式，版本，时间，描述等

4 流程控制

4.1 条件选择

4.1.1 条件判断分绍

4.1.1.1 单分支条件

4.1.1.2 多分支条件

4.1.1.2 多分支条件

4.2 循环

4.2.1 循环执行介绍

练习

1. 每隔3秒钟到系统上获取已经登录的用户的信息；如果发现用户hacker登录，则将登录时间和主机记 录于日志/var/log/login.log中,并退

出脚本

2. 随机生成10以内的数字，实现猜字游戏，提示比较大或小，相等则退出 k

3. 用文件名做为参数，统计所有参数文件的总行数

4. 用二个以上的数字为参数，显示其中的最大值和最小值

5 函数 function

5.1 函数介绍

函数 function

是由若干条shell命令组成的语句块，实现代码重用和模块化编程

它与shell程序形式上是相似的，不同的是它不是一个单独的进程，不能独立运行，而是shell程序的一部分

5.8 函数递归

函数递归：

函数直接或间接调用自身，注意递归层数，可能会陷入死循环

递归特点:

函数内部自已调用自已

必须有结束函数的出口语句，防止死循环

练习

1. 编写函数，实现OS的版本判断

2. 编写函数，实现取出当前系统eth0的IP地址

3. 编写函数，实现打印绿色OK和红色FAILED

4. 编写函数，实现判断是否无位置参数，如无参数，提示错误

5. 编写函数，实现两个数字做为参数，返回大值

6. 编写服务脚本/root/bin/testsrv.sh，完成如下要求

6 其它脚本相关工具

6.1 信号捕捉 trap

trap 命令可以捕捉信号，修改信号原来的功能，实现自定义功能

在脚本或程序的执行过程中，我们可以通过发送信号的方式，打断或终止程序的执行过程，为了避免这种情况，我们可以使用信号捕捉，来

自定义信号处理。

6.2 创建临时文件 mktemp

mktemp 命令用于创建并显示临时文件，可避免冲突

6.3 安装复制文件 install

install 功能相当于cp，chmod，chown，chgrp ，mkdir 等相关工具的集合

7 数组 array

7.1 数组介绍

变量：存储单个元素的内存空间

数组：存储多个元素的连续的内存空间，相当于多个变量的集合

数组名和索引

索引的编号从0开始，属于数值索引

索引可支持使用自定义的格式，而不仅是数值格式，即为关联索引，bash 4.0版本之后开始支持

bash的数组支持稀疏格式（索引不连续）

7.7 数组数据处理

数组切片

${ARRAY[@]:offset:number}
${ARRAY[*]:offset:number}
offset
number
#要跳过的元素个数
#要取出的元素个数
#取偏移量之后的所有元素
{ARRAY[@]:offset}
{ARRAY[*]:offset}

8 字符串处理

8.1 字符串切片

8.1.1 基于偏移量取字符串

9 高级变量

9.1 高级变量赋值

$str 为变量名，expr 为具体字符串

这些组合可以省掉一些 if，else 的判断代码

9.3 变量间接引用

9.3.1 eval命令

eval命令将会首先扫描命令行进行所有的置换，然后再执行该命令。该命令适用于那些一次扫描无法实现其功能的变量,该命令对变量进行两次扫描

第8天-软件管理

内容概述

软件运行环境

软件包基础

rpm包管理

yum和dnf管理

定制yum仓库

编译安装

Ubuntu软件管理

1 软件运行和编译

1.1 软件相关概念

2 软件包和包管理器

2.1 软件包介绍

开源软件最初只提供了.tar.gz的打包的源码文件，用户必须自已编译每个想在GNU/Linux上运行的软

件。用户急需系统能提供一种更加便利的方法来管理这些软件，当Debian诞生时，这样一个管理工具

dpkg也就应运而生，可用来管理deb后缀的"包"文件。从而著名的“package”概念第一次出现在

GNU/Linux系统中，稍后Red Hat才开发自己的rpm包管理系统。

3 包管理器rpm

CentOS系统上使用rpm命令管理程序包

功能：安装、卸载、升级、查询、校验、数据库维护

4 yum和dnf

CentOS使用 yum, dnf 解决 rpm 的包依赖关系

YUM: Yellowdog Update Modififier，rpm的前端程序，可解决软件包相关依赖性，可在多个库之间定

位软件包，up2date的替代工具

CentOS 8 用dnf 代替了yum ，不过保留了和yum的兼容性，配置也是通用的

5 Ubuntu 软件管理

Debian 软件包通常为预编译的二进制格式的扩展名“.deb”，类似 rpm 文件，因此安装快速，无需编译

软件。包文件包括特定功能或软件所必需的文件、元数据和指令

dpkg：package manager for Debian，类似于rpm， dpkg是基于Debian的系统的包管理器。可

以安装，删除和构建软件包，但无法自动下载和安装软件包或其依赖项

apt：Advanced Packaging Tool，功能强大的软件管理工具，甚至可升级整个Ubuntu的系统，基

于客户/服务器架构(c/s)

5.4 snap 工具

Snap 包是 Ubuntu 16.04 LTS 发布时引入的新应用格式包。目前已流行在 Ubuntu 且在其他如

Debian、Arch Linux、Fedora、Kaili Linux、openSUSE、Red Hat 等 Linux 发行版上通过 snapd 来安装使用 snap 应用。

6 程序包编译

序包编译安装：

源代码-->预处理-->编译-->汇编-->链接-->执行

多文件：文件中的代码之间，很可能存在跨文件依赖关系

虽然有很多开源软件将软件打成包，供人们使用，但并不是所有源代码都打成包，如果想使用开源软件，可能需要自已下载源码，进行编译安装。另外即使提供了包，但是生产中需要用于软件的某些特性，仍然需要自行编译安装。但是利用源代码编译安装是比较繁琐的，庆幸的是有相关的项目管理工具可以大大减少编译过程的复杂度。

6.4 C语言源代码编译安装过程

利用编译工具，通常只需要三个大的步骤

1. ./configure

(1) 通过选项传递参数，指定安装路径、启用特性等；执行时会参考用户的指定以及Makefifile.in

文件生成Makefile

(2) 检查依赖到的外部环境，如依赖的软件包

2. make 根据Makefifile文件，构建应用程序

make -j N

#并行编译，N为cpu 核数

3. make install 复制文件到相应路径

注意：安装前可以通过查看README，INSTALL获取帮助

第9天-磁盘存储和文件系统

内容概述

磁盘结构

分区类型

管理分区

管理文件系统

挂载设备

管理swap空间

RAID管理

LVM管理

LVM快照

1 磁盘结构

1.1 设备文件

Linux 哲学思想：一切皆文件

对于硬件设备，在Linux系统中，也是以文件的形式呈现出来的

磁盘设备的设备文件命名

设备类型

设备文件命名

备注

1.2 硬盘类型

硬盘接口类型

IDE：133MB/s，并行接口，早期家用电脑

SCSI：640MB/s，并行接口，早期服务器

SATA：6Gbps，SATA数据端口与电源端口是分开的，即需要两条线，一条数据线，一条电源线

SAS：6Gbps，SAS是一整条线，数据端口与电源端口是一体化的，SAS中是包含供电线的，而

SATA中不包含供电线。SATA标准其实是SAS标准的一个子集，二者可兼容，SATA硬盘可以插入

SAS主板上，反之不行

USB：480MB/s

M.2：

注意：速度不是由单纯的接口类型决定，支持Nvme协议硬盘速度是最快的

硬盘存储术语 CHS

2 管理存储

使用磁盘空间过程

1. 设备分区

2. 创建文件系统

3. 挂载新的文件系统

2.1 磁盘分区

2.1.1 为什么分区

优化I/O性能

实现磁盘空间配额限制

提高修复速度

隔离系统和程序

安装多个OS

采用不同文件系统

2.1.2 分区方式

两种分区方式：MBR，GPT

2.2 文件系统

2.2.1 文件系统概念

文件系统是操作系统用于明确存储设备或分区上的文件的方法和数据结构；即在存储设备上组织文件的

方法。

操作系统中负责管理和存储文件信息的软件结构称为文件管理系统，简称文件系统

从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进

行保护和检索的系统。具体地说，它负责为用户建立文件，存入、读出、修改、转储文件，控制文件的

存取，安全控制，日志，压缩，加密等。

2.2.2 文件系统类型

Linux 常用文件系统

Windows 常用文件系统

Unix常用文件系统

网络文件系统

集群文件系统

分布式文件系统

RAW

裸文件系统，未经处理或者未经格式化产生的文件系统

2.3 挂载

挂载：将额外文件系统与根文件系统某现存的目录建立起关联关系，进而使得此目录做为其它文件访问

入口的行为

卸载：为解除此关联关系的过程

把设备关联挂载点：mount Point

挂载点下原有文件在挂载完成后会被临时隐藏，因此，挂载点目录一般为空 进程正在使用中的设备无法被卸载

2.3.1 挂载文件系统 mount

2.3.2 卸载文件系统 umount

卸载时：可使用设备，也可以使用挂载点

2.3.3 查看挂载情况

查看挂载

2.3.4 持久挂载

将挂载保存到 /etc/fstab 中可以下次开机时，自动启用挂载

2.3.5 重新挂载

修改了/etc/fstab 文件中的挂载规则，无法通过 mount -a 生效，要执行执行挂载

mount -o remount MOUNTPOINT

2.4 处理交换文件和分区

2.4.1 swap 介绍

swap交换分区是系统RAM的补充，swap 分区支持虚拟内存。当没有足够的 RAM 保存系统处理的数据

时会将数据写入 swap 分区，当系统缺乏 swap 空间时，内核会因 RAM 内存耗尽而终止进程。

配置过多 swap 空间会造成存储设备处于分配状态但闲置，造成浪费，过多 swap 空间还会掩盖内存泄

露

注意：为优化性能，可以将swap 分布存放，或高性能磁盘存放

2.5 移动介质

挂载意味着使外来的文件系统看起来如同是主目录树的一部分，所有移动介质也需要挂载，挂载点通常

在/media 或/mnt下

访问前，介质必须被挂载

摘除时，介质必须被卸载

按照默认设置，非根用户只能挂载某些设备（光盘、DVD、软盘、USB等等）

2.6 磁盘常见工具

2.6.1 文件系统查看工具 df

2.6.2 目录统计工具 du

2.6.3 文件工具 dd

dd 命令：convert and copy a file

3 RAID

3.1 什么是RAID

"RAID"一词是由David Patterson, Garth A. Gibson, Randy Katz 于1987年在加州大学伯克利分校发明的。在1988年6月SIGMOD会议上提交的文"A Case for Redundant Arrays of Inexpensive Disks"

（中文翻译：廉价磁盘冗余阵列案例） 中提出。为了提升磁盘系统性能，他们提出用许多块廉价的磁盘做成一个磁盘组，在性能上超过昂贵的大型机上的单个大容量磁盘。

文中同时定义了RAID的5个级别：RAID 1、RAID 2、RAID 3、RAID 4、RAID 5，这些都被沿用至今。

旧称廉价磁盘冗余阵列 （Redundant Array of Inexpensive Disks）

现称独立硬盘冗余阵列（ Redundant Array of Independent Disks）

简称磁盘阵列

利用虚拟化存储技术把多个硬盘组合起来，成为一个或多个硬盘阵列组，目的为提升性能或数据冗余，或是两者同时提升。

RAID 层级不同，数据会以多种模式分散于各个硬盘，RAID 层级的命名会以 RAID 开头并带数字，例如：RAID 0、RAID 1、RAID 5、RAID 6、RAID 7、RAID 01、RAID 10、RAID 50、RAID 60。每种等级都有其理论上的优缺点，不同的等级在两个目标间获取平衡，分别是增加数据可靠性以及增加存储器（群）读写性能。

4 逻辑卷管理器（LVM）

4.1 LVM介绍

LVM: Logical Volume Manager 可以允许对卷进行方便操作的抽象层，包括重新设定文件系统的大小，

允许在多个物理设备间重新组织文件系统

LVM可以弹性的更改LVM的容量

实现过程

将设备指定为物理卷

用一个或者多个物理卷来创建一个卷组，物理卷是用固定大小的物理区域（Physical Extent，

PE）来定义的

在物理卷上创建的逻辑卷， 是由物理区域（PE）组成

可以在逻辑卷上创建文件系统并挂载

4.3 逻辑卷快照

4.3.1 逻辑卷快照原理

快照是特殊的逻辑卷，它是在生成快照时存在的逻辑卷的准确拷贝，对于需要备份或者复制的现有数据

临时拷贝以及其它操作来说，快照是最合适的选择，快照只有在它们和原来的逻辑卷不同时才会消耗空

间， 建立快照的卷大小小于等于原始逻辑卷，也可以使用lvextend扩展快照

逻辑卷管理器快照

快照就是将当时的系统信息记录下来，就好像照相一般，若将来有任何数据改动了，则原始数据会被移

动到快照区，没有改动的区域则由快照区和文件系统共享

逻辑卷快照工作原理

在生成快照时会分配给它一定的空间，但只有在原来的逻辑卷或者快照有所改变才会使用这些空间

当原来的逻辑卷中有所改变时，会将旧的数据复制到快照中

快照中只含有原来的逻辑卷中更改的数据或者自生成快照后的快照中更改的数据

第10天-网络协议和通信

内容概述

网络概念

OSI模型

网络设备

TCP/IP

IP地址规划

1 网络基础

1.1 网络概念

计算机网络是一组计算机或网络设备通过有形的线缆或无形的媒介如无线，连接起来，按照一定的规则，进行通信的集合。

网络功能和优点

数据和应用程序

资源

网络存储

备份设备

1.2 常见的网络物理组件

1.3 网络应用程序

1.3.1 各种网络应用

1.3.2 应用程序对网络的要求

不同类型的应用程序对网络的要求有区别

1.4 网络的特征

速度、成本、安全性、可靠性、可用性、可扩展性、拓扑

在计算机网络或者是网络运营商中，一般宽带速率的单位用bps(或b/s)表示；

bps是bits per second的缩写，表示比特/秒；即表示每秒钟传输多少位信息；

所以运营商所说的1M带宽的意思是 1Mbps（兆比特每秒，不是兆字节每秒）;

1.4.2 网络拓扑

拓扑结构一般是指由点和线排列成的几何图形

计算机网络的拓扑结构是指一个网络的通信链路和计算机结点相互连接构成的几何图形

拓扑分类

物理拓扑

物理拓扑描述了物理设备的布线方式。

网络的物理拓扑指的是设备和电缆的物理布局。必须选择与需要安装的电缆类型匹配的恰当的物理拓扑。

逻辑拓扑

逻辑拓扑描述了信息在网络中流动的方式。

网络的逻辑拓扑表示信号从网络一个点传输到另一个点的逻辑路径。也就是说，数据访问网络介质，并通过网络介质传输数据包的方式。

拓扑结构分类

拓扑结构图

各拓扑结构的特点

总线拓扑

总线拓扑通常也称为线性总线，总线拓扑中的所有设备均由一条线缆进行连接。

在总线拓扑中，一条线缆从一台设备延伸到另一设备，类似于城市中的公交线路。主线缆段的末端必须采用终结端，当信号到达线路或线缆末端时，终结端将吸收信号。如果不具备终结端，表示数据的电子信号将在线缆末端弹回，导致网络出错。

环形拓扑

在这种拓扑结构中，网络上的所有设备都以环的形式连接。环形拓扑不需要终止的开始端或结束端。数据的传输方式不同于总线拓扑。其中一种实施形式为：“令牌”沿环移动，并在每台设备处停止。如果一台设备希望传输数据，则会在令牌中添加数据和目标地址。随后，令牌继续沿环移动，直至最终找到目标设备，目标设备将从令牌中获取数据。这类方法的优势在于，数据包不会发生冲突。环形拓扑分为两种：单环和双环

单环拓扑

在单环拓扑中，网络上的所有设备共用一条线缆，数据单向传输。各设备等候轮到自己时再通过网络发送数据。但是，单环拓扑可能存在单一故障点的问题，一个故障就可能导致整个环形拓扑停止工作。

双环拓扑

在双环拓扑中，两个环形允许双向传输数据。这种设置能提供冗余（容错能力）。也就是说，如果一个环发生故障，数据仍可在另一个环上传输。

星形和扩展星形拓扑

星形拓扑是以太网LAN中最常见的物理拓扑。在星形网络扩展为包含连接主要网络设备的附加网络设备时，即称其为扩展星形拓扑。

星形拓扑

星形拓扑将表现为车轮轮辐的形式。它包含一个中央连接点，该点是集线器、交换机或路由器等设备，所有线缆段均汇集于这一点。网络上的所有设备均使用自己的线缆连接到中央设备。

扩展星形拓扑

扩展星形拓扑的一种常见部署方式就是分层设计，例如WAN、企业LAN或园区LAN。

纯粹的扩展星形拓扑的问题在于，如果中央节点发生故障，大部分网络就会被隔离。因此，大多数扩展星形拓扑都采用一组独立连接设备之外的冗余连接，以避免在设备发生故障时造成隔离。

网状和部分网状拓扑

网状拓扑提供了星形拓扑中设备间的冗余。网络可以是完全网状的，也可以是部分网状的，具体取决于所需冗余级别。这种类型的拓扑有助于提高网络的可用性和可靠性。但是，这会提高成本，也会制约可扩展性。

全网状拓扑

全网状拓扑将所有设备（节点）彼此相连，以实现冗余和容错能力。其实施成本高、难度大。但这种拓扑的容错能力最强，因为任何一条链路的故障都不会影响网络的连通性。

连通线路计算公式：n(n-1)/2。

部份网状拓扑在这种拓扑中，只有重要节点的设备与其它设备具有直接一一相连的线路，对于其它设备的数据传输，需要从其它节点中继，这种设计有一定的冗余和容错能力，也降低了全网状拓扑结构的成本和实施难度。

1.5 网络标准

1.5.1 网络标准和分层

旧模型：专有产品，由一个厂商控制应用程序和嵌入的软件

基于标准的模型：多厂商软件，分层方法

1.5 网络标准

1.5.1 网络标准和分层

旧模型：专有产品，由一个厂商控制应用程序和嵌入的软件

基于标准的模型：多厂商软件，分层方法

层次划分的必要性

计算机网络是由许多硬件、软件和协议交织起来的复杂系统。由于网络设计十分复杂，如何设计、组织

和实现计算机网络是一个挑战，必须要采用科学有效的方法。

层次划分的方法

网络的层应当具有相对独立的功能

梳理功能之间的关系，使一个功能可以为实现另一个功能提供必要的服务，从而形成系统的层次结

构

为提高系统的工作效率，相同或相近的功能仅在一个层次中实现，而且尽可能在较高的层次中实现

每一层只为相邻的上一层提供服务

层次划分的优点

各层之间相互独立，每一层只实现一种相对独立的功能，使问题复杂程度降低

灵活性好，各层内部的操作不会影响其他层

结构上可分割开，各层之间都可以采用最合适的技术来实现

易于实现和维护，因为整个系统已被分解成相对独立的子系统

能促进标准化工作，因为每一层的功能及其提供的服务都有了精确的说明

OSI 七层的记忆口诀

All People Seem To Need Data Process（物数网传会表应）

OSI 模型的七层结构

第7层 应用层

应用层（Application Layer）提供为应用软件而设的接口，以设置与另一应用软件之间的通信。例如:

HTTP、HTTPS、FTP、TELNET、SSH、SMTP、POP3、MySQL等

第6层 表示层

表示层（Presentation Layer）把数据转换为能与接收者的系统格式兼容并适合传输的格式

第5层 会话层

会话层（Session Layer）负责在数据传输中设置和维护电脑网络中两台电脑之间的通信连接。

第4层 传输层

传输层（Transport Layer）把传输表头（TH）加至数据以形成数据包。传输表头包含了所使用的协议

等发送信息。例如:传输控制协议（TCP）等。

第3层 网络层

网络层（Network Layer）决定数据的路径选择和转寄，将网络表头（NH）加至数据包，以形成报文。

网络表头包含了网络数据。例如:互联网协议（IP）等。

第2层 数据链接层

数据链路层（Data Link Layer）负责网络寻址、错误侦测和改错。当表头和表尾被加至数据包时，会形

成信息框（Data Frame）。数据链表头（DLH）是包含了物理地址和错误侦测及改错的方法。数据链表

尾（DLT）是一串指示数据包末端的字符串。例如以太网、无线局域网（Wi-Fi）和通用分组无线服务

（GPRS）等。分为两个子层：逻辑链路控制（logical link control，LLC）子层和介质访问控（Media

access control，MAC）子层。

第1层 物理层

物理层（Physical Layer）在局部局域网上传送数据帧（Data Frame），它负责管理电脑通信设备和网络媒体之间的互通。包括了针脚、电压、线缆规范、集线器、中继器、主机接口卡等。

1.5.3 网络的通信过程

1.5.3.1 数据封装和数据解封

1.5.3.2 协议数据单元 PDU

PDU: Protocol Data Unit，协议数据单元是指对等层次之间传递的数据单位

发送方和接收方各层之间的PDU

1.5.3.3 三种通讯模式

三种通讯方式的区别在于目标，而不在于源

1.5.3.4 冲突域和广播域

冲突域

两个网络设备同时发送数据，如果发生了冲突，则两个设备处于同一个冲突域，反之，则各自处于不同的冲突域

广播域

一个网络设备发送广播，另一个设备收到了，则两个设备处于同一个广播域，反之，则各自处于不同的广播域

1.5.3.5 三种通讯机制

2 局域网 Local Area Network

2.1 概述

2.1.1 特点

网络为一个单位所拥有

地理范围和站点数目均有限

2.1.2 主要功能

资源共享和数据通信

2.1.3 优点

能方便地共享昂贵的外部设备、主机以及软件、数据。从一个站点可以访问全网

便于系统的扩展和逐渐演变，各设备的位置可灵活的调整和改变

提高系统的可靠性、可用性和易用性

2.1.4 标准

局域网标准

无线网络标准

中国国家无线网络标准：WAPI

Wi-Fi：无线保真（Wireless Fidelity），是Wi-Fi联盟制造商的商标做为产品的品牌认证，是一个创建于IEEE 802.11标准的无线局域网技术，Wi-Fi联盟成立于1999年，当时的名称叫做Wireless Ethernet Compatibility Alliance（WECA）。在2002年10月，正式改名为Wi-Fi Alliance。

2.2 组网设备

常见组网设备包括路由器(Router)，交换机(Switch)，集线器(Hub)，中继器(Repeater)，线缆等

2.2.1 网络线缆和接口

常见的网络线缆包括双绞线，同轴线，光纤线等;

双绞线就是我们常说的网线，又分为屏蔽双绞线（Shielded Twisted Pair，STP）与非屏蔽双绞线

（Unshielded Twisted Pair，UTP）

2.2.2 网络适配器

网卡作用

进行串行/并行转换数据缓存

很短的等待时间

价格便宜

突破线缆的距离限制来扩展局域网段的距离

可用来连接不同的物理介质

缺点

采用中继器连接网络分支的数目要受具体的网络体系结构限制

中继器不能连接不同类型的网络

中继器没有隔离和过滤功能，无路由选择、交换、纠错／检错功能，一个分支出现故障可能会影响

到其他的每一个网络分支

使用中继器扩充网络距离是最简单最廉价的方法，但当负载增加时，网络性能急剧下降，所以只有

当网络负载很轻和网络时延要求不高的条件下才能使用

2.2.4 网桥和交换机

2.2.4.1 网桥 Bridge

网桥（Bridge）也叫桥接器，是连接两个局域网的一种存储/转发设备，根据MAC地址表对数据帧进行转发，可隔离碰撞域网桥将网络的多个网段在数据链路层连接起来，并对网络数据帧进行管

优点

缺点

过滤通信量

扩大了物理范围

提高了可靠性

可互连不同物理层、不同 MAC 子层和不同速率（如10 Mb/s 和 100 Mb/s 以太网）的局域网

存储转发增加了时延

在MAC 子层并没有流量控制功能

具有不同 MAC 子层的网段桥接在一起时时延更大

网桥只适合于用户数不太多(不超过几百个)和通信量不太大的局域网，否则有时还会因传播过多的

广播信息而产生网络拥塞。这就是所谓的广播风暴

2.2.4.2 交换机 switch

交换机是工作在OSI参考模型数据链路层的设备，外表和集线器相似

它通过判断数据帧的目的MAC地址，从而将数据帧从合适端口发送出去

交换机是通过MAC地址的学习和维护更新机制来实现数据帧的转发

2.2.5 路由器 router

路由：把一个数据包从一个设备发送到不同网络里的另一个设备上去。这些工作依靠路由器来完成。路由器只关心网络的状态和决定网络中的最佳路径。路由的实现依靠路由器中的路由表来完成。

路由器功能：

工作在网络层

分隔广播域和冲突域

选择路由表中到达目标最好的路径

维护和检查路由信息

连接广域网

2.2.6 对比与总结

2.3 以太网技术

2.3.1 概述

以太网（Ethernet）是一种产生较早且使用相当广泛的局域网，由美国Xerox（施乐）公司的Palo Alto研究中心（简称为PARC）于20世纪70年代初期开始研究并于1975年研制成功。

2.3.2 以太网MAC帧格式

2.3.3 MAC地址

在局域网中，硬件地址又称为物理地址或MAC地址（因为这种地址用在MAC帧中）

IEEE 802标准为局域网规定了一种48位的全球地址（一般都简称为“地址”)，是局域网中每一台计算机固化在网卡ROM中的地址

IEEE 的注册管理机构 RA 负责向厂家分配地址字段的前三个字节(即高位 24 位)

地址字段中的后三个字节(即低位 24 位)由厂家自行指派，称为扩展标识符，必须保证生产出的适配器没有重复地址

2.3.4 冲突检测的载波侦听多路访问 CSMA/CD

主要用在早期的Hub环境中，用来解决冲突域的问题，现在主流的交换机上不再使用

2.4 虚拟局域网 VLAN

2.4.1 VLAN 原理

此技术可以用交换机来进行网络隔离，但要求交换机具有网络管理功能。

虚拟局域网 VLAN 是由一些局域网网段构成的与物理位置无关的逻辑组这些网段具有某些共同的需求。

每一个 VLAN 的帧都有一个明确的标识符，指明发送这个帧的工作站是属于哪一个 VLAN。虚拟局域网

其实只是局域网给用户提供的一种服务，而并不是一种新型局域网

优点

1. 更有效地共享网络资源。如果用交换机构成较大的局域网，大量的广播报文就会使网络性能下降。

VLAN能将广播报文限制在本VLAN范围内，从而提升了网络的效能

2. 简化网络管理。当结点物理位置发生变化时，如跨越多个局域网，通过逻辑上配置VLAN即可形成网络设备的逻辑组，无需重新布线和改变IP地址等。这些逻辑组可以跨越一个或多个二层交换机

3. 提高网络的数据安全性。一个VLAN中的结点接收不到另一个VLAN中其他结点的帧

虚拟局域网的实现技术

1. 基于端口的VLAN

2. 基于MAC地址的VLAN

3. 基于协议的VLAN

4. 基于网络地址的VLAN

2.4.2 IEEE 802.1Q 帧结构

2.5 分层的网络架构

3 TCP/IP 协议栈

3.1 TCP/IP 标准

3.1.1 TCP/IP 介绍

Transmission Control Protocol/Internet Protocol 传输控制协议/因特网互联协议

TCP/IP是一个Protocol Stack，包括TCP、IP、UDP、ICMP、RIP、TELNET、FTP、SMTP、ARP等许多协议

最早发源于1969年美国国防部（缩写为DoD）的因特网的前身ARPA网络项目，1983年1月1日，TCP/IP

取代了旧的网络控制协议NCP，成为今天的互联网和局域网的基石和标准，由互联网工程任务组负责维护

3.1.2 TCP/IP 分层

共定义了四层，和OSI参考模型的分层有对应关系

RFC文档:

https://www.ietf/rfc/rfc1122#section-1.3.3

RFC官方分为四层:

Application Layer

Transport Layer

Internet Layer

Link Layer(media-access)

TCP/IP 应用层

3.1.3 TCP/IP 通信过程

3.1.4 TCP/IP和OSI模型的比较

相同点

两者都是以协议栈的概念为基础

协议栈中的协议彼此相互独立

下层对上层提供服务

不同点

OSI是先有模型；TCP/IP是先有协议，后有模型

OSI是国际标准，适用于各种协议栈；TCP/IP实际标准，只适用于TCP/IP网络

层次数量不同

3.2 transport 层

TCP和UDP对比

3.2.1 TCP

TCP：传输控制制协议 ( Transmission Control Protocol )

3.2.1.1 TCP特性

工作在传输层

面向连接协议

全双工协议

半关闭

将数据打包成段，排序

确认机制

数据恢复，重传

错误检查

流量控制，滑动窗口

拥塞控制，慢启动和拥塞避免算法

3.2.1.4 三次握手和四次挥手

TCP三次握手

seq 序号; ack 确认号

TCP四次挥手

MSL :Maximum Segment Lifetime

查看 MSL

[root@ubuntu2204 ~]# sysctl net.ipv4.tcp_fin_timeout

net.ipv4.tcp_fin_timeout = 60

[root@ubuntu2204 ~]# cat /proc/sys/net/ipv4/tcp_fin_timeout

60

3.2.1.6 sync半连接和accept全连接队列

半连接：还没有完成3次握手的连接

全连接：己经完成三次握手，但没有被应用层提走的连接

注意，监听的 Socket 和真正用来传数据的 Socket 是两个：

一个叫作监听 Socket；

一个叫作已连接 Socket

C/S 网络通信过程

3.2.1.5 有限状态机 FSM

3.2.1.7 TCP超时重传

异常网络状况下（开始出现超时或丢包），TCP控制数据传输以保证其承诺的可靠服务TCP服务必须能够重传超时时间内未收到确认的TCP报文段。为此，TCP模块为每个TCP报文段都维护一个重传定时器，该定时器在TCP报文段第一次被发送时启动。如果超时时间内未收到接收方的应答，TCP模块将重传TCP报文段并重置定时器。至于下次重传的超时时间如何选择，以及最多执行多少次重传，就是TCP的重传策略

3.2.1.8 拥塞控制

网络中的带宽、交换结点中的缓存和处理机等，都是网络的资源。在某段时间，若对网络中某一资源的需求超过了该资源所能提供的可承受的能力，网络的性能就会变坏。此情况称为拥塞

TCP为提高网络利用率，降低丢包率，并保证网络资源对每条数据流的公平性。即所谓的拥塞控制TCP拥塞控制的标准文档是RFC 5681，其中详细介绍了拥塞控制的四个部分：慢启动（slow start）、拥塞避免（congestion avoidance）、快速重传（fast retransmit）和快速恢复（fast recovery）拥塞控制算法在Linux下有多种实现，比如reno算法、vegas算法和cubic算法等。它们或者部分或者全部实现了上述四个部分

3.2.2 UDP

UPD：用户数据报协议 ( User Datagram Protocol )

3.2.2.1 UDP特性

工作在传输层

提供不可靠的网络访问

非面向连接协议

有限的错误检查

传输性能高

无数据恢复特性

3.3 Internet层

3.3.2 Address Resolution Protocol

3.3.2.1 ARP

ARP地址解析协议由互联网工程任务组(IETF)在1982年11月发布的RFC 826中描述制定，是根据IP地址获取物理地址的一个TCP/IP协议。

主机发送信息时将包含目标IP地址的ARP请求广播到局域网络上的所有主机，并接收返回消息，以此确定目标的物理地址；收到返回消息后将该IP地址和物理地址存入本机ARP缓存中并保留一定时间，下次请求时直接查询ARP缓存以节约资源。地址解析协议是建立在网络中各个主机互相信任的基础上的，局域网络上的主机可以自主发送ARP应答消息，其他主机收到应答报文时不会检测该报文的真实性就会将其记入本机ARP缓存。

3.3.3 Reverse Address Resolution Protocol

RARP 反向ARP，即将MAC转换成IP

3.3.4 internet 协议

3.3.4.1 Internet 协议特征

运行于 OSI 网络层

面向无连接的协议

独立处理数据包

分层编址

尽力而为传输

无数据恢复功能

3.4 主机到主机的包传递完整过程

3.5 IP地址

3.5.1 IP地址组成

它们可唯一标识 IP 网络中的每台设备 ，每台主机（计算机、网络设备、外围设备）必须具有唯一的地址

mac 属于物理地址，mac 地址不可变，一出厂就写死，标识惟一设备

ip 属于逻辑地址，逻辑地址可修改，人为赋予，可以修改，使用灵活，便于管理

ipv4 32位二进制，以十进制显示

ipv6 128位二进制，以十六进制显示

3.5.2 IP地址分类

各类IP特点

3.5.3 公共和私有IP地址

公共IP地址：互联网上设备拥有的唯一地址

私有IP地址：不直接用于互联网，通常在局域网中使用

3.5.4 特殊地址

3.5.5 保留地址

在一个IP地址中，如果主机ID全为0，或主机ID全为1，则该地址是保留地址

如在B类127.16 网段中，172.16.0.0 和 172.16.255.255 为保留地址

3.5.6 子网掩码

CIDR：无类域间路由，目前的网络已不再按A，B，C类划分网段，可以任意指定网段的范围

CIDR 无类域间路由表示法：IP/网络ID位数，如：172.16.0.100/16

netmask子网掩码：32位或128位（IPv6）的数字，和IP成对使用，用来确认IP地址中的网络ID和主机ID，对应网络ID的位为1，对应主机ID的位为0,范例:255.255.255.0 ，表现为连续的高位为1，连续的低位为0

范例：

IP地址

172.16.0.0

子网掩码

11111111.11111111.00000000.00000000

255.255.0.0

子网掩码十进制表示

子网掩码的八位

相关公式：

一个网络的最多的主机数 ＝2 ^ 主机ID位数 - 2

网络（段）数 = 2 ^ 网络ID中可变的位数

网络ID = IP 与 netmask

用不同命令查看ip和netmask

[root@ubuntu2204 ~]# ifconfig eth0

不同ip类型对应netmask

判断对方主机是否在同一个网段：

用自已的子网掩码分别和自已的IP及对方的IP相与，比较结果，相同则同一网络，不同则不同网段

#10.0.0.100/24, 10.0.1.100/24

#上述两个IP地址不在同一个网段，netmask都是24，则表示ip前三段是网络ID，两个网络ID不一样，所以

不是同一个网段

#10.0.0.100/16, 10.0.1.100/16

#上述两个IP地址在同一个网段，netmask都是16，则表示ip前两段是网络ID，两个网络ID一样，所以是同一个网段

#10.0.0.100/24, 10.0.1.100/16

#上述两个IP是否在同一个网段，要分情况

#10.0.0.100/24 ----> 10.0.1.100/16 时

#10.0.0.100/24 = 10.0.0.100/255.255.255.0

#00001010.00000000.00000000.01100100  IP 

#11111111.11111111.11111111.00000000   netmask

#00001010.00000000.00000000.00000000  网络ID 10.0.0.0

#此处也要和前面的netmask与运算，而不是自己的

#10.0.1.100/24 = 10.0.1.100/255.255.255.0

#00001010.00000000.00000001.01100100  IP

#11111111.11111111.11111111.00000000 netmask

#00001010.00000000.00000001.00000000 网络ID 10.0.1.0

#结论：10.0.0.0 != 10.0.1.0，所以两者不在同一个网段

#10.0.1.100/16 ----> 10.0.0.100/24 时

#结论，不用算，是同一个网段

#IP A与IP B通信时，都是用IP A的netmask去算IP B的netmask，因为在通信前，IP A不知道IP B的netmask值，只能用自己IP与运算

3.5.7 划分子网

划分子网：将一个大的网络（主机数多）划分成多个小的网络（主机数少），主机ID位数变少，网络ID位数变多，网络ID位向主机ID位借n位,将划分2^n个子网

3.5.9 跨网络通信

跨网络通信：路由, 选择路径

路由分类：

主机路由

网络路由

默认路由

优先级：精度越高，优先级越高

3.5.10 动态主机配置协议 DHCP

第11天-网络属性及相关配置工具

内容概述

统一网卡名称

网卡配置

常用网络管理命令

软路由

软交换

多网卡绑定

网络测试工具

1 网络配置

1.1 NAT和仅主机

VMware 中的网络模式

1.2 统一网卡名称

CentOS 6之前，网络接口使用连续号码命名：eth0、eth1等，但是，如果再新增硬件设备，也有可能会

被识别成 eth0，eth1 等；

CentOS 7开始，改变了网卡设备命名规则，基于硬件生成网卡名，例如 ens33，ens160 等，可以保证

网卡名称稳定且唯一；但是在批量环境中，没办法统一；

出于批量管理，以及脚本的通用性等方面的考虑；

在某些情况下，需要将新的网卡命名规则改成传统的命名方式；即将 ens33，ens160等名称改为eth0，eth1 这样；

1.3 网络配置

将主机接入到网络，需要进行网络配置，每个网卡，都需要有对应的配置文件，才能永久生效

1.3.1 网络配置的两种方式

静态指定：

static，写在配置文件中，不会根据环境的改变而发生变化

动态分配：

DHCP，Dynamic Host Configuration Protocol，根据动态主机配置协议生成相应的配置

1.4 网络配置命令

1.4.1 主机名

hostname

hostname是临时有效，重启后消失

hostnamectl

写配置文件，永久有效

1.4.2 ifconfig 命令

该命令来自于net-tools包，建议使用 ip 代替

1.4.3 route 命令

该命令来自于net-tools包，建议使用 ip 代替

用主机实现软路由

用主机模拟路由器，打通多个网段，实现跨网段连通

拓扑图

常见路由协议算法

由上可知，从一个路由器要到达某个网段或主机，是通过路由接力的方式来实现的，网络一段段传输，

经由不同的路由器，最终到达目标网段或主机，而要去到某个地址，则路由器上必须要存有到达该地址

的路由表，根据实际情况，网络上有无数主机，一个路由器上不可能存有到达所有网段或主机的路由

表，这种情况也无法维护；

现实中的路由器上的路由表，都是由路由算法自动维护

常用的算法有 OSPF，RIP，MPLS，BGP等

1.4.5 netstat 命令

来自于net-tools包，建议使用 ss 代替

面试题：如何查看是哪个程序在监听端口

[root@ubuntu ~]# netstat -tunlp | grep ":22"

[root@ubuntu ~]# ss -ntulp | grep ":22"

[root@ubuntu ~]# lsof -i:22

1.4.7.2 管理路由

ip route 用法

1.4.8 ss 命令

来自于iproute包，代替netstat，netstat 通过遍历 /proc来获取 socket信息，ss 使用 netlink与内核

tcp_diag 模块通信获取 socket 信息

1.4.9 网络配置工具 nmcli

NetworkManager

NetworkManager 是2004年由RedHat启动的项目，目的是让用户能更轻松的管理Linux中的网络，

1.5 网络配置文件

1.5.1 网络基本配置文件

CentOS 系列

IP、MASK、GW、DNS相关的配置文件

/etc/sysconfig/network-scripts/ifcfg-IFACE

常用配置

1.5.3 本地主机名和IP地址的映射

优先于使用DNS前检查

getent hosts 查看/etc/hosts 内容

/etc/hosts

1.5.4 DNS域名解析

DNS 负责将域名转换成IP地址

#该文件内容根据网卡设备自动生成

/etc/resolv.conf

nameserver DNS_SERVER_IP1

nameserver DNS_SERVER_IP2

nameserver DNS_SERVER_IP3

search DOMAIN

1.6 网卡别名

将多个IP地址绑定到一个MAC上

每个IP绑定到独立逻辑网卡，即网络别名，命名格式： ethX:Y，如：eth0:1 、eth0:2、eth0:3

1.7 多网卡 bonding

将多块网卡绑定同一IP地址对外提供服务，可以实现高可用或者负载均衡。直接给两块网卡设置同一IP地址是不可以的。通过 bonding，虚拟一块网卡对外提供连接，物理网卡的被修改为相同的MAC地址

1.7.1 Bonding 聚合链路工作模式

1.8 网络组 Network Teaming

1.8.1 网络组工作模式

网络组：是将多个网卡聚合在一起方法，从而实现冗错和提高吞吐量

网络组不同于旧版中bonding技术，提供更好的性能和扩展性

常用工作模式

broadcast

roundrobin

random

activebackup

loadbalance

lacp (implements the 802.3ad Link Aggregation Control Protocol)

1.8.2 网络组实现

先添加两块仅主机模式的网卡

1.9 网桥(交换机)

1.9.1 桥接原理

此处的网桥是逻辑上的网桥，说的是网络上的一个桥梁，打通网路，而不是硬件设备。

桥接：把一台机器上的若干个网络接口“连接”起来。其结果是，其中一个网口收到的报文会被复制给其他网口并发送出去。以使得网口之间的报文能够互相转发。网桥就是这样一个设备，它有若干个网口，并且这些网口是桥接起来的。与网桥相连的主机就能通过交换机的报文转发而互相通信。

2 网络测试诊断工具

第12天-shel脚本编程-进程

第13天-进程-系统性能和计划任务

内容概述

进程相关概念

进程工具

系统性能相关工具

计划任务

1 进程和内存管理

1.1 什么是进程

进程是运行中的程序

Process: 运行中的程序的一个副本，是被载入内存的一个指令集合，是资源分配的单位

进程ID（Process ID，PID）号码被用来标记各个进程

UID、GID、和SELinux语境决定对文件系统的存取和访问权限

通常从执行进程的用户来继承

存在生命周期

进程创建：

init：第一个进程，从 CentOS7 以后为 systemd

进程：都由其父进程创建，fork()，父子关系，CoW：Copy On Write (读时共享，写时复制)

每个进程都有自己的资源，由操作系统分配，内存，栈，文件描述符

进程，线程

进程

进程是一个具有一定独立功能的程序在一个数据集上的一次动态执行的过程，是操作系统进行资源分配和调度的一个独立单位，是应用程序运行的载体。进程是一种抽象的概念，从来没有统一的标准定义。

进程的组成：进程一般由程序、数据集合和进程控制块三部分组成。

程序用于描述进程要完成的功能，是控制进程执行的指令集；

数据集合是程序在执行时所需要的数据和工作区；

程序控制块(Program Control Block，简称PCB)，包含进程的描述信息和控制信息，是进程存在的唯一标志。

进程具有的特征：

动态性：进程是程序的一次执行过程，是临时的，有生命期的，是动态产生，动态消亡的；

并发性：任何进程都可以同其他进程一起并发执行；

独立性：进程是系统进行资源分配和调度的一个独立单位；

结构性：进程由程序、数据和进程控制块三部分组成。

线程

在早期的操作系统中并没有线程的概念，进程是能拥有资源和独立运行的最小单位，也是程序执行的最小单位。任务调度采用的是时间片轮转的抢占式调度方式，而进程是任务调度的最小单位，每个进程有各自独立的一块内存，使得各个进程之间内存地址相互隔离。

后来，随着计算机的发展，对CPU的要求越来越高，进程之间的切换开销较大，已经无法满足越来越复杂的程序的要求了。于是就发明了线程。

线程是程序执行中一个单一的顺序控制流程，是程序执行流的最小单元，是处理器调度和分派的基本单位。一个进程可以有一个或多个线程，各个线程之间共享程序的内存空间(也就是所在进程的内存空间)。

一个标准的线程由线程ID、当前指令指针(PC)、寄存器和堆栈组成。而进程由内存空间(代码、数据、进程空间、打开的文件)和一个或多个线程组成。

进程与线程的区别

进程是操作系统分配资源的最小单位；

线程是程序执行的CPU调度的最小单位；

一个进程由一个或多个线程组成，线程是一个进程中代码的不同执行路线；

进程之间相互独立，但同一进程下的各个线程之间共享程序的内存空间(包括代码段、数据集、堆等)及一些进程级的资源(如打开文件和信号)，某进程内的线程在其它进程不可见；

调度和切换：线程上下文切换比进程上下文切换要快得多。

面试题: 查看进程中的线程

grep -i threads /proc/PID/status

查看进程的二进制文件

ll /proc/PID/exe

查看进程打开的文件

/proc/PID/fd/

并行和并发

1.3.4 进程使用内存问题

1.3.4.1 内存泄漏：Memory Leak

指程序中用malloc或new申请了一块内存，但是没有用free或delete将内存释放，导致这块内存一直处于占用状态。

1.3.4.2 内存溢出：Memory Overflow

指程序申请了10M的空间，但是在这个空间写入10M以上字节的数据，就是溢出。

1.3.4.3 内存不足：OOM

OOM 即 Out Of Memory，“内存用完了”，这种情况在java程序中比较常见。系统会选一个进程将之杀死，在日志messages中看到类似下面的提示

Jul 10 10:20:30 kernel: Out of memory: Kill process 9527 (java) score 88 or sacrifice child

当JVM因为没有足够的内存来为对象分配空间并且垃圾回收器也已经没有空间可回收时，就会抛出这个error，因为这个问题已经严重到不足以被应用处理）。

原因：

给应用分配内存太少：比如虚拟机本身可使用的内存（一般通过启动时的VM参数指定）太少。

应用用的太多，并且用完没释放，浪费了。此时就会造成内存泄露或者内存溢出。

使用的解决办法：

1. 限制java进程的max heap，并且降低java程序的worker数量，从而降低内存使用

2. 给系统增加swap空间

1.4 进程状态

进程的基本状态

创建状态：进程在创建时需要申请一个空白PCB(process control block进程控制块)，向其中填写控制和管理进程的信息，完成资源分配。如果创建工作无法完成，比如资源无法满足，就无法被调度运行，把此时进程所处状态称为创建状态；

就绪状态：进程已准备好，已分配到所需资源，只要分配到CPU就能够立即运行；

执行状态：进程处于就绪状态被调度后，进程进入执行状态；

阻塞状态：正在执行的进程由于某些事件（I/O请求，申请缓存区失败）而暂时无法运行，进程受到阻塞。在满足请求时进入就绪状态等待系统调用；

终止状态：进程结束，或出现错误，或被系统终止，进入终止状态。无法再执行；

状态之间转换六种情况

运行——>就绪：1：主要是进程占用CPU的时间过长，而系统分配给该进程占用CPU的时间是有限的；

2：在采用抢先式优先级调度算法的系统中，当有更高优先级的进程要运行时，该进程就被迫让出CPU，该进程便由执行状态转变为就绪状态；

就绪——>运行：运行的进程的时间片用完，调度就转到就绪队列中选择合适的进程分配CPU；

运行——>阻塞：正在执行的进程因发生某等待事件而无法执行，则进程由执行状态变为阻塞状态，如发生了I/O请求；

阻塞——>就绪：进程所等待的事件已经发生，就进入就绪队列；

以下两种状态是不可能发生的：

阻塞——>运行：即使给阻塞进程分配CPU，也无法执行，操作系统在进行调度时不会从阻塞队列进行挑选，而是从就绪队列中选取；

就绪——>阻塞：就绪态根本就没有执行，谈不上进入阻塞态；

进程更多的状态：

运行态：running

就绪态：ready

睡眠态：分为两种，可中断：interruptable，不可中断：uninterruptable

停止态：stopped，暂停于内存，但不会被调度，除非手动启动

僵死态：zombie，僵尸态，结束进程，父进程结束前，子进程不关闭，杀死父进程可以关闭僵死

态的子进程

1.5 LRU 算法

LRU：Least Recently Used 近期最少使用算法（喜新厌旧），释放内存

1.6 IPC 进程间通信

IPC: Inter Process Communication

同一主机：

不同主机：socket=IP和端口号

1.7 进程优先级

linux2.6内核将任务优先级进行了一个划分，实时优先级范围是0到MAX_RT_PRIO-1(0-99)，而普通进程的静态优先级范围是从MAX_RT_PRIO到MAX_PRIO-1(100-139)

1.8 进程分类

操作系统分类：

协作式多任务：早期 windows 系统使用，即一个任务得到了 CPU 时间，除非它自己放弃使用CPU，否则将完全霸占 CPU ，所以任务之间需要协作——使用一段时间的 CPU ，主动放弃使用。

抢占式多任务：Linux内核，CPU的总控制权在操作系统手中，操作系统会轮流询问每一个任务是

否需要使用 CPU ，需要使用的话就让它用，不过在一定时间后，操作系统会剥夺当前任务的 CPU

使用权，把它排在询问队列的最后，再去询问下一个任务。

进程类型：

守护进程: daemon，在系统引导过程中启动的进程，和终端无关进程

前台进程：跟终端相关，通过终端启动的进程

注意：两者可相互转化

按进程资源使用的分类：

CPU-Bound：CPU 密集型，非交互

IO-Bound：IO 密集型，交互

2 进程管理和性能相关工具

Linux系统状态的查看及管理工具：

pstree, ps, pidof, pgrep, top, htop, glance, pmap, vmstat, dstat, kill, pkill,

job, bg, fg, nohup

2.1 进程树 pstree

pstree 可以用来显示进程的父子关系，以树形结构显示

2.2 进程信息 ps

ps: process state，可以查看进程当前状态的快照，默认显示当前终端中的进程，Linux系统各进程的相关信息均保存在/proc/PID目录下的各文件中

2.3 查看进程信息 prtstat

可以显示进程信息，来自于psmisc包

此命令显的数据，都来自于 /proc/PID/ 目录，此命令加以整理，以格式化形式显示

2.4 设置和调整进程优先级

进程优先级调整

静态优先级：100-139

进程默认启动时的nice值为0，优先级为120

只有根用户才能降低nice值（提高优先性）

nice命令

以指定的优先级来启动进程

2.5 搜索进程

进程搜索的常用命名：

ps options | grep 'pattern'

2.5.1 pgrep

2.5.2 pidof

2.6 负载查询 uptime

2.7 显示CPU相关统计 mpstat

2.8 查看进程实时状态 top 和 htop

2.9 内存空间 free

free 可以显示内存空间使用状态

2.10 进程对应的内存映射 pmap

查看进程的内存占用情况

2.11 虚拟内存信息 vmstat

虚拟内存

虚拟内存是操作系统提供的一种内存管理技术，操作系统会为每个进程分配一套独立的，连续的，私有的内存空间，让每个程序都以为自己独享所有主存的错觉，这样做的目的是方便内存管理。

程序所使用的内存是虚拟内存(Virtual Memory)

CPU使用的内存是物理内存(Physical Memory) MMU LTB

虚拟内存地址和物理内存地址之间的映射和转换由CPU中的内存管理单元(MMU)进行管理​​​​​​​

2.12 统计CPU和设备IO信息 iostat

iostat 可以提供更丰富的IO性能状态数

2.13 监视磁盘I/O iotop

iotop命令是一个用来监视磁盘I/O使用状况的top类工具iotop具有与top相似的UI，其中包括PID、用

户、I/O、进程等相关信息，可查看每个进程是如何使用IO

2.14 显示网络带宽使用情况 iftop

2.15 查看网络实时吞吐量 nload

2.16 查看进程网络带宽的使用情况 nethogs

2.17 网络监视工具iptraf-ng

来自于iptraf-ng包，可以进网络进行监控，对终端窗口大小有要求

2.18 系统资源统计 dstat

dstat由pcp-system-tools包提供，但安装dstat包即可, 可用于代替 vmstat，iostat功能

2.19 综合监控工具 glances

CentOS 系统通过 epel 源安装，glances 可查看当前主机相关信息，也可运行于C/S模式查看远程主机信息

2.20 查看进程打开文件 lsof

lsof：list open files，查看当前系统文件的工具。在linux环境下，一切皆文件，用户通过文件不仅可以访问常规数据，还可以访问网络连接和硬件如传输控制协议 (TCP) 和用户数据报协议 (UDP)套接字等，

系统在后台都为该应用程序分配了一个文件描述符

2.22 CentOS 8 新特性 cockpit

由cockpit包提供,当前Ubuntu和CentOS7也支持此工具

Cockpit 是CentOS 8 取入的新特性，是一个基于 Web 界面的应用，它提供了对系统的图形化管理

监控系统活动（CPU、内存、磁盘 IO 和网络流量）

查看系统日志条目

查看磁盘分区的容量

查看网络活动（发送和接收）

查看用户帐户

检查系统服务的状态

提取已安装应用的信息

查看和安装可用更新（如果以 root 身份登录）并在需要时重新启动系统

打开并使用终端窗口

2.23 信号发送 kill

kill：内部命令，可用来向进程发送控制信号，以实现对进程管理，每个信号对应一个数字，信号名称以SIG开头（可省略），不区分大小写

2.24 作业管理

Linux的作业控制

前台作业：通过终端启动，且启动后一直占据终端

后台作业：可通过终端启动，但启动后即转入后台运行（释放终端）

让作业运行于后台

运行中的作业： Ctrl+z

尚未启动的作业： COMMAND &

后台作业虽然被送往后台运行，但其依然与终端相关；退出终端，将关闭后台作业。如果希望送往后台后，剥离与终端的关系

nohup COMMAND &>/dev/null &

screen；COMMAND

tmux；COMMAND

Ctrl+z 使占据终端的进程暂停，让出终端

2.25 并行运行

利用后台执行，实现并行功能，即同时运行多个进程，提高效率

3 计划任务

通过任务计划，可以让系统自动的按时间或周期性任务执行任务

计划任务时间表示法：

面试题：11月每天的6-12点之间每隔2小时执行/app/bin/test.sh

#在6,8,10,12点整共4次分别执行test.sh

0 6-12/2 * 11 * /app/bin/test.sh

第14天-Linux启动流程和内核管理及AWK

内容概述

CentOS 6 之前版本的启动流程

服务管理

Grub管理

启动排错

CentOS 7 以后版本启动流程

Unit 介绍

服务管理和查看

启动排错

破解口令

修复Grub2

内核优化

1 CentOS 6 的启动管理

1. 加载BIOS的硬件信息，获取第一个启动设备

2. 读取第一个启动设备MBR的引导加载程序(grub)的启动信息

3. 加载核心操作系统的核心信息，核心开始解压缩，并尝试驱动所有的硬件设备

4. 核心执行init程序，并获取默认的运行信息

5. init程序执行/etc/rc.d/rc.sysinit文件，重新挂载根文件系统

6. 启动核心的外挂模块

7. init执行运行的各个批处理文件(scripts)

8. init执行/etc/rc.d/rc.local

9. 执行/bin/login程序，等待用户登录

10. 登录之后开始以Shell控制主机

1.1 硬件启动POST

1.2 启动加载器 bootloader

init进程

init进程是一个由内核启动的用户级进程。

/sbin/init 程序的功能之一就是要挂载整个根文件系统， /sbin/init 这个程序的可执行文件，它自

己也是在根文件系统里面，

也就是说，得先运行 /sbin/init 程序才有文件目录结构树，但是得先有目录结构，才能通过

/sbin/init 这个路径找到可执行文件

1.2.3 grub 管理

启动界面的grub管理

该界面的默认项由 /boot/grub/grub.conf 中的配置项决定，用户可在此界面输入命令进行操作。

1.3 加载 kernel

1.4 init初始化

/sbin/init 程序是内核启动之后的第一个进程，也是进程树中的树根，所以其进程ID始终为1 。

1.4.1 运行级别

运行级别：为系统运行或维护等目的而设定；0-6：7个级别，一般使用3, 5做为默认级别

1.4.2 初始化脚本 sysinit

系统初始化脚本功能

1. 设置主机名

2. 设置欢迎信息

3. 激活udev和selinux

4. 挂载/etc/fstab文件中定义的文件系统

5. 检测根文件系统，并以读写方式重新挂载根文件系统

6. 设置系统时钟

7. 激活swap设备

8. 根据/etc/sysctl.conf文件设置内核参数

9. 激活lvm及software raid设备

1.4.5 开机启动文件 rc.local

正常级别下，最后启动一个服务S99local没有链接至/etc/rc.d/init.d一个服务脚本，而是指向

了/etc/rc.d/rc.local脚本

不便或不需写为服务脚本放置于/etc/rc.d/init.d/目录，且又想开机时自动运行的命令，可直接放置

于/etc/rc.d/rc.local文件中

/etc/rc.d/rc.local在指定运行级别脚本后运行

注意：默认Ubuntu 无 /etc/rc.local 文件，需要手动创建并添加可执行权限，首行必须有shebang机制

1.5 CentOS 6 启动过程总结

2 systemd和启动流程

2.1 systemd 特性

Systemd：从 CentOS 7 版本之后开始用 systemd 实现init进程，系统启动和服务器守护进程管理器，负责在系统启动或运行时，激活系统资源，服务器进程和其它进程​​​​​​​

Systemd 新特性

系统引导时实现服务并行启动

按需启动守护进程

自动化的服务依赖关系管理

同时采用socket式与D-Bus总线式激活服务

socket与服务程序分离

向后兼容sysv init脚本

使用systemctl 命令管理，systemctl命令固定不变，不可扩展，非由systemd启动的服务，

systemctl无法与之通信和控制

系统状态快照

systemd 中的 unit

unit表示不同类型的systemd对象，通过配置文件进行标识和配置；

文件中主要包含了系统服务、监听socket、保存的系统快照以及其它与init相关的信息

查看Unit类型

#查看unit类型

[root@ubuntu ~]# systemctl -t help

2.2 service 系统服务管理

2.3 service unit 文件格式

2.4 运行级别

centOS7开始，使用 target 来定义运行级别

查看所有target

[root@ubuntu ~]# ll /usr/lib/systemd/system/*target

......

......

[root@ubuntu ~]# systemctl list-unit-files --type target --all

......

......

centOS7之后的 runlevel 不再定义在 /etc/inittab 文件中，且 ubuntu 中没有该文件

[root@rocky86 ~]# cat /etc/inittab

# inittab is no longer used.

2.5 修改启动参数

#无限重启，这样设置后将无法进系统

[root@rocky86 ~]# systemctl set-default reboot.target

Removed /etc/systemd/system/default.target.

Created symlink /etc/systemd/system/default.target →

/usr/lib/systemd/system/reboot.target.

2.6 CentOS 7之后版本引导顺序

1. UEFi或BIOS初始化，运行POST开机自检