搬砖常用的 shell 片段记录
偶然间看到了 Z.S.K.’s Records 大佬的一篇博客 《有趣的 Shell Snippet》,突发奇想也准备写篇文章来记录一下常用的一些 shell 代码。
Bash
{} 展开
$ echo {hack,build}
hack build
变量替换
http://cn.linux.vbird.org/linux_basic/0320bash_2.php#variable_other
我们将这部份作个总结说明一下:
变量配置方式 说明 ${变量#关键词} ${变量##关键词} 若变量内容从头开始的数据符合『关键词』,则将符合的最短数据删除 若变量内容从头开始的数据符合『关键词』,则将符合的最长数据删除 ${变量%关键词} ${变量 %% 关键词} 若变量内容从尾向前的数据符合『关键词』,则将符合的最短数据删除 若变量内容从尾向前的数据符合『关键词』,则将符合的最长数据删除 ${变量/旧字符串/新字符串} ${变量//旧字符串/新字符串} 若变量内容符合『旧字符串』则『第一个旧字符串会被新字符串取代』 若变量内容符合『旧字符串』则『全部的旧字符串会被新字符串取代』
$ image="library/nginx:1.19"
# 比如要获取镜像的 tag 常用的是 echo 然后 awk/cut 的方式
$ echo ${image} | awk -F ':' '{print $2}' 方式
# 可以直接使用 bash 内置的变量替换功能,截取特定字符串
$ image_name=${image%%:*}
$ image_tag=${image##*:}
$ image_repo=${image%%/*}
变量配置方式
变量配置方式 | str 没有配置 | str 为空字符串 | str 已配置非为空字符串 |
---|---|---|---|
var=${str-expr} | var=expr | var= | var=$str |
var=${str:-expr} | var=expr | var=expr | var=$str |
var=${str+expr} | var= | var=expr | var=expr |
var=${str:+expr} | var= | var= | var=expr |
var=${str=expr} | str=expr var=expr | str 不变 var= | str 不变 var=$str |
var=${str:=expr} | str=expr var=expr | str=expr var=expr | str 不变 var=$str |
var=${str?expr} | expr 输出至 stderr | var= | var=$str |
var=${str:?expr} | expr 输出至 stderr | expr 输出至 stderr | var=$str |
判断字符串中是否包含子串
# 通过 ** 匹配
if [[ "${var}" == *"${sub_string}"* ]]; then
printf '%s\n' "sub_string is in var."
fi
# 通过 bash 内置的 =~ 判断
if [[ "${sub_string}" =~ "${var}" ]]; then
printf '%s\n' "sub_string is in var."
fi
install
安装 docker-ce
$ curl -fsSL https://get.docker.com -o get-docker.sh
$ bash get-docker.sh --mirror Aliyun
另外可通过传入 DRY_RUN 的参数来输出际会执行的内容,这个输出的内容可以用来配置 docker-ce 的源,而不安装 docker。
$ DRY_RUN=1 sh ./get-docker.sh --mirror Aliyun > install.sh
# Executing docker install script, commit: 7cae5f8b0decc17d6571f9f52eb840fbc13b2737
apt-get update -qq >/dev/null
DEBIAN_FRONTEND=noninteractive apt-get install -y -qq apt-transport-https ca-certificates curl >/dev/null
curl -fsSL "https://mirrors.aliyun.com/docker-ce/linux/debian/gpg" | apt-key add -qq - >/dev/null
echo "deb [arch=amd64] https://mirrors.aliyun.com/docker-ce/linux/debian buster stable" > /etc/apt/sources.list.d/docker.list
apt-get update -qq >/dev/null
apt-get install -y -qq --no-install-recommends docker-ce >/dev/null
DEBIAN_FRONTEND=noninteractive apt-get install -y -qq docker-ce-rootless-extras >/dev/null
安装 helm
$ curl https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 | bash
安装 docker-compose
$ curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
$ chmod +x /usr/local/bin/docker-compose
sed/grep/awk
匹配行的下一行插入
$ sed -i "/kube-node/a ${ip}" test
输出两个匹配行之间的内容
在不使用 yq 或者 jq 的情况下,需要输出 downloads
列表中的所有内容,即 download:
和 download_defaults:
之间的内容
dashboard_image_repo: "{{ docker_image_repo }}/kubernetesui/dashboard-{{ image_arch }}"
dashboard_image_tag: "v2.2.0"
dashboard_metrics_scraper_repo: "{{ docker_image_repo }}/kubernetesui/metrics-scraper"
dashboard_metrics_scraper_tag: "v1.0.6"
downloads:
dashboard:
enabled: "{{ dashboard_enabled }}"
container: true
repo: "{{ dashboard_image_repo }}"
tag: "{{ dashboard_image_tag }}"
sha256: "{{ dashboard_digest_checksum|default(None) }}"
groups:
- kube_control_plane
dashboard_metrics_scrapper:
enabled: "{{ dashboard_enabled }}"
container: true
repo: "{{ dashboard_metrics_scraper_repo }}"
tag: "{{ dashboard_metrics_scraper_tag }}"
sha256: "{{ dashboard_digest_checksum|default(None) }}"
groups:
- kube_control_plane
download_defaults:
container: false
file: false
repo: None
tag: None
enabled: false
dest: None
version: None
url: None
可使用 sed 的方式进行匹配输出 sed -n '/$VAR1/,/$VAR2/p'
$ sed -n '/^downloads:/,/download_defaults:/p'
奇偶行合并
接着上一个问题,通过 sed -n "s/repo: //p;s/tag: //p"
匹配出镜像的 repo 和 tag,但一个完整的镜像的格式是 repo:tag
,因此需要将 repo 和 tag 行进行合并。
repo: "{{ dashboard_image_repo }}"
tag: "{{ dashboard_image_tag }}"
repo: "{{ dashboard_metrics_scraper_repo }}"
tag: "{{ dashboard_metrics_scraper_tag }}"
可使用 sed 'N;s#\n# #g'
进行奇偶行合并
sed -n '/^downloads:/,/download_defaults:/p' ${REPO_ROOT_DIR}/${DOWNLOAD_YML} \
| sed -n "s/repo: //p;s/tag: //p" | tr -d ' ' | sed 's/{{/${/g;s/}}/}/g' \
| sed 'N;s#\n# #g' | tr ' ' ':' | sed 's/^/echo /g' >> ${TEMP_DIR}/generate.sh
去除换行符
$ sed -i ':a;N;$!ba;s/\n/ /g'
统计匹配行行数
$ lsof -i | grep sshd | wc -l
# grep 通过 -c 参数即可统计匹配行,不需要使用 wc 来统计
$ lsof -i | grep -c sshd
匹配 IPv4 地址
$ egrep --only-matching -E '([[:digit:]]{1,3}\.){3}[[:digit:]]{1,3}'
统计 nginx 日志同 IP 访问次数并排序
$ cat access.log | awk '{d[$1]++} END {for (i in d) print d[i],i}' | sort -nr | head
# d 是一个字典,以$1 第一列作为key,value每次累加
# END 指处理完所有行,再执行后面的逻辑
# for(i in d)遍历d并打印key和value
统计 TCP 连接情况
$ ss -nat | awk 'NR>1 {d[$1]++} END {for (i in d) print d[i],i}'
# NR>1 去除第一行
# {d[$1]++} 对第一列元素进行累加计数
# {for (i in d) print d[i],i} 打印出数组的元素和出现的次数
docker
将镜像构建到本地目录
和 FROM scratch
搭配起来使用,就可以将构建产物 build 到本地
$ DOCKER_BUILDKIT=1 docker build -o type=local,dest=$PWD -f Dockerfile .
比如使用 Dockerfile 构建 skopeo 静态链接文件
- Dockerfile
FROM nixos/nix:2.3.11 as builder
WORKDIR /build
COPY . .
RUN nix build -f nix
FROM scratch
COPY /build/result/bin/skopeo /skopeo
- build
DOCKER_BUILDKIT=1 docker build -o type=local,dest=$PWD .
将当前目录下的所有内容构建成一个镜像
$ echo 'FROM scratch\nCOPY . .' | docker build -t files:tag -f - .
构建好之后就把它 push 到一个 registry 中,另一个人同样通过 docker build 将该文件下载到本地 😂
echo 'FROM files:tag' | DOCKER_BUILDKIT=1 docker build -o type=local,dest=$PWD -f - /dev/null
kubectl
- 获取集群中所有 pod 运行需要的镜像
$ kubectl get pods -A -o=custom-columns='IMAGE:spec.containers[*].image' | tr ',' '\n' | sort -u
- 获取所有 namespace 的 events 日志并按照时间戳排序
$ kubectl get events --all-namespaces -o wide --sort-by=.metadata.creationTimestamp
- 导出一个 namespaces 下所有 pod 的日志
$ kubectl get pod -n kube-system | awk '{print $1}' | xargs -L1 -I {} bash -c "kubectl -n kube-system logs {} > {}.log"
- 导出 k8s 组件的 pod 日志
$ kubectl get pod -n kube-system | grep -E "kube-apiserver|kube-controller|kube-proxy|kube-scheduler|coredns" | awk '{print $1}' | xargs -L1 -I {} sh -c "kubectl -n kube-system logs {} > {}.log"
- 获取集群中节点的 IP
$ kubectl get nodes -o jsonpath='{ $.items[*].status.addresses[?(@.type=="InternalIP")].address }'
- 获取所有 Pod 的 IP
$ kubectl get pods -o jsonpath='{ $.items[*].status.podIP }'
- 获取所有 node 节点的子网信息
$ kubectl get nodes -o jsonpath='{.items[*].spec.podCIDR}'
- 获取所有 service 的 IP
$ kubectl get svc --no-headers --all-namespaces -o jsonpath='{$.items[*].spec.clusterIP}'
- 根据 CPU/RAM 占用排序
# cpu
kubectl top pods --all-namespaces | sort --reverse --key 3 --numeric
# memory
kubectl top pods --all-namespaces | sort --reverse --key 4 --numeric
yq/jq
yq 根据某个 key 获取某个 value
# docker registry for offline resources
- src: docker.io/library/registry
dest: library/registry
# helm chartmuseum for offline resources
- src: ghcr.io/helm/chartmuseum
dest: library/chartmuseum
$ yq eval '.[]|select(.dest=="library/chartmuseum") | .src' images_origin.yaml
替换数组中的元素
version: '3.1'
services:
nginx:
container_name: nginx
image: nginx:1.20-alpine
volumes:
- ./resources/nginx:/usr/share/nginx
ports:
- 443:443
- 5000:5000
- 8080:8080
nginx_http_port="${NGINX_HTTP_PORT}:8080" yq eval --inplace '.services.nginx.ports[0] = strenv(nginx_http_port)' ${COMPOSE_YAML_FILE}
registry_https_port="${REGISTRY_HTTPS_PORT}:443" yq eval --inplace '.services.nginx.ports[1] = strenv(registry_https_port)' ${COMPOSE_YAML_FILE}
registry_push_port="${REGISTRY_PUSH_PORT}:5000" yq eval --inplace '.services.nginx.ports[2] = strenv(registry_push_port)' ${COMPOSE_YAML_FILE}
jq 遍历 json 数组/列表元素
for pmd_name in $(kubectl ${KUBECONFIG_ARG} get cpm --no-headers | cut -d ' ' -f1); do
CPMD_NAME="${pmd_name}"
JSON="${RCTL_TMP_PATH}/${pmd_name}.json"
kubectl ${KUBECONFIG_ARG} get cpm ${pmd_name} -o jsonpath='{.spec}' > ${JSON}
((moudles_num=$(jq '.modules|length' ${JSON})-1))
for i in $(seq 0 ${moudles_num}); do
((addons_num=$(jq ".modules[${i}].addons|length" ${JSON})-1))
for j in $(seq 0 ${addons_num}); do
addon_name=$(jq -r ".modules[${i}].addons[${j}].name" ${JSON})
if [ "${CHART_NAME}" = "${addon_name}" ]; then
PATCH_DATA=$(jq -c ".modules[${i}].addons[${j}].version = \"${VERSION}\"" ${JSON})
break 3
fi
done
done
done
other
判断两个版本号大小
if printf "%s\\n%s\\n" v1.21 ${kube_version%.*} | sort --check=quiet --version-sort; then
echo -n ${coredns_version};else echo -n ${coredns_version/v/}
fi
查看 x509 证书
$ openssl x509 -noout -text -in ca.cert
获取文件大小
$ stat -c '%s' file
获取本机 IP
$ ip r get 1 | awk 'NR==1 {print $NF}'
$ ip r get 1 | sed "s/uid.*//g" | awk 'NR==1 {print $NF}'
function
一些 shell 脚本中常用的函数
tar 进度条
避免 tar 解压文件的时候污染终端,建议使用进度条的方式展示解压过程
untar() {
file_size=$(stat -c '%s' $1)
block_size=$(expr $file_size / 51200); block_size=$(expr $block_size + 1)
tar_info="Untar $1 progress:"
tar --blocking-factor=$block_size --checkpoint=1 --checkpoint-action=ttyout="${tar_info} %u% \r" -xpf $1 -C $2
}
正则匹配 IP
# regular match ip
match_ip() {
local INPUT_IPS=$*
local IPS=""
if ! echo ${INPUT_IPS} | egrep --only-matching -E '([[:digit:]]{1,3}\.){3}[[:digit:]]{1,3}-[[:digit:]]{1,3}' > /dev/null; then
IPS="$(echo ${INPUT_IPS} | egrep --only-matching -E '([[:digit:]]{1,3}\.){3}[[:digit:]]{1,3}' | tr '\n' ' ')"
else
ip_prefix="$(echo ${INPUT_IPS} | egrep --only-matching -E '([[:digit:]]{1,3}\.){3}[[:digit:]]{1,3}-[[:digit:]]{1,3}' | cut -d '.' -f1-3)"
ip_suffix="$(echo ${INPUT_IPS} | egrep --only-matching -E '([[:digit:]]{1,3}\.){3}[[:digit:]]{1,3}-[[:digit:]]{1,3}' | cut -d '.' -f4 | tr '-' ' ')"
for suffix in $(seq ${ip_suffix}); do IPS="${IPS} ${ip_prefix}.${suffix}"; done
fi
echo ${IPS} | egrep --only-matching -E '([[:digit:]]{1,3}\.){3}[[:digit:]]{1,3}' | tr '\n' ' '
}
ssh 登录配置
Host *
StrictHostKeyChecking no
UserKnownHostsFile=/dev/null
ForwardAgent yes
ServerAliveInterval 10
ServerAliveCountMax 10000
TCPKeepAlive no
ControlMaster auto
ControlPath ~/.ssh/session/%h-%p-%r
ControlPersist 12h
Host nas
Hostname 172.20.0.10
Port 22
User root
IdentityFile ~/.ssh/local-node.pem
Host 172.20.0.*
Port 22
User root
IdentityFile ~/.ssh/local-node.pem
Host *github.com
Hostname github.com
User git
IdentityFile ~/.ssh/github_muzi.pem
StrictHostKeyChecking no
:略过 HostKey 检查,避免出现 How can I avoid SSH’s host verification for known hosts?
ssh 密码登录
日常工作中常常需要 ssh 登录到机房的一些虚拟机上,又因为不同的机器密码不同,遂使用该脚本 ssh 登录到节点上。
#!/bin/bash
IP=${1}
CMD=${2}
USER=root
ARGS="-o StrictHostKeyChecking=no -o ControlMaster=auto -o ControlPersist=12h -o ConnectionAttempts=100"
PASSWORDS="admin123456 test123456 centos1234"
ssh-keygen -R ${1} > /dev/null 2>&1
PASS=""
for pass in ${PASSWORDS}; do
if sshpass -p ${pass} ssh ${ARGS} ${USER}@${IP} "hostname"; then PASS=${pass}; break ; fi
done
sshpass -p ${PASS} ssh ${ARGS} ${USER}@${IP} ${CMD}
exit 0
脚本中统计函数耗时
reset_global_timer() {
export SEC0=$(date --utc +%s)
}
reset_function_timer(){
export SEC1=$(date --utc +%s)
}
running_time()
{
SEC2=$(date --utc +%s); DIFFSEC=$((${SEC2} - ${SEC1})); printf "\nSection Time: $(date +%H:%M:%S -ud @${DIFFSEC})\n"
SEC2=$(date --utc +%s); DIFFSEC=$((${SEC2} - ${SEC0})); printf "Elapsed Time: $(date +%H:%M:%S -ud @${DIFFSEC})\n\n"
}
reset_global_timer
reset_function_timer
running_time
OS
- dpkg 获取系统已经安装的包
$ dpkg-query -W -f='${binary:Package}=${Version}\n'
- 获取 CPU 架构
ARCHITECTURE=$(uname -m)
host_architecture=$(dpkg --print-architecture)
替换系统 OS 源
使用华为云 yum 源
- CentOS 7
$ wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.huaweicloud.com/repository/conf/CentOS-7-anon.repo
# 安装华为云 EPEL 源
yum install epel-release -y
sed -i "s/#baseurl/baseurl/g" /etc/yum.repos.d/epel.repo
sed -i "s/metalink/#metalink/g" /etc/yum.repos.d/epel.repo
sed -i "s@https\?://download.fedoraproject.org/pub@https://mirrors.huaweicloud.com@g" /etc/yum.repos.d/epel.repo
- Debian
$ sed -i 's/deb.debian.org/mirrors.huaweicloud.com/g' /etc/apt/sources.list
$ sed -i 's|security.debian.org/debian-security|mirrors.huaweicloud.com/debian-security|g' /etc/apt/sources.list
- Ubuntu
$ sed -i 's/archive.ubuntu.com/mirrors.huaweicloud.com/g' /etc/apt/sources.list
- Alpine
$ echo "http://mirrors.huaweicloud.com/alpine/latest-stable/main/" > /etc/apk/repositories
$ echo "http://mirrors.huaweicloud.com/alpine/latest-stable/community/" >> /etc/apk/repositories
CA 证书信任
- CentOS
$ update-ca-trust force-enable
$ cp domain.crt /etc/pki/ca-trust/source/anchors/domain.crt
$ update-ca-trust
- Debian
$ cp domain.crt /usr/share/ca-certificates/domain.crt
$ echo domain.crt >> /etc/ca-certificates.conf
$ update-ca-certificates
- Ubuntu
$ cp domain.crt /usr/local/share/ca-certificates/domain.crt
$ update-ca-certificates
Git 操作
修改历史 commit 信息
#!/bin/sh
git filter-branch --env-filter '
OLD_EMAIL="[email protected]"
CORRECT_NAME="github-actions"
CORRECT_EMAIL="41898282+github-actions[bot]@users.noreply.github.com"
if [ "$GIT_COMMITTER_EMAIL" = "$OLD_EMAIL" ]
then
export GIT_COMMITTER_NAME="$CORRECT_NAME"
export GIT_COMMITTER_EMAIL="$CORRECT_EMAIL"
fi
if [ "$GIT_AUTHOR_EMAIL" = "$OLD_EMAIL" ]
then
export GIT_AUTHOR_NAME="$CORRECT_NAME"
export GIT_AUTHOR_EMAIL="$CORRECT_EMAIL"
fi
' --tag-name-filter cat -- --branches --tags
获取当前 repo 的最新 git tag
$ git describe --tags --always
删除 remote repo 中的 tag
$ git push --delete origin tag_name
# 删除所有
$ git tag -l | xargs -L1 -I {} git push --delete origin {}
govc
- 批量还原快照
#!/usr/bin/env bash
: ${SP_NAME:="init"}
: ${NODES:="kube-control-01 kube-control-02 kube-control-03 kube-node-01"}
for node in ${NODES}; do
if govc snapshot.revert -vm ${node} ${SP_NAME}; then
echo "${node} snapshot revert successfully"
fi
govc vm.info ${node} | grep -q poweredOn || govc vm.power -on ${node}
done