当前位置：网站首页>Etcd教程 — 第四章 Etcd集群安全配置
Etcd教程 — 第四章 Etcd集群安全配置
2022-06-25 09:32:00 【西木Qi】
Etcd教程 — 第四章 Etcd集群安全配置
前言
本文是在 Etcd教程 — 第二章 Etcd集群静态发现 2.3节 基础上进行的。
一、 TLS 与 SSL
互联网的通信安全，建立在 SSL/TLS 协议之上。不使用 SSL/TLS 的 HTTP 通信，就是不加密的通信。所有信息明文传播，带来了三大风险：
- 窃听风险（eavesdropping）：第三方可以获知通信内容。
- 篡改风险（tampering）：第三方可以修改通信内容。
- 冒充风险（pretending）：第三方可以冒充他人身份参与通信。
SSL/TLS 协议是为了解决这三大风险而设计的，希望达到：
- 所有信息都是加密传播，第三方无法窃听。
- 具有校验机制，一旦被篡改，通信双方会立刻发现。
- 配备身份证书，防止身份被冒充。
想要实现数据 HTTPS 加密协议访问，保障数据的安全，就需要 SSL 证书，TLS 是 SSL 与 HTTPS 安全传输层协议名称。
二、下载安装
为了进行实践，我们将会安装一些实用的命令行工具，其中包括 cfssl、cfssljson。
cfssl 是 CloudFlare 的 PKI/TLS 利器。 它既是命令行工具，又可以用于签名，验证和捆绑 TLS 证书的 HTTP API 服务器，环境构建方面需要 Go 1.12+。
cfssljson 程序，从 cfssl 获取 JSON 输出，并将证书、密钥、CSR和 bundle 写入指定位置。
2.1 选择cfssl版本
在 https://github.com/cloudflare/cfssl/releases 可以看到最新版本的目前是1.6.1
2.2 下载 cfssl
在/usr/local/src 下载
cd /usr/local/src
wget https://github.com/cloudflare/cfssl/releases/download/v1.6.1/cfssl_1.6.1_linux_amd64
wget https://github.com/cloudflare/cfssl/releases/download/v1.6.1/cfssljson_1.6.1_linux_amd64
wget https://github.com/cloudflare/cfssl/releases/download/v1.6.1/cfssl-certinfo_1.6.1_linux_amd64
#拷贝文件到/usr/local/bin/目录下
cp cfssl_1.6.1_linux_amd64 /usr/local/bin/cfssl
cp cfssljson_1.6.1_linux_amd64 /usr/local/bin/cfssljson
cp cfssl-certinfo_1.6.1_linux_amd64 /usr/local/bin/cfssl-certinfo
2.3 赋予执行权限
chmod +x /usr/local/bin/cfssl*
2.4 查看安装结果
cfssl version
结果：
[[email protected] src]# cfssl version
Version: 1.6.1
Runtime: go1.12.12
三、TLS 加密实践
3.1 介绍
client certificate： 用于服务端认证客户端,例如etcdctl、etcd proxy、fleetctl、docker客户端。server certificate: 服务端使用，客户端以此验证服务端身份,例如docker服务端、kube-apiserver。peer certificate: 双向证书，用于etcd集群成员间通信。
3.2 配置CA并创建TLS证书
仅需要在单个节点上生成相关证书即可，然后再把证书复制到其他节点上。
3.2.1 创建ca配置文件 (ca-config.json)
"ca-config.json"：可以定义多个 profiles，分别指定不同的过期时间、使用场景等参数；后续在签名证书时使用某个 profile；
"signing"：表示该证书可用于签名其它证书；生成的 ca.pem 证书中 CA=TRUE；
"server auth"：表示client可以用该 CA 对server提供的证书进行验证；
"client auth"：表示server可以用该CA对client提供的证书进行验证；
在 /opt/cfssl/ 下创建配置文件
vim ca-config.json
{
"signing": {
"default": {
"expiry": "87600h"
},
"profiles": {
"etcd": {
"expiry": "87600h",
"usages": [
"signing",
"key encipherment",
"server auth",
"client auth"
]
}
}
}
}
3.2.2 创建ca证书签名(ca-csr.json)
“CN”：Common Name，从证书中提取该字段作为请求的用户名 (User Name)；浏览器使用该字段验证网站是否合法；
“O”：Organization，从证书中提取该字段作为请求用户所属的组 (Group)；
这两个参数在后面的kubernetes启用RBAC模式中很重要，因为需要设置kubelet、admin等角色权限，那么在配置证书的时候就必须配置对了，具体后面在部署kubernetes的时候会进行讲解。
“在etcd这两个参数没太大的重要意义，跟着配置就好。”
创建配置文件
vim ca-csr.json
{
"CN": "etcd CA",
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"L": "shanghai",
"ST": "shanghai"
}
]
}
3.2.3 生成ca证书和私钥
cfssl gencert -initca ca-csr.json | cfssljson -bare ca
ls
ca-config.json ca-csr.json ca.csr ca.pem(ca公钥) ca-key.pem(ca私钥,妥善保管)
3.3 生成etcd server端证书
3.3.1 新建ca配置文件 (server-csr.json)
vim server-csr.json
{
"CN": "etcd",
"key": {
"algo": "rsa",
"size": 2048
},
"hosts": [
"192.168.1.221",
"192.168.1.222",
"192.168.1.223"
],
"names": [
{
"C": "CN",
"L": "shanghai",
"ST": "shanghai"
}
]
}
3.3.2 生成etcd server证书和私钥
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=etcd server-csr.json | cfssljson -bare server
ls
ca-config.json ca-csr.json ca-key.pem ca.csr ca.pem server-csr.json server-key.pem server.csr server.pem
3.4 复制证书到另外两台主机
将证书放到其他节点的同个位置上。
四、Etcd集群加入TLS证书
4.1 Etcd集群各节点信息
4.2 Etcd集群各节点配置
编辑各节点上的配置文件
vim /etc/etcd/etcd.conf
加入TLS证书的配置
# [Security]
ETCD_TRUSTED_CA_FILE="/opt/cfssl/ca.pem"
ETCD_CERT_FILE="/opt/cfssl/server.pem"
ETCD_KEY_FILE="/opt/cfssl/server-key.pem"
ETCD_PEER_TRUSTED_CA_FILE="opt/cfssl/ca.pem"
ETCD_PEER_CERT_FILE="/opt/cfssl/server.pem"
ETCD_PEER_KEY_FILE="/opt/cfssl/server-key.pem"
ETCD_CLIENT_CERT_AUTH="true"
ETCD_AUTO_TLS="true"
ETCD_PEER_CLIENT_CERT_AUTH="true"
ETCD_PEER_AUTO_TLS="true"
4.2.1 节点1完整配置
#########################################################
########### 请根据各节点服务器实际情况修改配置 ############
#########################################################
#[Member]
#1.节点名称，必须唯一
ETCD_NAME="etcd01"
#2.设置数据保存的目录
ETCD_DATA_DIR="/var/lib/etcd"
#3.本节点机器用于监听其他节点的url，url是本机上的2380
ETCD_LISTEN_PEER_URLS="http://192.168.1.221:2380"
#4.建议本节点用于和其他节点之间通信的url，且会通告集群的其余成员节点
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.1.221:2380"
#5.本节点机器用于和客户端通信的url，url是本机上的 2379
ETCD_LISTEN_CLIENT_URLS="http://192.168.1.221:2379,http://127.0.0.1:2379"
#[Clustering]
#6.建议本节点和客户端通信使用的url
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.1.221:2379"
#7.集群中所有节点的信息
ETCD_INITIAL_CLUSTER="etcd01=http://192.168.1.221:2380,etcd02=http://192.168.1.222:2380,etcd03=http://192.168.1.223:2380"
#8.创建集群的token，这个值每个集群均相同
ETCD_INITIAL_CLUSTER_TOKEN="148e7b13-51fc-4cc8-965b-a7c9d58c18f5"
#9.初始集群状态，新建集群的时候，这个值为new；
ETCD_INITIAL_CLUSTER_STATE="new"
#10.flannel操作etcd使用的是v2的API，而kubernetes操作etcd使用的v3的API
# 为了兼容flannel，将默认开启v2版本，故配置文件中设置
ETCD_ENABLE_V2="true"
# [Security]
ETCD_TRUSTED_CA_FILE="/opt/cfssl/ca.pem"
ETCD_CERT_FILE="/opt/cfssl/server.pem"
ETCD_KEY_FILE="/opt/cfssl/server-key.pem"
ETCD_PEER_TRUSTED_CA_FILE="opt/cfssl/ca.pem"
ETCD_PEER_CERT_FILE="/opt/cfssl/server.pem"
ETCD_PEER_KEY_FILE="/opt/cfssl/server-key.pem"
ETCD_CLIENT_CERT_AUTH="true"
ETCD_AUTO_TLS="true"
ETCD_PEER_CLIENT_CERT_AUTH="true"
ETCD_PEER_AUTO_TLS="true"
4.2.2 节点2完整配置
#########################################################
########### 请根据各节点服务器实际情况修改配置 ############
#########################################################
#[Member]
#1.节点名称，必须唯一
ETCD_NAME="etcd02"
#2.设置数据保存的目录
ETCD_DATA_DIR="/var/lib/etcd"
#3.本节点机器用于监听其他节点的url，url是本机上的2380
ETCD_LISTEN_PEER_URLS="http://192.168.1.222:2380"
#4.建议本节点用于和其他节点之间通信的url，且会通告集群的其余成员节点
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.1.222:2380"
#5.本节点机器用于和客户端通信的url，url是本机上的 2379
ETCD_LISTEN_CLIENT_URLS="http://192.168.1.222:2379,http://127.0.0.1:2379"
#[Clustering]
#6.建议本节点和客户端通信使用的url
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.1.222:2379"
#7.集群中所有节点的信息
ETCD_INITIAL_CLUSTER="etcd01=http://192.168.1.221:2380,etcd02=http://192.168.1.222:2380,etcd03=http://192.168.1.223:2380"
#8.创建集群的token，这个值每个集群均相同
ETCD_INITIAL_CLUSTER_TOKEN="148e7b13-51fc-4cc8-965b-a7c9d58c18f5"
#9.初始集群状态，新建集群的时候，这个值为new；
ETCD_INITIAL_CLUSTER_STATE="new"
#10.flannel操作etcd使用的是v2的API，而kubernetes操作etcd使用的v3的API
# 为了兼容flannel，将默认开启v2版本，故配置文件中设置
ETCD_ENABLE_V2="true"
# [Security]
ETCD_TRUSTED_CA_FILE="/opt/cfssl/ca.pem"
ETCD_CERT_FILE="/opt/cfssl/server.pem"
ETCD_KEY_FILE="/opt/cfssl/server-key.pem"
ETCD_PEER_TRUSTED_CA_FILE="opt/cfssl/ca.pem"
ETCD_PEER_CERT_FILE="/opt/cfssl/server.pem"
ETCD_PEER_KEY_FILE="/opt/cfssl/server-key.pem"
ETCD_CLIENT_CERT_AUTH="true"
ETCD_AUTO_TLS="true"
ETCD_PEER_CLIENT_CERT_AUTH="true"
ETCD_PEER_AUTO_TLS="true"
4.2.3 节点3完整配置
#########################################################
########### 请根据各节点服务器实际情况修改配置 ############
#########################################################
#[Member]
#1.节点名称，必须唯一
ETCD_NAME="etcd03"
#2.设置数据保存的目录
ETCD_DATA_DIR="/var/lib/etcd"
#3.本节点机器用于监听其他节点的url，url是本机上的2380
ETCD_LISTEN_PEER_URLS="http://192.168.1.223:2380"
#4.建议本节点用于和其他节点之间通信的url，且会通告集群的其余成员节点
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.1.223:2380"
#5.本节点机器用于和客户端通信的url，url是本机上的 2379
ETCD_LISTEN_CLIENT_URLS="http://192.168.1.223:2379,http://127.0.0.1:2379"
#[Clustering]
#6.建议本节点和客户端通信使用的url
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.1.223:2379"
#7.集群中所有节点的信息
ETCD_INITIAL_CLUSTER="etcd01=http://192.168.1.221:2380,etcd02=http://192.168.1.222:2380,etcd03=http://192.168.1.223:2380"
#8.创建集群的token，这个值每个集群均相同
ETCD_INITIAL_CLUSTER_TOKEN="148e7b13-51fc-4cc8-965b-a7c9d58c18f5"
#9.初始集群状态，新建集群的时候，这个值为new；
ETCD_INITIAL_CLUSTER_STATE="new"
#10.flannel操作etcd使用的是v2的API，而kubernetes操作etcd使用的v3的API
# 为了兼容flannel，将默认开启v2版本，故配置文件中设置
ETCD_ENABLE_V2="true"
# [Security]
ETCD_TRUSTED_CA_FILE="/opt/cfssl/ca.pem"
ETCD_CERT_FILE="/opt/cfssl/server.pem"
ETCD_KEY_FILE="/opt/cfssl/server-key.pem"
ETCD_PEER_TRUSTED_CA_FILE="opt/cfssl/ca.pem"
ETCD_PEER_CERT_FILE="/opt/cfssl/server.pem"
ETCD_PEER_KEY_FILE="/opt/cfssl/server-key.pem"
ETCD_CLIENT_CERT_AUTH="true"
ETCD_AUTO_TLS="true"
ETCD_PEER_CLIENT_CERT_AUTH="true"
ETCD_PEER_AUTO_TLS="true"
4.3 清除旧数据，重启服务
修改各节点/etc/etcd/etcd.conf文件后，要先删除/var/lib/etcd目录下保存的数据，再重新启用服务，不然失败。
cd /var/lib/etcd && rm -rf *
4.4 启动/查看etcd服务
systemctl daemon-reload && systemctl enable etcd && systemctl start etcd && systemctl status etcd
4.5 验证
通过三台服务器的控制台可以知道，集群已经成功建立，我们进行验证：
etcdctl --cacert=/opt/cfssl/ca.pem --cert=/opt/cfssl/server.pem --key=/opt/cfssl/server-key.pem --endpoints="https://192.168.1.221:2379,https://192.168.1.222:2379,https://192.168.1.223:2379" endpoint health
# 输出如下：
https://192.168.1.221:2379 is healthy: successfully committed proposal: took = 9.492956ms
https://192.168.1.222:2379 is healthy: successfully committed proposal: took = 12.805109ms
https://192.168.1.223:2379 is healthy: successfully committed proposal: took = 13.036091ms
查看三个节点的健康状况，endpoint health ，输出的结果符合我们的预期。其次，查看集群的成员列表：
etcdctl --cacert=/opt/cfssl/ca.pem --cert=/opt/cfssl/server.pem --key=/opt/cfssl/server-key.pem --endpoints="https://192.168.1.221:2379,https://192.168.1.222:2379,https://192.168.1.223:2379" member list
# 输出如下：
48e15f7612b3de1, started, etcd2, https://192.168.1.221:2380, https://192.168.1.221:2379, false
6b57a3c3b8a54873, started, etcd3, https://192.168.1.222:2380, https://192.168.1.222:2379, false
c1ba2629c5bc62ac, started, etcd1, https://192.168.1.223:2380, https://192.168.1.223:2379, false
输出三个成员，完全符合我们的预期。经过 TLS 加密的 etcd 集群，在进行操作时，需要加上认证相关的信息，我们尝试先写再读的操作：
etcdctl --cacert=/opt/cfssl/ca.pem --cert=/opt/cfssl/server.pem --key=/opt/cfssl/server-key.pem --endpoints="https://192.168.1.221:2379,https://192.168.1.222:2379,https://192.168.1.223:2379" put hello world
OK
etcdctl --cacert=/opt/cfssl/ca.pem --cert=/opt/cfssl/server.pem --key=/opt/cfssl/server-key.pem --endpoints="https://192.168.1.221:2379,https://192.168.1.222:2379,https://192.168.1.223:2379" get hello
hello
world
写入 hello->wold 的键值对，读取的时候，控制台正常输出了键值。至此，我们成功将 etcd 的通信加密。
4.6 自动证书
如果集群需要加密的通信但不需要经过身份验证的连接，则可以将 etcd 配置为自动生成其密钥。 在初始化时，每个成员都基于其通告的 IP 地址和主机创建自己的密钥集。
在每台机器上，etcd 将使用以下标志启动：【示例】
$ etcd --name etcd1 --initial-advertise-peer-urls https://192.168.202.128:2380 \
--listen-peer-urls https://192.168.202.128:2380 \
--listen-client-urls https://192.168.202.128:2379,https://127.0.0.1:2379 \
--advertise-client-urls https://10.0.1.10:2379 \
--initial-cluster-token etcd-cluster-1 \
--initial-cluster infra0=https://192.168.202.128:2380,infra1=https://192.168.202.129:2380,infra2=https://192.168.202.130:2380 \
--initial-cluster-state new \
--auto-tls \
--peer-auto-tls
注意：由于自动签发证书并不认证身份，因此直接 curl 会返回错误。需要使用 curl 的 -k 命令屏蔽对证书链的校验。
五、总结
本文重点讲解了 etcd 集群的 TLS 安全认证配置，数据通信明文传播存在篡改、窃听、冒充等风险。互联网的通信安全，建立在 SSL/TLS 协议之上。基于 cfssl 工具，验证并且捆绑 TLS 证书，为 etcd 集群成员之间的通信保驾护航。
边栏推荐
- Use Navicat to compare data differences and structure differences of multi environment databases, and automatic DML and DDL scripts
- 35 websites ICER must know
- Chitubox micromake l3+ slicing software configuration correspondence
- 在指南针上面开户好不好，安不安全？
- 《JVM》对象内存分配的TLAB机制与G1中的TLAB流程
- [matlab] image binarization (imbinarize function)
- Is it safe to open a stock account on the compass?
- Matplotlib axvline() and axhline() functions in Matplotlib
- [Ruby on rails full stack course] course directory
- 5、 Project practice --- identifying man and horse
猜你喜欢
How to delete a blank page that cannot be deleted in word
Oracle one line function Encyclopedia
Creo makes a mobius belt in the simplest way
![[learn C from me and master the key to programming] insertion sort of eight sorts](/img/2c/22e065390464ed5cd1056346d46573.jpg)
[learn C from me and master the key to programming] insertion sort of eight sorts
C语言刷题随记 —— 猴子吃桃
Solution to the problem of repeated startup of esp8266
![[competition - Rural Revitalization] experience sharing of Zhejiang Rural Revitalization creative competition](/img/b4/84c30ed112c4dffd8d51697b2f4a4f.jpg)
[competition - Rural Revitalization] experience sharing of Zhejiang Rural Revitalization creative competition
浅谈Mysql底层索引原理
Analysis on the thinking of 2022 meisai C question
C ＃ startup program loses double quotation marks for parameters passed. How to solve it?
随机推荐
Solution to the problem of repeated startup of esp8266
Voiceprint Technology (I): the past and present life of voiceprint Technology
Flutter multilingual intl: ^0.17.0 cannot be imported
Socket programming -- poll model
A game WP
PMP考试多少分算通过？
Voiceprint Technology (IV): Engineering deployment of voiceprint recognition
Chinese solution cannot be entered after webgl is published
富时A50开户什么地方安全
socket编程——poll模型
备战2022年金九银十必问的1000道Android面试题及答案整理，彻底解决面试的烦恼
Prediction of pumpkin price based on BP neural network
【mysql学习笔记20】mysql体系结构
[competition - Rural Revitalization] experience sharing of Zhejiang Rural Revitalization creative competition
在指南针上面开户好不好，安不安全？
Notes on key words in the original English work biography of jobs (VI) [chapter three]
将jar包注册为服务，实现开机自动启动
Wechat official account can reply messages normally, but it still prompts that the service provided by the official account has failed. Please try again later
How to delete a blank page that cannot be deleted in word
Matplotlib axvline() and axhline() functions in Matplotlib