将设为首页浏览此站
开启辅助访问 天气与日历 收藏本站联系我们切换到窄版

易陆发现论坛

 找回密码
 开始注册
查看: 279|回复: 1
收起左侧

ceph+超融合环境方案

[复制链接]
发表于 2021-7-12 10:00:11 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?开始注册

x
1 Proxmox Virtual Environment介绍
0 d" F" s, z3 r) I# D+ e* K" U2 }7 J  Proxmox VE 是用于企业虚拟化的开源服务器管理平台。它在单个平台上紧密集成了KVM虚拟机管理程序和LXC,软件定义的存储以及网络功能。借助基于Web的集成用户界面,您可以轻松管理VM和容器,高可用性群集或集成的灾难恢复工具。# [2 w: X6 W+ R7 G
  同时Proxmox VE对接Proxmox备份服务器,可实现对VM、容器的全量和增量备份,可显著减少网络负载并节省宝贵的存储空间。$ I! V7 p: w. A# n0 v
  Z* D/ i* ]6 q8 S" L. {1 f, [7 n2 ?
2 环境介绍
8 }% ?6 Y& O0 M/ }) D# ]  |/ ~  本文章所述环境采用3台物理服务器(含4口万兆网卡),1台万兆业务交换机,1台万兆管理交换机。! o# i+ n( z& s' W
  注意:由于使用ceph搭建分布式存储,为保证性能,管理网络及业务网络强烈建议采用全万兆部署。# D( @7 w, t% y9 o8 l2 n+ {
2.1 软件版本* Q! m3 t+ ~* X. c1 ]: Y# ]
  本次部署采用当前最新版本:Proxmox VE 6.3
$ S$ Q( l. h" y& F6 w1 _) U% j- n0 M* a2.2 服务器配置2 X7 {# {6 @* ?( z
型号 配置 数量
* N/ s) y8 H1 g/ p, fDELL R930 CPU:Intel® Xeon® CPU E7-8870 v4 @ 2.10GHz
" z  S8 c3 Z' J2 w3 Z内存:512GB: K8 Z$ e: C3 k4 _0 H
RAID卡:PERC H730P Adapter: X  L! G/ `& a. Q
SSD:1.5TB 4块
: e* V# o& p# c% r( e5 WHDD:1.2TB 10块 37 Y; \3 d) Z: X+ Z: u1 F7 Z: ]8 Q
3 软件获取
8 D8 A' b; R2 O  c' @% @  访问官网下载ISO镜像文件
- a( W! \" ]+ p7 yhttps://www.proxmox.com/en/downloads/item/proxmox-ve-6-3-iso-installer
( l# o. U! z$ |; m2 D; x; }2 _! @. n4 L% }; ?" x5 ^
4 RAID规划
: Q1 q  M5 b2 D+ E4.1 系统盘! N' m. @6 N1 x( F% t
    建议采用两块SSD组成raid 1,作为系统盘。
- h) W0 ?! u/ z, E; W    不同品牌服务器设置方法不同,请参照各品牌官方文档。1 i; q- G" v2 T" c( ]: y
4.2 ceph盘) O, R: w- ~" T, U
    ceph不推荐基于raid盘创建osd,所以除系统盘外,其余磁盘全部设置为非raid模式。  Q! P" u8 H( z: F* p: _$ B
    不同品牌服务器设置方法不同,请参照各品牌官方文档。
$ s# ]+ p. T  y# |" Z5 物理网络" c  G( d* K& I% j, N
  生产环境对可靠性要求较高,所以建议采用链路聚合方式,将多个物理网卡绑定为一个逻辑接口,从而提高网络的性能及可靠性。' m/ ?( m  N" B% @) {8 G9 _
链路聚合可在以下三种模式中选择:
7 c8 w0 ~" {. c/ _   1,LACP(802.3ad):基于LACP协议的链路聚合,此模式交换机需配置链路聚合,模式为lacp。
1 ^" ?5 v4 h$ N% s( m   2,静态聚合:静态链路聚合,此模式交换机需配置链路聚合,模式为静态(华为、H3C默认为此模式;思科为on模式)。
& @- d0 I( d0 H6 Q' ~9 Y/ D$ O   3,Active+Backup:主备模式,网卡一主一备,主网卡故障时备份网卡接替主网卡工作,此模式交换机无需做链路聚合配置。
* S  f  L& {* U$ d! s3 W( K* c2 o    若交换机支持LACP,推荐采用LACP模式。此处采用LACP模式进行演示。
$ F* {" a2 x6 _- P) R4 D9 M- A; Y/ C5.1 网络规划1 e% M; a% n4 W* f& v: K. L* R
5.1.1 物理网络拓扑
" H* Y" y# ^7 z! s$ g) p7 O* S
# ?# m% X! n7 G, `: J, t8 C6 s1 f0 u 5.1.2 vlan及网段规划9 h5 M- S& _0 Y4 ~! ]
vlan号 用途 IP网段 网关
6 [4 n. W% {' k( _6 g5 Y1 管理 10.1.1.0/24 10.1.1.2540 L/ P1 B  T4 M
3 业务 10.1.3.0/24 10.1.3.254
8 d  w- n1 o! q# g7 U8 a4 业务 10.1.4.0/24 10.1.4.254
7 q- [& `' t3 D: R# U5 业务 10.1.5.0/24 10.1.5.254
, y( v( H& n# f7 a3 X5.2 网络配置1 i" A% O7 `  v
以华为交换机为例。, V/ b& B7 g( K+ |
5.2.1 创建vlan:
+ [% N- u7 }+ kapache
/ D2 Y. S9 ?9 i! W) yvlan batch 3 to 5 2 R: T! Y* q9 @4 B" o
5.2.2 创建vlan-if(网关):- [* }9 i+ `  N5 C/ V; {
apache, W) ~1 L: c& ]4 h' b0 `
interface Vlanif1      //vlan1,管理网络网关
1 q4 \- e7 N( I4 _ ip address 10.1.1.254 255.255.255.0
$ z* x( F6 i' w) Ginterface Vlanif3      //vlan3,业务网络网关
( I7 o) e+ ]9 n. N3 o5 f ip address 10.1.3.254 255.255.255.0
9 T& g! ^( ^* c* V, x' \8 x0 |' Z/ winterface Vlanif4      //vlan4,业务网络网关) [) T8 ?' x% G' [
ip address 10.1.4.254 255.255.255.0
8 r& P2 O. Q; D5 C' H9 V0 Ainterface Vlanif5      //vlan5,业务网络网关
1 P3 x( @/ u8 C+ S- ]7 u. ^ ip address 10.1.5.254 255.255.255.0- s. u/ `' r6 g$ o0 W2 ?% D
5.2.3 创建聚合接口(eth-trunk):
. ]: e) f/ c0 D7 w: W: bapache
  f7 ~$ e0 k$ \/ l% z/ g* `6 \* Hinterface Eth-Trunk101    //用于节点1管理口
% U8 l- Q% a2 u7 a$ N  G9 L' N description to-pve1-mgmt
. F3 I: B! k6 G7 Q, K7 N2 X port link-type access& B; [4 G7 o- L7 H1 S0 M5 ~) Z
mode lacp, G, B9 O; u( d4 m  |
#
: M& i1 x$ r* Q5 sinterface Eth-Trunk102    //用于节点2管理口
2 k( V& d6 j% M9 _$ y3 q# J8 M' ?* } description to-pve2-mgmt1 d5 l- k) v9 _- V7 V1 ?
port link-type access9 Z1 c! ]4 m+ {" I( a% x/ G: D
mode lacp
8 L5 Q* @2 w$ A. k0 ?#
' n* D% y. ^2 `+ B; Ointerface Eth-Trunk103    //用于节点3管理口
1 d" c. V) V1 f- N) v6 F description to-pve3-mgmt
) W# Z/ x3 e6 H4 K port link-type access  z0 ?% G7 i/ q7 @% y* f' e# O& I
mode lacp3 R2 [5 l8 ^; p, S1 |/ n. x
#
# C+ h2 h4 Q+ i# v0 ]. |interface Eth-Trunk104    //用于节点1业务口
7 D& A# I: ]0 \7 ?/ |( j) G description to-pve1-yewu, O% ~. Y2 M. H9 N( G% g( l
port link-type trunk/ v4 A& ^1 J- z3 R3 \# l
port trunk allow-pass vlan 2 to 4094+ q8 k5 Y  s9 ^/ v/ P5 H
mode lacp
' b. e. D/ u* R3 S6 I( V#$ P8 @8 u1 S1 ]; d
interface Eth-Trunk105    //用于节点2业务口- C, ~, ?% V; k' p
description to-pve2-yewu! L  |' c8 i" |5 ]8 j& f6 G
port link-type trunk
% i, F* {/ T' k$ d1 f1 D! S port trunk allow-pass vlan 2 to 4094
- C0 W) H+ A7 J4 p) e/ C mode lacp
# |" L4 Z" u( |/ r#
' \$ w; G9 q& P# f* W& hinterface Eth-Trunk106    //用于节点3业务口
6 e2 Q" G# z; D. n8 J! ^ description to-pve3-yewu; K. T4 m7 i) |- L; p  E! `1 f# a
port link-type trunk
% S9 O: K8 B# c- s! N port trunk allow-pass vlan 2 to 4094
+ u9 a8 f4 w" q3 P/ b  q8 E6 M! N. y+ J mode lacp+ k( t) z8 A3 L7 Z
5.2.4 物理接口加入聚合接口
9 a+ u1 e  _: T0 Kapache
. l# }2 _) O+ D& F- ginterface GigabitEthernet0/0/10    //连接节点1管理口eno1: V# L5 Y; f, x1 w
description pve1-mgmt-eno1
; S9 s; F( X1 O% W6 m% c eth-trunk 101" y; B! _- w% g- M
#/ U& M7 Y( W' g8 {3 k; d$ [
interface GigabitEthernet0/0/11    //连接节点1管理口eno2
# O) X# Q7 ~7 F& t3 }" V description pve1-mgmt-eno2( Q3 }* z' ?2 v# c+ C4 w0 z
eth-trunk 101% V1 c* q% l+ p' o- e8 [# t
#
! M) `, d1 k" ?6 n' Ainterface GigabitEthernet0/0/12    //连接节点2管理口eno1+ I  G; u/ x6 L7 [
description pve2-mgmt-eno1
% `9 O9 Z( c+ u3 X( P# k eth-trunk 102% ~( j" M/ q* h
#% ]5 c: C5 t5 {  @, j, u
interface GigabitEthernet0/0/13    //连接节点2管理口eno2; `$ L$ {6 I3 t% X% Z1 Z- C& \
description pve2-mgmt-eno2- L/ \/ U9 q: _( l1 `4 A4 c8 }
eth-trunk 102- ]/ {3 o# v: c: Y3 f5 L
#
' K+ z7 W6 K2 Y( m' u6 P3 G  ainterface GigabitEthernet0/0/14    //连接节点3管理口eno1
# c9 O# u9 |  T% t1 R8 d0 P+ o description pve3-mgmt-eno1
6 K8 ^0 L9 v/ X# p% y2 Z9 P( [ eth-trunk 103/ Q0 Y& s' |4 q: D' [
#9 i5 D7 m' W4 H* p
interface GigabitEthernet0/0/15    //连接节点3管理口eno21 Z- f- s' r* @% k1 g2 Z
description pve3-mgmt-eno2" P; E% g6 p, \( q3 k
eth-trunk 103
) m/ \0 G+ Z) ~& k/ o#
( v$ `* X0 y! h% h1 g  Finterface GigabitEthernet0/0/16    //连接节点1业务口eno3& q5 G% Q2 m% _2 j3 F% V
description pve1-data-eno34 k) q0 w4 z0 i6 n+ E! [
eth-trunk 104
+ j) R/ _8 m" l1 w! V#, W( V8 i5 d1 U5 i$ T$ B# G. L
interface GigabitEthernet0/0/17    //连接节点1业务口eno4
. i) S# U3 W6 |) C description pve1-data-eno40 F/ ^( z* Q* h
eth-trunk 104
/ H0 Q8 H% ]! k. t8 M; z2 y: N1 Q1 K#
# l+ {9 ^: w3 _' tinterface GigabitEthernet0/0/18    //连接节点2业务口eno32 R+ j# `) j/ N# k  J2 ?
description pve2-data-eno3
- {: Z  |5 k% o' y eth-trunk 105
- H1 D( K! d9 p0 G& L#
( _5 a  n" d# U- Jinterface GigabitEthernet0/0/19    //连接节点2业务口eno48 Y2 \& P# m+ l5 l7 i
description pve2-data-eno4* I9 H1 r( q! p/ R% X  C
eth-trunk 105
7 \/ f7 u1 W3 W; C  C7 K#. G8 [; V8 b" w
interface GigabitEthernet0/0/20    //连接节点3业务口eno3$ |% E; g/ ?' C2 a- [: e  M
description pve3-data-eno3
4 m! y! H& S. t, _# B eth-trunk 1062 @3 j, ?: |7 i  K1 ?% }
#
/ @0 u+ c1 T' L) O- `) linterface GigabitEthernet0/0/21    //连接节点3业务口eno4
& I8 z% U- h/ G description pve3-data-eno4% N$ P/ z& {) {- k/ ]) M
eth-trunk 106, l6 s7 y9 C) v, \) T( u( \
6 PVE安装2 w  ^$ H. O0 k0 h+ `
1,选择第一个选项,安装PVE' A5 Z  ?+ ~; |1 }' V! b" F) p
2,同意协议
; @7 \! }1 C; F; O3,选择系统盘
" e1 o8 x  C/ K. O8 ?注意:此处一定要选择RAID规划中创建的RAID 1系统盘
; V) x3 E9 ~0 A* c. k5 x9 R$ P
" }& M0 G  r/ N$ R" {$ o4,配置国家、地区,
2 ?/ ~' c6 C0 ?) q4 w, p* O5 v) m5,配置密码、邮箱/ f6 W6 J% g# Y3 f8 r; L
如果为生产环境务必配置为强口令。邮箱建议配置为真实邮箱' r& e$ a# {* B: G& q& c
6,配置网卡、主机名、IP地址、DNS等信息8 T' f7 x/ G  B% n& j& c2 A+ i- ?. m
此处选择服务器第一块网卡,用于管理网络,按我们的规划应为eno1) K: @2 N* m; _3 j( x' J
每个节点主机名不能相同,主机名可以参考以下规划,域名请按需配置。. l! L2 Z- C1 k( s: c3 i
序号 主机名 域名) A6 m: U) ], S$ t; U- U
1 pve1 test.local' @3 O; S& I4 Q3 f, F- i- I
2 pve2 test.local2 v1 f4 q% W, A3 b* p
3 pve3 test.local4 ^( r, F$ @, C& Q9 q2 O- ~; c3 q
主机名、IP地址等信息按实际情况配置,配置公网DNS,用于pve连接互联网。
' b7 G/ b, n6 h$ v
) {: C$ Q% L: Y8 J& t) N7,检查无误后点击安装。
; w. }2 D/ P! D+ K8 Q" p$ t
$ m9 R2 ], b; ?安装结束后重启,通过浏览器访问,出现以下页面证明安装成功。. i9 k/ k1 p- ~+ m" W
地址:https://你的IP地址:8006$ R: g# M  q4 O* `6 E
用户名:root" b. K3 O# X# x6 j* w5 M9 G
密码:为安装时配置的密码。
; k# c! ~" f, o, [5 E+ t# w域:选择Linux PAM
/ V; y  \6 r+ F, V0 x8 s9 u7 d8 B8,按照此方法安装全部服务器。8 z, x  b  {2 u$ u! j
7 更换软件源(三个节点都需要配置)
8 ~, z# i8 s: E* _  N7 |由于自带的软件源速度较慢,此处选择科大源:http://mirrors.ustc.edu.cn# f8 _' Z5 N3 ^& w
涉及的软件源有三个,分别为debain、pve、ceph,需要分别修改下列文件。4 {" M* [! q8 q3 G( {
名称 source文件路径8 {$ {  O/ ~# B+ l0 {; B6 n2 F
debain /etc/apt/sources.list
. A3 M3 W( e/ ~- a9 Fpve /etc/apt/sources.list.d/pve-no-subscription.list! m  q* a9 k) T) r9 H
ceph /etc/apt/sources.list.d/ceph.list. \& ^% p3 o2 U3 w6 f3 _
操作流程:3 I/ e; J3 c& E  _* }
1,通过web管理页面中的shell或ssh登录后台。
$ Y- t/ @/ H/ O( @
/ Z/ B4 H* ?. w; m9 K7 G0 Z 2,更换debian源:
, C6 o8 {* v) W+ q9 y2 M1 z1 Dawk* `! R: G5 s  [7 ?1 T/ D: [' B6 ^
vi /etc/apt/sources.list0 H" d! x" t. g, k5 w, ?
删除默认的源,替换为:/ ^, f& g  N; V9 ?
awk
" X- R$ `. `' J  _; h' }deb http://mirrors.ustc.edu.cn/debian/ buster main contrib non-free
* W! k: t# G# F9 t8 L  O3 C' r* R# deb-src http://mirrors.ustc.edu.cn/debian/ buster main contrib non-free
& K0 \. V! o7 I6 x/ A/ P4 f, p7 hdeb http://mirrors.ustc.edu.cn/debian/ buster-updates main contrib non-free- O; u! }* g, X# a8 r
# deb-src http://mirrors.ustc.edu.cn/debian/ buster-updates main contrib non-free
; M8 Z5 J3 H6 S1 Xdeb http://mirrors.ustc.edu.cn/debian-security/ buster/updates main contrib non-free, E( i; N+ b1 k/ `( _
# deb-src http://mirrors.ustc.edu.cn/debian-security/ buster/updates main contrib non-free
$ |5 b( R/ C* h3,更换pve源为非订阅源:% i- i/ m- G' w" p* b2 h+ W
awk* [0 P! {# T  V/ U9 p
    //备份默认源:
, a  l3 S2 e; t8 T: p+ i# |( j$ Amv /etc/apt/sources.list.d/pve-enterprise.list /root
. Z4 I. L' i! _: b4 R: s) [4 H    //创建pve-no-subscription.list文件:
9 _* z+ A* S" v+ J- R9 t. jvi /etc/apt/sources.list.d/pve-no-subscription.list" [% v" _0 ^6 e8 s% y0 L
    //增加以下内容:! o9 b% {( T$ o* `# N! g
deb http://mirrors.ustc.edu.cn/proxmox/debian/pve buster pve-no-subscription
/ B4 i+ V4 h$ j/ H. p/ S4,更换ceph源
0 g* ]4 X: q) d( m% c) `' pawk
+ i3 l5 \8 D4 [+ e    //创建ceph.list文件:
; M) R& m$ Q& v, C& Z9 X3 tvi /etc/apt/sources.list.d/ceph.list$ d1 B: F9 t) L6 _( D  M
    //增加以下内容:0 J8 \- S( A% U  g4 V4 C
deb http://mirrors.ustc.edu.cn/proxmox/debian/ceph-octopus buster main6 i0 @& S5 q" I2 \
5.更新软件列表
( T( M0 d5 m! f0 T( C8 J  j5 Xebnf
- h) ^" I6 K0 ]( japt update
) K. Z' y0 n7 H) N  f. Z8. 更新PVE至最新版本(按需)
$ f# o+ I# L; c根据实际需求决定是否更新为最新版本。
6 ^2 m: E) s% S" d4 n% w% Z1 u. G如需更新三台节点都需要执行:
2 z8 s' h2 r+ O% l0 ~; g2 k! eebnf4 h5 ^+ D3 @; f) k+ {$ B: ^8 t
apt upgrade
. Z7 f, p" R5 e1 v% Q! `* ?9 基础配置(三个节点都需要配置)
9 g8 v  ^. w- d# @9.1 安装ifupdown2/ M. K; Z% Y' A+ r
此组件用于配置网卡后重启网卡操作:
; s5 o# g$ v& w; v/ Z& [$ Zapache+ A  D: q$ y( X+ p/ u4 t9 _
apt install ifupdown2
1 q$ q& b3 S! [9 ?+ {2 V8 A( L, ~9.2 安装vim" L0 u$ S; Y. Y% M& f& x1 r3 E
cmake
- _. n6 \+ a) s( fapt install vim+ V3 Q9 Q+ t5 Q' a9 c5 B8 h
9.3 配置ntp服务+ Z6 `' {1 Z* R, E* w
1,配置统一的时钟源, _# M" f, c! ]# B
如果有条件建议在内网部署一台ntp服务器,所有节点与内网ntp同步时钟。
9 m: g! H! Q- a4 `, V0 R0 k$ o如果没有内网NTP服务器,可以采用下列NTP服务器
+ }! F& y$ h6 ^! l  H3 I+ Y4 ^stylus" P- H' ]/ _( Q) @. c' F
阿里云:ntp.aliyun.com
1 z" X% q% v. e) r国家授时中心:ntp.ntsc.ac.cn
8 l8 X- a# O  n; Z: ^, j/ k' m; g9 }2,将NTP取消注释,填写ntp服务器地址9 }& ]$ J, \1 `. `$ w
awk. k5 i/ R$ ^6 D3 n' C) w  b
vim /etc/systemd/timesyncd.conf
7 K; I/ v8 Q3 z  }9 R+ p$ O# [8 A9 V4 T: d8 U, W: X& J. V
3,配置完成后重启时间服务
& u" J5 N: V" Bebnf4 C: e0 y$ A! |/ P
systemctl restart systemd-timesyncd
( m5 }4 v' F7 }10 PVE网络配置(三个节点都需要配置)7 Q+ N. J: O( ]; v. p( N
10.1 PVE服务器网络拓扑
( p3 c" q* @3 w( m" c8 p# T: ~放一张图有助于理解配置,可以结合5.1.1章节拓扑图理解。- ?" r$ x+ F, S% d
  Z/ C! p* D) d2 C9 v
10.2 管理网络1 O5 Q7 \: W' G5 O/ H. |4 \( X
1,编辑vmbr0' y9 }& X6 l' ~! [( D1 S
移除eno0,以便于将eno0加入到bond0中
" c# C- d% x4 p7 a4 C; Z删除桥接端口中的eno0,然后点击OK。
/ Z( W! @8 a  y( O7 P2 l% D) Y. L* w! ~# Y% Q
2,创建bond0+ {$ W% x$ q) d9 V9 v" k
点击创建Linux Bond。- C. J4 Q- N3 j) m" q7 e' e
名称:bond0! f4 q& n$ f# p- b+ S8 m
slaves:eno0 eno1$ @+ ]: Q9 ^* p3 h/ e
模式:LACP (802.3ad)
1 o+ r% j: \3 z* b3 k7 S/ |$ IHash策略:layer2+3
( ~8 x( s# G3 ~  G  ^按以上参数配置,然后点击OK。
% @9 m7 C+ g. ?8 A3 t( [! k; g1 s
  G% A( B! p2 O. a2 @% ?+ X 3,编辑vmbr0" e$ P( ?* F$ q! B
桥接端口配置:bond0。
/ q& Q( p0 }) a  v0 T选中“vlan感知”选项,然后点击OK。! _( _$ X) L2 |+ K& ^1 S5 L# Z: w

( @7 s) b7 G0 I9 {4 S- E4,应用配置
5 K% |) b1 R) x1 i2 `如果感觉配置有问题可以点击还原按钮,还原为配置前状态。/ }4 l* ^3 S2 |& P5 N: X3 i
如果没有问题,点击应用配置使配置生效。& C4 z+ M0 W, h
网络配置不正确可能会导致无法管理节点,应用配置前请确认配置正确,如果出现无法管理的情况需要进入shell手动修改配置。/ w2 i' z: k! O" ?
10.3 业务网络; A; ~) a' P; ]1 [! G. h
业务网络配置与管理网络类似。" V+ ]; g* d/ K+ e3 ?/ x3 J
1,创建bond13 A. e, h$ [# L5 {9 v& a+ I1 p
点击创建Linux Bond。
# }" m. I3 O0 L7 P- C: f/ ^( f名称:bond11 v, Z2 P6 o! x3 C5 E  X
slaves:eno2 eno3( o4 x& h4 p( f& s' x
模式:LACP (802.3ad)
3 }- I) Z1 L1 w" C6 P( PHash策略:layer2+36 ]3 f. I/ d) j6 ]3 U- c1 L
按以上参数配置,然后点击OK。
  I0 ~  T( a' Q7 q3 d9 y0 o* c' n# H7 |; m) g# X
2,创建vmbr1
4 e/ h$ M0 x6 @  G9 V桥接端口配置:bond1。
+ B7 B; E3 j( h2 _3 i选中“vlan感知”选项,然后点击OK。( i; x8 s' \; u  M5 d! _3 n% K

9 L, w( X5 z1 J$ A% k) l& q 3,应用配置7 [" M4 V$ G) v7 Z4 V9 O! O; P; I
点击应用配置使配置生效。2 O' W' S3 r* v7 T) I; I( b
10.4 网络配置检查2 L$ |2 ~# p# Z  R# a2 a# f+ T7 S
在交换机中检查聚合接口状态是否正常。
: K  b. Q( ~0 x( q# D5 ^apache, M) N3 z& `# D$ g. ~9 G$ ?! M! o
display eth-trunk 1012 x. a; \9 E( J+ _5 V
display eth-trunk 102
, C; |' I- R4 P  x! n" sdisplay eth-trunk 103
9 Q% W$ N0 ~1 U  H! A/ U  O  Tdisplay eth-trunk 1042 h; s4 O3 G) B3 L4 M
display eth-trunk 105
; Z- e$ J0 t, {% Jdisplay eth-trunk 106
, T$ N9 b4 ^  i  Y0 K, O查看所有eth-trunk接口状态,Status为Selected,则聚合接口正常。
1 y( `2 \2 {+ C2 H7 u6 l( v, z, T1 A
11 集群组建
, o8 E3 F& w9 ]& ^7 G3 \: O创建集群,将三台节点加入同一集群。
6 `5 n; y- h, G1 L9 v8 X% z1,在其中一个节点上点击,”数据中心“ — ”集群“ — ”创建集群“。
5 D' x/ n' d% L# g6 Y5 k, {2,点击加入信息,复制加入信息。
' k! f) W" I- F# q) x) a* @& T( B- p' |: W  X) N
3,在其他两个节点上,点击加入集群,粘贴加入信息,然后输入第一台节点的root密码,即可完成加入。
8 k1 K) T- M9 X2 R  ?! q  }8 [, r  K, q0 v
4,加入集群完成后需要刷新页面才能正常使用,全部加入完成后,就可以在一个节点上管理集群中所有节点了。1 p, ]& V0 ?" u. B/ i6 ?3 e
* I$ F0 f2 d4 {" X$ X! {
12 ceph
7 c0 R& E  p  j5 t9 ^5 kCeph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。它可以将多台服务器中的硬盘聚合成一个集群,对外可提供文件存储、块存储、对象存储等多种形式,ceph的另一个特点是数据采用多副本方式存储,避免由于单点故障造成的业务中断和数据丢失。* O# o# Y3 D$ R
PVE自带了ceph的图形化安装、管理工具,集群搭建完成后,可以快速完成ceph的安装、配置。同时pve也提供命令行工具,可以使用命令行对ceph进行自定义配置。  z, V8 Q  E% ?1 c+ x; V8 R9 X
12.1 ceph磁盘规划
+ w! ~' A6 E5 l) w- z6 ?我的环境中,sda到sdh为8块HDD硬盘,sdi到sdl为4块SSD硬盘。$ W3 |' Q) c$ F( `2 ^# ?& @9 a" x
为提高hdd的性能,我们将sdi作为所有hdd硬盘的DB盘,将sdj作为所有hdd硬盘的WAL磁盘。0 {1 Q1 u, R9 B7 H  [5 D
请注意DB盘和WAL盘不能相同,如果只有一块SSD可以将SSD分为两个区,分别作为DB盘和WAL盘。" H, ?. d2 n- v% k: E# t
分区建议:根据PVE文档建议,DB盘容量=数据盘总容量10%,WAL盘容量=数据盘总容量1%,假设数据盘共8T,则DB分区容量需>800G,WAL分区容量需>80G,考虑到单位换算及损耗,需要适当增加容量,请根据实际情况规划。
7 r- ~9 k  c! z9 ?' k+ J( [+ o详细规划如下:,
1 i; a6 _* G; K. k7 |& l物理路径    磁盘类型    DB磁盘    WAL磁盘    角色
- B6 u. X7 p* x3 W/dev/sda    HDD    /dev/sdi    /dev/sdj    数据盘
% i7 n9 {5 v' H% A# `/dev/sdb    HDD    /dev/sdi    /dev/sdj    数据盘
3 O' g) V0 s5 O% E" e/ q/dev/sdc    HDD    /dev/sdi    /dev/sdj    数据盘& i+ j) W: s& f) x6 U) k% H' c
/dev/sdd    HDD    /dev/sdi    /dev/sdj    数据盘
. i1 C1 T5 N7 `/dev/sde    HDD    /dev/sdi    /dev/sdj    数据盘" ~: _2 V& _0 g% J
/dev/sdf    HDD    /dev/sdi    /dev/sdj    数据盘( P' j! Q, P- d- p# |: m# k, j4 ]
/dev/sdg    HDD    /dev/sdi    /dev/sdj    数据盘
# O; Q% ]8 s* e/dev/sdh    HDD    /dev/sdi    /dev/sdj    数据盘
7 {7 d+ K: n! }/ w/dev/sdi     SSD    不适用    不适用       DB盘6 S  t3 v5 c# _1 Y. Q3 n" Y
/dev/sdj     SSD    不适用    不适用       WAL盘
9 F9 P& V0 c! x. ]7 [9 J+ H- ]; d/dev/sdk    SSD    /dev/sdk    /dev/sdk    数据盘( x0 q* a3 K9 {. f: r! o
/dev/sdl    SSD    /dev/sdl    /dev/sdl     数据盘
1 J  y; |# ]3 J( J; V4 A12.2 ceph安装
5 k% a/ l9 d0 ~7 r2 R在全部节点中,安装ceph组件。
) ^1 N" a& ?* S0 {% F. T, a1,选择节点 — ”ceph“ 点击 ” Install ceph ”
' }$ c& C& Z3 s2 f2 W4 p5 F4 r: D: h! S0 B$ O9 N+ Y
2,选择版本,此处选择 “ 15.2 ”
8 T* ]5 U6 I  |: g" A6 K& k) k: }5 O* z8 D2 ~; A1 X+ L4 Z1 ~
3,入 ” Y “ 开始安装
1 W8 a: s* Y$ A& A' ^/ g如果软件包下载速度较慢,可以先安装一台,然后将安装包拷贝到其他节点相同路径中。7 J8 c  s' M5 z" C7 B( I
安装包保存路径:/var/cache/apt/archives
# e7 d: L1 k3 Q; b8 `: D! W/ w
9 w. k+ o/ r* R9 x12.3 ceph配置, L+ k/ s& E5 }( s8 d: I; Q
此配置是将ssd硬盘和hdd硬盘分别创建pool,分别为sdd_data和hdd_data,如需将ssd作为hdd的缓存层请关注我的后续文章。5 F' W. G  D4 H& ^* c( N$ c9 @6 |

' @3 X% d' l& A; ~# t0 o12.3.1 创建osd- F# Z4 N6 d, q: _
在 ”ceph“ — ”osd“ 选项卡创建OSD。
* F9 W( [3 K* s4 ?正常情况下磁盘类型会自动识别,如果识别的不正确,注意手动调整。
4 Z" U* D) _+ R1 L创建方式如下:
: S; y* d5 z( xHDD盘
" f" G" S5 L1 ^5 G: _! s1 C7 N    创建hdd时注意选择DB和WAL磁盘。# G7 o6 C0 A8 C7 P4 v

" n7 l; |. f  USSD盘
# N+ i8 }8 p( c  |8 \9 y. N# M" ?- o
如果创建时类型选择错误,可以用命令行修改:
" c' {; [  y  Y  C5 Q( d2 H4 a假设osd0需要更改。. I: q- ?% y2 I  }. X
1,删除osd类别信息1 S0 D  G0 g) a+ s5 H6 c
stata  w# \" ]8 r. d: V6 B  [; U
ceph osd crush rm-device-class osd.0
$ i& P- S: A' J6 e7 z$ n2,设置osd类别信息% u" m, m) T6 q, c8 B/ `$ V
dsconfig
; ?' R7 I9 Y7 }+ C5 wceph osd crush set-device-class ssd osd.09 C9 w9 X4 `1 B% ?, a+ K
12.3.2 创建class rule
1 k: |( s, ?  T. O/ n创建HDD rule6 R5 M6 M; h* L7 ?0 Q# }! W
dsconfig; I9 W2 j" d- h8 i* @( L  }1 R
ceph osd crush rule create-replicated ssd_rule default host ssd
8 m7 Y) J2 i9 U7 K. A创建SSD rule
4 t8 t( c( J1 }1 i" |" hdsconfig) f& W8 n3 S  d; J( G8 s
ceph osd crush rule create-replicated hdd_rule default host hdd$ l. r% W- B. v' S$ b+ p/ |
12.3.3 创建存储池2 k  y9 ~' r5 ^# r
创建HDD pool
) {3 O; {* i0 _( x% debnf1 J: u6 _% J' S1 J5 Q# t8 V
ceph osd pool create hdd_data hdd_rule- P1 t* ^6 }3 X% W6 D
创建SSD pool& A  x' G) g$ f4 L0 d2 g
ebnf+ V4 t* @. `9 t1 G9 x) e6 t5 a
ceph osd pool create ssd_data ssd_rule7 V' d, K+ C6 S8 b8 c: Y
12.3.4 添加存储池至PVE2 Q3 U3 I; o, L% r4 g
”数据中心“ — ”存储“ — ”添加“ — ”RBD“。1 E, f' H" y. M4 Z' M
添加hdd存储池:
( m; z. a, F9 b6 J  q  W; h: m( I8 K: }% {9 b- z9 ?
添加ssd存储池:' N; v2 P2 q. C) o; E/ J
  ]0 i" I, B- V; {: E1 C7 g! Q: N/ M
13 安全加固
  R" }' I, c5 D* H* H  I13.1 配置公钥登录* V; t6 A  I' ]# M/ g# A9 u
1,禁止ssh使用密码登录8 a' E8 h1 f, @$ Y# L- W4 F3 V
vala
) a5 p, X0 j' G4 E4 v! p  T#编辑sshd配置文件) n- w4 e3 M) e
vim /etc/ssh/sshd_config  f. B! Q2 l% S7 F# I
#将下列配置添加到最后一行6 v" H9 W# D6 P0 c" u- ?
PasswordAuthentication no4 O+ Z7 w8 P; {/ \' Y, }
#重启sshd服务9 I# G  M, V7 I. |
systemctl restart sshd
* h  G; w; e+ R+ Y7 D! Y1 W8 R2,生成密钥对! t$ u3 Y* S9 U6 H/ r
以xshell为例,生成密钥
0 J1 W/ R: m& l  q' H. [+ i
5 L4 \+ g% m8 g设置名称及密码+ W+ j5 L, ^! [5 \4 f7 R! ?
设置密码为可选项,为保证密钥安全,建议设置。; ~& o4 `) V9 z0 G9 S! `9 N) [

; ?! ^  t6 `/ \  X$ t! S3,将公钥上传至服务器中+ R/ K4 M- r; S. Y9 f9 m$ f+ u

* m6 K; p8 F! Rawk
9 w6 ?* w( J7 [3 @" p4 S6 hvim /root/.ssh/authorized_keys* r* J3 ?' i+ T' U8 Y
13.2 配置OTP登录
# F1 C+ g( d( O3 m" W0 f1 z  e1,下载google身份验证器,
* r% Z# [% k7 V. v    安卓" I# |1 l% f( k: Y+ n0 Y. W( D$ O2 c/ m
链接: https://pan.baidu.com/s/1R9u24JaTCj_0EMLJLpy9AA 提取码: 59ca 复制这段内容后打开百度网盘手机App,操作更方便哦
7 ]4 F) s5 g( A8 q--来自百度网盘超级会员v6的分享
* M3 @" S) P% Z( B4 k  # |! R9 c- q* v1 p2 k1 q
    苹果
9 g! F9 y8 J$ R) m0 J    在app store中搜索“Google Authenticator”: u  Q- A* x. j! A, a3 G
2, 添加令牌
; }# ~/ V+ O9 P6 z( n! o    点击右上角用户名 - TFA,扫描二维码添加令牌,将令牌中显示的数字输入下方验证码框中,点击应用即可。
- c2 V7 g- D, v( r, M4 J1 y
6 v- B! H& x0 A, F. i7 n. M3,为防止手机故障造成令牌不可用,请备份令牌5 @2 H; U, n4 v- F& n
点击右上角三个点,选择转移账号,导出账号,选择需要导出的账号,备份此二维码或使用其他手机扫描此二维码。需要恢复时,用其他手机扫描此二维码即可。  j' ]* w0 K+ {: A
% z% R: \; ^6 t% A0 z; H
 楼主| 发表于 2021-7-12 10:00:12 | 显示全部楼层
5.2 网络配置" K. K+ d2 t! K1 `
以华为交换机为例。
& e/ \) C& D; x3 U# K5.2.1 创建vlan:: y) X! @4 c' [+ _
apache
0 R- r! z  z$ L- f9 k' s vlan batch 3 to 5 8 Q/ N: z, B5 t( ]
5.2.2 创建vlan-if(网关):
: U, e+ x, Q, [" |' m2 Tapache
  R# e- @# U; m5 }0 Z* x interface Vlanif1      //vlan1,管理网络网关5 T8 v+ Y; ^) ^9 `/ z
ip address 10.1.1.254 255.255.255.0
2 ]) r! f- b0 K; d6 Z interface Vlanif3      //vlan3,业务网络网关
1 B0 w. H4 V5 _ip address 10.1.3.254 255.255.255.0- ^& x* D( D- ^+ w" P
interface Vlanif4      //vlan4,业务网络网关( o6 R. Z- `- N
ip address 10.1.4.254 255.255.255.0
  u8 \4 I' W  ?0 C9 x interface Vlanif5      //vlan5,业务网络网关' ~, f4 l6 c3 I( n
ip address 10.1.5.254 255.255.255.0) E+ M4 P  f% A( q% t, e: l. j/ V/ m
5.2.3 创建聚合接口(eth-trunk):
" n+ D1 N! O+ S4 ^# }2 O/ V6 H7 Bapache6 b) X9 p( N' P* E
interface Eth-Trunk101    //用于节点1管理口
8 e1 U9 G$ X2 i8 odescription to-pve1-mgmt
! y, c5 i. r5 [% v/ V5 xport link-type access
$ g3 |' g% z# g( `% ]mode lacp1 a+ O5 v# ]9 v7 y
#7 b/ `( B1 S% [( A" S
interface Eth-Trunk102    //用于节点2管理口
4 P! a3 |& c$ q* ]* t# \  Wdescription to-pve2-mgmt+ e* [6 M' |; A7 k1 D$ \: r
port link-type access
; E8 Y+ d/ ^# g/ Vmode lacp% u2 F+ L* [6 A3 l- t
#
- z" |6 \. T+ D- b4 I interface Eth-Trunk103    //用于节点3管理口( m) R- [+ ~" c/ ]& C- n# K
description to-pve3-mgmt7 ]) R9 A- x- e4 e) f- t
port link-type access2 n5 x5 n, y1 I% J% L
mode lacp
5 I$ ]6 C, n8 J) L  o, Y( m #
) M# X6 b7 G4 O3 |* _* U- ~ interface Eth-Trunk104    //用于节点1业务口) U$ O2 `7 e8 K+ _3 o7 L, R) _
description to-pve1-yewu
. I3 l2 w8 e3 _  J, P% A! @' sport link-type trunk$ r7 [, y, {1 M6 e% E
port trunk allow-pass vlan 2 to 40940 k' V. H) y8 e9 N* N
mode lacp; y5 {/ \. K/ h! O
#& q- W* [6 R* s
interface Eth-Trunk105    //用于节点2业务口* n8 z% y5 O3 i. Y- u& S, q
description to-pve2-yewu
5 |& Q! Q) n  ?" @9 Hport link-type trunk
# y6 z( U. A8 \+ E  hport trunk allow-pass vlan 2 to 4094% g# n$ Y7 ]( k9 x) f
mode lacp) l" C# i( g, r# ]
#
+ l- y: |3 G0 V9 w4 s interface Eth-Trunk106    //用于节点3业务口
( Z* r6 N( F3 f4 Y3 r& Ldescription to-pve3-yewu
" F" P9 k. q; L2 i- ?( v5 jport link-type trunk
* v/ A  }4 c5 z  a$ sport trunk allow-pass vlan 2 to 4094
. z" Z9 x- C" Y2 T3 @& D* }mode lacp' Y  H" R1 E! [% e/ @7 l7 t; k9 _
5.2.4 物理接口加入聚合接口% K8 E1 t! [8 h' Z8 i/ x
apache$ ?" P. ?/ n+ z& q3 k2 F6 ~
interface GigabitEthernet0/0/10    //连接节点1管理口eno10 R* C8 ]' i* B6 G& ~  D- T- O  A
description pve1-mgmt-eno1
5 l& h& ^- D. n5 G. y+ U, w8 ueth-trunk 101$ `9 S( A1 i: `4 V
#3 n% a3 e4 }! C0 |
interface GigabitEthernet0/0/11    //连接节点1管理口eno24 E# e2 l) ^. h& M1 p) S
description pve1-mgmt-eno2# o1 i- l+ U9 z# m. E
eth-trunk 101
9 A5 p. w; Z( Z. v0 j+ L #
* p& A1 [  g4 u4 y% a- G interface GigabitEthernet0/0/12    //连接节点2管理口eno1
8 Z4 p& d- y. }, V3 _9 a1 ^0 ndescription pve2-mgmt-eno1
. A: }# e9 |7 t% Q$ ]; ~8 keth-trunk 102
% n  q& B' g& U2 o& J- g9 c #
5 x( v% ]) C% b- r) { interface GigabitEthernet0/0/13    //连接节点2管理口eno2
% r/ P$ W' C4 b0 B3 I7 E4 ?description pve2-mgmt-eno2
8 t9 U$ ~( F: `, X& Seth-trunk 102
" s4 `$ p. m* @5 _+ v( D. g #
3 }0 Q+ K( y: n3 X$ P interface GigabitEthernet0/0/14    //连接节点3管理口eno1' B' F9 L& H7 t9 @, [; ^1 f
description pve3-mgmt-eno1
+ T) i4 ^6 c! s# r3 E+ }eth-trunk 103* c( q0 `$ |6 n  Z6 n- r4 d- t3 X# _
#$ z" h# @  C3 \( M- P& D& o+ Y
interface GigabitEthernet0/0/15    //连接节点3管理口eno2+ Z9 V3 Q* I$ b/ K" p: [
description pve3-mgmt-eno2$ J' H* o) R( D% z
eth-trunk 103+ n; B, q6 n7 P6 u: b
#+ ?4 e0 V* ]/ j/ `
interface GigabitEthernet0/0/16    //连接节点1业务口eno3
, c* ]4 Z1 v8 h2 V4 fdescription pve1-data-eno3. l6 t; n) u. D" S6 `, }
eth-trunk 104
9 n/ _+ h1 ?) J4 [* W0 D- `6 O$ f #
, H; M/ r' S1 f' u8 ~" E interface GigabitEthernet0/0/17    //连接节点1业务口eno4/ A' C% ]/ D) I5 X5 h+ s7 c
description pve1-data-eno49 `6 w* x& {( C" g8 i- a  i
eth-trunk 1046 d$ F- ^  b, Z0 y! V
#/ H: s: ]  K2 A' ]4 u% i
interface GigabitEthernet0/0/18    //连接节点2业务口eno3
% i2 x8 @  L% R5 ?  Hdescription pve2-data-eno3  h3 h7 i+ H0 n) A3 v1 i! _
eth-trunk 105
) D' \0 R  f- ?8 _' x #; W# y9 M. \* H3 m6 k- m5 r
interface GigabitEthernet0/0/19    //连接节点2业务口eno4
  Z; f  y- _% mdescription pve2-data-eno4
0 O" S8 l& _5 c3 ~, U) i2 teth-trunk 1056 [* k% j: D: V) A& w1 r' l
#* S+ z/ Q$ `+ @; Y" Z# k+ r
interface GigabitEthernet0/0/20    //连接节点3业务口eno3
$ q. i5 s" }! ?+ K1 x3 Ydescription pve3-data-eno3
  [: X1 L+ X. _( w/ [3 h1 o) y( ^eth-trunk 106
1 K& T5 I2 X( H% l$ z #* W1 y9 ]7 Z* C  x
interface GigabitEthernet0/0/21    //连接节点3业务口eno4
4 G' O" u2 C3 E. J. _8 _+ Z0 Y5 }description pve3-data-eno4$ q( ^0 m1 l# o' ^: P3 F5 h
eth-trunk 106- O1 v2 @8 P$ W" a" T0 P
6 PVE安装, c9 Z. N' n4 b) [9 i7 k
1,选择第一个选项,安装PVE
您需要登录后才可以回帖 登录 | 开始注册

本版积分规则

关闭

站长推荐上一条 /4 下一条

如有购买积分卡请联系497906712

QQ|返回首页|Archiver|手机版|小黑屋|易陆发现 点击这里给我发消息

GMT+8, 2021-9-27 01:54 , Processed in 0.053585 second(s), 21 queries .

Powered by LR.LINUX.cloud bbs168x X3.2 Licensed

© 2012-2022 Comsenz Inc.

快速回复 返回顶部 返回列表