3. 3
Global File
System
MPIO
Red Hat Enterprise Linux
JBoss Application
Platform
JBoss Portal Platform,
JBoss jBPM, Rules
JBoss SOA Platform,
Jboss ESB, MetaMatrix
Veritas
Storage Suite
EMC PowerPath
AIX, HP-UX, Solaris
BEA WebLogic Server,
IBM WebSphere
BEA/IBM Portal,
BEA BPM, ILOG JRules
AquaLogic ESB, IBM ESB,
BEA DataServices,IBM EII SOA / ESB 제품
포탈 / BPM 제품
WAS 제품
운영체제 제품
저장장치 제품
클러스터 파일시스템
플랫폼 제품개요
오픈소스 컨설팅에서 서비스를 제공하고 있는 레드햇의 제품군은, 미들웨어 제품인 Jboss 뿐만 아니라
가상화, 고가용성 솔루션까지 오픈소스 환경의 Best Practice를 제공하고 있습니다.
4. 4
RHCS (RedHat Cluster Suite)는 레드햇 엔터 프라이즈 리눅스에 포함되어 있는 오픈소스 기반의
고가용성 어플리케이션 시스템 입니다.
클러스터 제품소개
구분 세부내용
저비용 / 고효율
서브스크립션 기반의 제품으로 저비용으로 고효율의 고가용성 시스템을 구축가능
N개의 클러스터 노드 구성으로 인한 유용성 확보
고가용성을
위한 핵심 기능제공
오픈소스 기반의 SAN 이중화 솔루션 제공 (DM-I/O Multipath)
클러스터 관리를 위한 GUI 인터페이스 및 Locking 매카니즘 제공
다양한 I/O Fencing 범용 매커니즘 제공
고가용성 지원
어플리케이션 Fail-over 기능지원
어플리케이션 확장성 및 데이타베이스 Fail-over 기능지원 (Oracle, Mysql)
최대노드 지원 최대 16개의 클러스터 노드 지원
파일시스템 가용성
NFS/CIFS의 파일시스템에 대한 고가용성 지원
클러스터 기반의 GFS (Global File System) 지원
관리 인터페이스 클러스터를 관리하기 위한 Conga 관리 인터페이스 제공
5. 5
운영체제 설치방안
RHCS (RedHat Cluster Suite)를 구성하기 위한 운영체제의 설치 구성은 아래의 구성방식이
일반적입니다. Third-Party 또는 Oracle 설치에 따라서 파티션 구성은 조금씩 달라질수 있습니다.
구분 세부내용
패키지 설치
운영체제에 대한 패키지 설치는“전체설치”를 권장하고 있습니다.
클러스터를 설치하기 위한 그룹은 “Cluster Storage” 그룹은 반드시 설치해야 합니다.
/ 파티션 설정
운영체제의 기본이 되는 루트 (/) 파티션의 설정은 가능한 많은 용량을 할당해 주는 것이 좋습니다.
Third-Party 솔루션이 설치되는 경우 Thirt-Party 솔루션사의 의견을 반영하여 사이즈를 하는것도
권장할수 있습니다.
/var 파티션 설정
/var 파티션의 경우 시스템의 Log의 수집 여부에 따라서 용량을 할당하는 것이 좋습니다.
간혹Third-Party 의 경우 Log 를 수집하는 파티션을 별도로 구성하는 경우가 있습니다. 운영체제 설치시
반영하여 설치하는 것도 솔루션 운영에 필요할수 있습니다.
/boot 파티션 설정
리눅스 운영체제의 커널이미지 영역을 담고 있는 /boot 영역을 별도의 파티션 영역으로 구분하여 설치는
하는 것도 좋습니다. (ex: 커널 이미지 관리 용이)
/swap 파티션 설정
일반적인 swap 영역의 경우 Real Memory의 2배 정도의 용량을 권하고 하고 있습니다.
8 Page RedHat Swap Memory 용량 산정에 대한 근거 URL 참조
6. 6
운영체제 설치방안
Swap 메모리 산정근거
https://access.redhat.com/knowledge/docs/en-US/Red_Hat_Enterprise_Linux/5/html/Deployment_Guide/ch-swapspace.html
7. 7
2-Node 클러스터 구성방안
Router
Switch1 Switch II
Node 1 Node 2
Eth0 Eth1 Eth0 Eth1
Eth2 Eth3 Eth2 Eth3
bond0
bond1
bond0
bond1
Switch1 Switch II
II.스위치 이중화
Fence Fence
I.스위치 이중화
구분 세부내용
쿼럼 디스크
Qdisk를 제거하여 클러스터 구성합니다
Qdisk를 제거함으로써 운영상의 Failure Point 제거 합니다
전체적인 네트워크의 안정화가 중요합니다
네트워크 구성
HeartBeat Network 및 Fence Network 동일한 네트워크
에서 통신할수 있도록 구성되어야 합니다.
각각의 노드들은 이더넷 본딩(Bonding)을 구성합니다
운영체제 설치
설치전Third-Part 솔루션과 호환문제 있는지 확인이
필요합니다.
패키지 구성 패키지 설치는“전체설치”로 설치진행
2-Node 클러스터 구성 제안
8. 8
레드햇 클러스터 Fencing 정의
1. Fencing 의 사용 목적
- RHCS의 Fencing 매커니즘은 클러스터 시스템의 Planned 또는 Unplanned 다운 이벤트가 발생했을 경우
데이터를 보호하고 서비스를 유지하기 위한 기능입니다.
- 공유자원을 안전하게 제어한 상태에서 노드를 활성화 시키기 됩니다.
- 커널 패닉 (Kernel Panic)
- System Freeze
- System Hangup
- Live Hang / Recovery
2. Fencing 의 종류
- Power Fencing : 서버의 Management Module 또는 APC switch를 이용하여 Fencing을 시도합니다.
- SAN Fence 및 SCSI-3 PR Fence : SAN Port 또는 디스크의 SCSI-3PR 방식을 이용하여 Reserved된
디스크를 Standby 노드로 옮기게 됩니다.
9. 9
node1 node2
Fencing Module Fencing Module
Heartbeat
Resource
Group
Resource
Group
Rgmanager
cman
cman
Rgmanager
SAN
장애발생
Power Fence
System Rebooting
fence_node
HP: iLo
Dell: Drac
IBM:IMM
HP: iLo
Dell: Drac
IBM:IMM
서비스 전환
Fencing의 종류 (Power Fence)
10. 10
Fencing의 종류 (SCSI Fence)
node1 node2
Fence
deamon
Fence
deamon
Heartbeat
Resource
Group
Resource
Group
Rgmanager
cman
cman
Rgmanager
SAN Switch
장애발생
fence_scsi
Step 1
Node1 에 연결된 볼륨의
SCSI Persistant
Reservate Key
Remove
(scsi 3 pr)
Step 2
Node2 에 연결된 볼륨의
SCSI Persistant
Reservate Key
Register
(scsi 3 pr)
Step 3
Step 4
SPC-3
Compliant 지원
서비스 전환
11. 11
Fencing을 위한 네트워크 구성 (Power Fence)
1. Fence 네트워크 구성
- Fence 네트워크는 Active Node가 문제가 발생됐을 경우 문제가 있는 노드를 클러스터 멤버에서 제외시키기
위해서 Fence 신호를 전달하게 되고 전달된 Fence 신호는 Heat Beat 망을 거쳐서 Fence Device 로 전달
문제있는 시스템을 Re-Booting 시키는 매커니즘으로 동작하게 됩니다.
- Fence 신호가 정상적으로 전달되기 위해서는 Fence 망과 Heart Beat 망간의 통신이 원활하게 진행되어야 합니다.
- 용도별 네트워크가 분리되어 있어도 Fence 망과 HeartBeat이 통신할수 있도록 Routing table이 구성되어 HB망과
Fence 망간의 통신이 원활하게 이루어 지도록 구성되어야 합니다.
Node A Node B
Switch
Fence
Heartbeat
Node A Node B
Fence
HB
SERVICE
Routing
Table
2-Node 클러스터 구성 1 2-Node 클러스터 구성 1I
12. 12
Fencing을 위한 네트워크 구성 (SCSI Fence)
1. SCSI Fence (SCSI-3 PR)
- SCSI Fence 를 사용하기 위해서는 각각의 스토리지에 SCSI-3 PR 프로토콜이 제공되어야 합니다.
- SCSI-3 PR 프로토콜의 경우 각각의 스토리지 벤더 별로 제공여부에 대해서 확인이 필요합니다.
Node A Node B
SCSI-3 PR ?
13. 13
2-노드 클러스터 qdisk 사용여부
2-node 구성시 qdisk 사용여부.
1. Qdisk (Quorum) 의 사용 목적
- CMAN HeartBeat Network 과 Fence Network 가 분리되어 구성되어 있을 경우 2-Node 에서는
Split-Brain으로 인해 서로 Fencing (Kill) 하는 현상을 방지하기 위함 입니다.
- CMAN의 HeartBeat Network와 Fence Network가 동일한 네트워크에 구성되어 있으면 Qdisk
(Quorum disk)를 사용하지 않아도 2-Node 클러스터를 구성할수 있습니다. (참조: 슬라이드 10Page)
2. Last Man Standing 구성은 (quorum vote = node수 -1)
3. Totem Token >= 2*qdisk timeout (interval*tko)
- qdisk timeout 은 Multipath timeout의 시간보다 많아야 합니다. (qdisk timeout > multipath timeout)
- RHEL6.3 이상에서는 token 값만 늘리면 자동으로 설정됩니다.
- Heavy IO 상황에서는 qdisk interval을 3초이상으로 설정합니다.
- Heuristic 설정을 통해 실제 live node를 판단합니다. (qdisk가 없을 경우 설정할 필요가 없습니다)
- Deadline IO scheduler를 사용을 권장 합니다. (ex: tuned-adm profile enterprise-storage)
14. 14
Qdisk 적용에 대한 의견 (RedHat)
https://access.redhat.com/knowledge/articles/40051
Using Quorum Disk and Tweaking Cluster Membership
Timers
The use of qdiskd with Red Hat Clustering is optional in most cases.
The exception is a configuration with a two-node cluster where the fence devices
are on a separate network from the cluster heartbeat network,requiring a quorum
disk to prevent split-brain situations from causing a fence race. This configuration
mandates a review by Red Hat.
The use of qdiskd for clusters with more than four nodes is not recommended as it
adds additional complexity with very little benefit. Because it is highly unlikely that
more than 50% of the nodes will fail in a cluster that has more than four nodes at the
same time, users are advised against using qdiskd in such situations. If you have an
absolute need to use qdiskd for clusters with more than four nodes, your cluster
architecture must be reviewed so that Red Hat can confirm and approve the use of a
quorum disk
2-노드 클러스터 qdisk 사용여부
15. 15
Fence 및 Heartbeat 망이 분리될 경우 시스템 클러스터 대안
1. 구성제안
- Fence 망이 분리되면 OS에서 Fence 인터페이스를 Ethernet 으로 인식할수 있도록 구성 합니다.
- 서버에 Ethernet Card를 추가 장착하여 Fence 네트워크의 같은 대역대에 연결 합니다.
- Fence Ethernet와 서버의 IPMI 인터페이스가 서로 통신할수 있도록 환경을 구성 합니다.
- Fence Ethernet이 분리되어 구성될 경우 Qdisk를 사용하여 LastMan Standing 구성을 해주는 것이 좋습니다.
Node A Node B
Fence
HB
SERVICE
