Open source apm scouter를 통한 관제 관리 Jadecross 정환열 수석

1. 1
© Copyright JADECROSS 2015
Open Source APM Scouter를 통한 관제 / 관리
정환열 수석
coordinator@jadecross.com

2. 2
1. SCOUTER 개요
2. SCOUTER 기능
 OS 모니터링
 WAS 모니터링
 Application 모니터링
 XLog
3. 활용 방안
4. Q&A
차례

3. 3
1. SCOUTER 개요

4. 4
Enterprise IT System
WEB DBClient WAS
Monitoring

5. 5
모니터링의 진화
System
Network
Database Service
Enterprise System
 Cloud
 Open Source
전사적장애관리
통합자원모니터링
서비스모니터링DB 모니터링
???

6. 6
SCOUTER 프로젝트
https://github.com/scouter-project/scouter

7. 7
Scouter 특징
Open Source Software
Web Application Monitoring(APM)
Real-time Monitoring
XLOG & Profiling Feature
Stack Frequency Analyzer

8. 8
Scouter 구성요소
<Components>
• Hiperic/Sigar
• OW2/ASM
• JSQLParser
• HyperLogLog

9. 9
2. SCOUTER 기능

10. 10
데모 환경

11. 11
OBJECT
Hardware
OS SocketDisk Buffer
File Cache
IPC
Java VM Heap Memory Thread
Application
Server
Data Source EJB
Pool
Application
Connection Pool
Cache
Thread Pool
Http Session

12. 12
Linux Monitoring (1/2)
 Performance Counter
성능 지표 단위 설명
CPU % CPU 사용률
Memory % 메모리 사용률
Memory |
Available
MB 사용가능 메모리
Memory | Total MB 전체 메모리
Memory | Used MB 현재 사용 메모리
Net | NetInBound cnt InBound 패킷 수
Net |
NetOutBound
cnt OutBound 패킷 수
Swap | PageIn cnt Swap 파일에 write한 Page 수
Swap | PageOut cnt Swap 파일에서 read한 Page 수
Swap | Total MB Swap 메모리 사이즈
Swap | Used MB Swap 메모리 사용량
Net | TcpStatCLS cnt CLOSED 된 Connection 수
Net | TcpStatEST cnt ESTABLISED 된 Connection 수
Net | TcpStatFIN cnt FIN_WAIT 상태의 Connectin 수
Net | TcpStatTIM cnt TIME_WAIT 상태의 Connection 수
Hardware
OS SocketDiskBuffer
FileCache IPC
JavaVM HeapMemory Thread
A pplication
Server
DataSource EJ
B
Pool
Application
ConnectionPool
Cache
Thread Pool
HttpSession

13. 13
Linux Monitoring (2/2)
 Object Request
항목 설명
Env
자원 모니터링하는 agent.host 기준으로
OS 환경 변수를 출력
Top Top Process 목록 출력
Disk Usage 디스크 사용량 출력
Hardware
OS SocketDiskBuffer
FileCache IPC
JavaVM HeapMemory Thread
A pplication
Server
DataSource EJ
B
Pool
Application
ConnectionPool
Cache
Thread Pool
HttpSession

14. 14
Tomcat Monitoring (1/2)
 Performance Counter
성능 지표 단위 설명
Active Service cnt 현재 처리중인 서비스 개수
Elapsed 90% ms 상위 90% 서비스의 평균 응답시간
Elapsed Time ms 평균 응답시간
Error Rate cnt 에러가 발생하 서비스 비율
GC Count cnt Garbage Collection 횟수
GC Time ms GC 수행에 소요된 시간
Heap Total Usage MB Heap Memory 사용량
Heap Used MB Heap Memory 사용량
Perm % % Permanent Getneration 사용비율
Perm Used MB Permanent Generation 사용량
Process Cpu % JVM 프로세스 CPU 사용률
Recent User cnt
최근 5분동안 방문한 Unique사용
자 수
Service Count cnt 서비스 호출 건수
TPS tps 초당 트랜잭션 처리건수
Today Visitor cnt 금일 방문자 수
Hardware
OS SocketDiskBuffer
FileCache IPC
JavaVM HeapMemory Thread
A pplication
Server
DataSource EJ
B
Pool
Application
ConnectionPool
Cache
Thread Pool
HttpSession

15. 15
Tomcat Monitoring (2/2)
 Object Request
항목 설명
Thread List 현재 실행중(RUNNABLE)인 쓰레드 리스트
Active Service
List
현재 실행중인 서비스 목록 출력
Loaded Class
List
로딩된 클래스 목록 출력
Heap
Histogram
Heap Memory 인스턴스 현황 출력
Thread Dump 쓰레드 덤프 생성
Env WAS(tomcat) 환경변수 출력
Socket WAS에서 오픈한 소켓 리스트 출력
System.GC 강제적으로 GC 수행
Reset Text
Cache
Text Cache Clear
Heap Dump hprof 형식의 Heap Dump 생성 및 출력
File Dump
서버쪽에 dump 파일 생성
 Active Service List
 Thread Dump
 Thread List
 Heaphisto
Hardware
OS SocketDiskBuffer
FileCache IPC
JavaVM HeapMemory Thread
A pplication
Server
DataSource EJ
B
Pool
Application
ConnectionPool
Cache
Thread Pool
HttpSession

16. 16
Request Processor Monitoring
 Performance Counter
성능 지표 단위 설명
Bytes Received bytes 요청된 Request의 Bytes
Bytes Sent bytes 응답한 Response의 Bytes
Error Count cnt Reqeust 중 에러가 발생한 횟수
Processing Time sec Request에 평균 처리시간?
Request Count cnt 서비스 요청 건수
Hardware
OS SocketDiskBuffer
FileCache IPC
JavaVM HeapMemory Thread
A pplication
Server
DataSource EJ
B
Pool
Application
ConnectionPool
Cache
Thread Pool
HttpSession

17. 17
DataSource Monitoring
 Performance Counter
성능 지표 단위 설명
Conn Active cnt Active Connection 수
Conn Idle cnt
Pool에 대기하고 있는 Idle
Connection 수
Hardware
OS SocketDiskBuffer
FileCache IPC
JavaVM HeapMemory Thread
A pplication
Server
DataSource EJ
B
Pool
Application
ConnectionPool
Cache
Thread Pool
HttpSession

18. 18
XLog 개요
 하나의 트랜잭션(서비스 수행)을 하나의 점으로 표현하는 차트
 X 축 : 종료 시간
 Y 축 : 응답시간

19. 19
XLog - Profiling

20. 20
XLog - Pattern

21. 21
XLog – Pattern Demo

22. 22
MariaDB Monitoring

23. 23
3. SCOUTER 활용방안

24. 24
SCOUTER Position
OS/network
WAS system
Service level
Application
개발 테스트 운영
코딩 / 개발
단위
기능테스
트
통합테스트
부하테스트
성능테스트
통합테스트
가오픈테스트
모니터링
유지/보수
D : SCOUTER
A B
C
E
SCOUTER의 IT 지원 / 운영 위치
개발자
시스템 관리자QA/테스터
EMS
SMS
NMS
ITSM
ITRM
ITIL
AMS
Dash
Board
IT
Environment
A 개발지원, 소스 관리
B
기능 테스트,테스트케이스,단위테스트
소스코드 커버리지
소스코드 프로파일링
C
시스템 통합 테스트
안정성 테스트
부하 테스트, 성능 테스트
D
성능 모니터링, 장애진단.성능저하 원인분석
부하량 분석, 사용자 분석, 용량 산정
시스템 안정적 운영 지원
E 네트워크 시스템 자원 관리

25. 25
Q & A