인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장

Copyrightⓒ2016 REALTIMETECH.co All right reserved
The Leader of In-Memory DBMS
인메모리 DBMS 기반
보안 빅데이터 분석 솔루션 개발 사례
2017.11.07
한 혁

목차
2
1 IMDBMS 개요
2 IMDBMS 기반 보안 분석 솔루션 소개

1. IMDBMS 개요
3

Copyrightⓒ2016 REALTIMETECH.co All right reserved4
○ In Memory Computing(IMC)
1980: Memory $10,000/MB
2000: Memory $1/MB
2015: Memory $0.008/MB
Time
Memory
Cost /
Speed
1. IMDBMS 소개
○ Hardware Advances: Moore’s Law - DRAM Pricing

Yes, DRAM is 100,000
times faster than disk, but
DRAM access is still 6-200
times slower than on-chip
caches100 NS
CPU
Core Core
L1 Cache L1 Cache
L2 Cache L2 Cache
L3 Cache
Main Memory
Disk
0.5 NS
7.0 NS
15.0 NS
SSD: 150K NS
HD: 10M NS
Ref: In-Memory Database Platform for Big Data, SAP HANA, 6/2013
○ memory performance
1. IMDBMS 소개

○ Hype Cycle for IMC
1. IMDBMS 소개

○ IMC Technology’s progression
Ref: Cognizant 20-20 insights. 11/2015
1. IMDBMS 소개

○ In Memory Computing(IMC) - SCM 기술 연계
기술/시장 분석
SCM : DRAM에 근접한 고성능 읽기/쓰기, 비휘발성, TB급 대용량 지원
으로 향후 SSD및 DISK를 대체하는 차세대 스토리지 기술
JEDEC 표준 : NVDIMM-N/F/P
PCM/ReRAM vs Hybrid(DRAM+NADN)
3D XPoint ( 인텔마이크론, 미국 )
PCM 기반 SCM, ~ 512GB Capacity(2016 Storage Visions 시연)
중국 양산 공장 설립 추진, 2018년 말 상용화
HV vault ( 넷리스트, 미국 )
Hybrid(DRAM+NAND), ~1TB Capacity, 컨트롤러 핵심특허 다수보유
삼성전자 투자( 270억원, 2015년 ), 2017년 상반기 시험용 Release
시사점
SCM & In-Memory DBMS
SCM 기술검증 및 활용을 위한 킬러 솔루션  IMDBMS
시장확산의 걸림돌(용량,데이터 유실 우려) 해결을 위한 출구 기술  SCM
2022년 글로벌 서버의 약 27%가 SCM 장착(마이크론 예측)
SCM 장착된 차세대 서버 아키텍처 기반의 컴퓨팅 환경/시장 대응 필요
메인 스토리지 패러다임 전환(DISK -> SCM/SSD, DISK는 백업 스토리지 )
IM-DBMS 아키텍처
대용량화를 위한 DB 원본 저장소 : DRAM->SCM
DRAM/SCM/SSD 등 메모리 계층간 데이터 관리
8 4 0.2
1. IMDBMS 소개

○ IMDBMS
○ IMDBMS 구조
1. IMDBMS 소개

○ IMDBMS
1. IMDBMS 소개

2. IMDBMS기반 보안 분석 솔루션 소개
11

2. IMDBMS 기반 보안 분석 솔루션 소개
○ 보안 빅데이터 분석 시스템 개요
보안 관제 시 생성되는 다양한 형태의 대용량 로그정보(Web, FTP, DB, 시스템 등)를 통합
분석하기 위한 데이터베이스 시스템 기반의 고성능 로그 분석 시스템
CASE
관리
패턴
관리 IT Vision
분석
도구
점증
분석
외부
연계
시각화
보고서
메타
정보
사용자
정보IT Vision
데이터
서버
패턴
연산
분석
SQL
로그
DB
패턴 매칭 검색
분석 대상 로그 파일
분석 SQL 처리 요청

 침해사고 분석 대상 로그파일 크기 증가 및 이기종 로그 통합 분석 필요
※ 웹하드와 같은 접속자가 많은 서비스의 경우, 1일 웹 로그 생성 크기는 텍스트 50G 수준
공격지 IP 기준 침투 경로를 추적해 나가는 기존 로그분석 방식으로는 다양한 대용량 로그에서
전체 공격 시나리오를 추출하는 데에 한계 발생
※ 최근에는 공격자가 공격지 IP를 수시로 변경하며 침투 과정을 진행함
공격자 행위 추적을 공격지 IP 기반이 아닌 다양한 관점에서 쉽게 파악 및 추적 할 수
있는 기능 필요
 개발 배경
침해사고 주요 IoC(공격지 IP, 해킹 경유지 VPN 대역, 침투 행위 패턴 등)를
기반으로 한 비정상 행위 패턴 추출 기능 지원
바이너리, 텍스트, XML 등 다양한 이기종 로그파일에 대한 포맷 변환 및 통합
로그 비교를 통해 타임라인 분석이 가능한 기능 지원
도출된침투지표에대한 연관적인분석정보(국가별,ip별,접속경로등통계)제공
인메모리 컴퓨팅 기반 고속 처리기술 사용을 통한 분석 시간 단축
(DB 구축+분석)
 요구사항

 CASE 생성 및 관리 기능
• Log 그룹/파일 생성 및 삭제 기능
• 로그 유형에 대한 사용자 지정 기능
 분석 데이터베이스 구축 기능
• Web, FTP, DBMS 로그 적재 기능
• 분석 컴퓨터의 MFT, 레지스트리, 윈도우 이벤트 정보 입력 기능
 공격자 패턴 매칭 및 정보 필터 기능
• 고성능 전문 검색 및 결과 저장 기능
• 컬럼 / 복합 필터링 기능, UTC 보정 기능
• 원본(로그) 시각화 기능
 웹 로그 통계 분석 기능
• 보안 이슈 단위 별(Access, visitor, activity 등) 다양한 통계 분석 기능
• 각 통계 별 상호 연관 분석 기능
• Play back/forward 기능
• IP 국가 / 기관 매핑 기능
 도구 관리 기능
• 메타 데이터 갱신 기능
• 사용자 생성 및 관리 기능
• 공격자 정보 / 공격 패턴 프로파일 관리 기능
• 분석 결과 파일(CSV, PDF, Excel, Text 등) Export 기능
 시스템의 세부 기능

○ 보안 빅데이터 분석 시스템 개발

○ 보안 빅데이터 분석 시스템 개발
<관리용 테이블 ERD> <분석용 원본 테이블 ERD>
<분석용 결과 및 UDT 테이블 ERD> <분석용 집계 및 플래그 테이블 ERD>

○ 보안 빅데이터 분석 시스템 개발 – 데이터베이스 관리 구조

○ 보안 빅데이터 분석 시스템 개발 – 주요 기능(1)
 CASE 관리 기능
 로그 DB 적재
Case(사건)를 생성하고, 해당 Case에서 분석 되어야 할 로그들을 데이터 서버로
적재하여 분석 가능 상태를 구성

○ 보안 빅데이터 분석 시스템 개발 – 주요기능(2)
<UTC 보정>
<복합 필터 편집>
<결과 내보내기>
 패턴 분석 및 필터
일괄 적재된 로그 파일들을 각 로그 타입별로 패턴 분석 진행. 패턴 분석 기능은
플래그, UTC보정, 간편 필터, 복합 필터, 결과 내보내기 등의 부가 기능을 제공

○ 주요 기능 화면 구성(3/3) – 주요기능(3)
 Web 로그 통계 분석
 Web 로그 연관 분석
일괄 적재된 WEB로그 파일들에 대한 통계 분석 진행 Access, Visitor, Referrer,
Activity 분석을 지원하며, 다른 유형의 통계로 연관 분석 기능을 제공

○ 성능 평가
분 류 H/W 빅데이터 플랫폼
빅데이터 플랫폼
(Impala)
OS : CentOS
인메모리 DBMS
(Kairos)
OS : Windows
Server 2012
 시험 환경

○ 성능 평가
데이터 업로드 성능 시험 조건 패턴 검색 성능 시험 조건
 용량이 10G/20G/30G/40G/50G인 원본 데이터 파일 각각
에 대한 DB 적재 성능을 측정
 검색 성능을 위해 Impala는 압축 포맷(Parquet) 변환
 IMDBMS는 대용량 자료형 CLOB 컬럼에 10M 단위로 데
이터 적재
 50G 용량의 원본 데이터 적재 후 각각 성능 측정
 검색 키워드 크기(5 / 10 / 20 글자) 별 성능 측정
 질의 유형
 데이터베이스 솔루션 간 비교
SELECT COUNT(*) FROM source_tab
WHERE text_field LIKE '% Google %';

○ 성능 평가 – 패턴 검색 방식에 따른 비교( IMDBMS only)

○ 성능 평가
 통계 질의 처리 성능 ( IMDBMS only )
*시험 데이터 : Web apache log 샘플 (20GB, 약 8천만 레코드, 원본 : 42개 로그 파일 )

○ 마치며…

Thank you !
☎ 연락처
 기술 : 한 혁 연구소장(042-939-8811)
 영업 : 이영기 상무이사(02-3487-8809)

인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장

Recommandé

Recommandé

Contenu connexe

Similaire à 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장

Similaire à 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 (20)

Plus de eungjin cho

Plus de eungjin cho (20)

인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장