Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Copyrightⓒ2016 REALTIMETECH.co All right reserved
The Leader of In-Memory DBMS
인메모리 DBMS 기반
보안 빅데이터 분석 솔루션 개발 사례
2017.11.0...
Copyrightⓒ2016 REALTIMETECH.co All right reserved
목차
2
1 IMDBMS 개요
2 IMDBMS 기반 보안 분석 솔루션 소개
The Leader of In-Memory DBMS
Copyrightⓒ2016 REALTIMETECH.co All right reserved
1. IMDBMS 개요
3
Copyrightⓒ2016 REALTIMETECH.co All right reserved4
○ In Memory Computing(IMC)
1980: Memory $10,000/MB
2000: Memory $1/MB
2...
Copyrightⓒ2016 REALTIMETECH.co All right reserved5
○ In Memory Computing(IMC)
Yes, DRAM is 100,000
times faster than disk,...
Copyrightⓒ2016 REALTIMETECH.co All right reserved6
○ In Memory Computing(IMC)
○ Hype Cycle for IMC
1. IMDBMS 소개
Copyrightⓒ2016 REALTIMETECH.co All right reserved7
○ In Memory Computing(IMC)
○ IMC Technology’s progression
Ref: Cognizan...
Copyrightⓒ2016 REALTIMETECH.co All right reserved8
○ In Memory Computing(IMC) - SCM 기술 연계
기술/시장 분석
SCM : DRAM에 근접한 고성능 읽기...
Copyrightⓒ2016 REALTIMETECH.co All right reserved9
○ IMDBMS
○ IMDBMS 구조
1. IMDBMS 소개
Copyrightⓒ2016 REALTIMETECH.co All right reserved10
○ IMDBMS
1. IMDBMS 소개
The Leader of In-Memory DBMS
Copyrightⓒ2016 REALTIMETECH.co All right reserved
2. IMDBMS기반 보안 분석 솔루션 소개
11
Copyrightⓒ2016 REALTIMETECH.co All right reserved12
2. IMDBMS 기반 보안 분석 솔루션 소개
○ 보안 빅데이터 분석 시스템 개요
보안 관제 시 생성되는 다양한 형태의 대용량...
Copyrightⓒ2016 REALTIMETECH.co All right reserved13
○ 보안 빅데이터 분석 시스템 개요
 침해사고 분석 대상 로그파일 크기 증가 및 이기종 로그 통합 분석 필요
※ 웹하드와 같...
Copyrightⓒ2016 REALTIMETECH.co All right reserved14
○ 보안 빅데이터 분석 시스템 개요
 CASE 생성 및 관리 기능
• Log 그룹/파일 생성 및 삭제 기능
• 로그 유형에 ...
Copyrightⓒ2016 REALTIMETECH.co All right reserved15
○ 보안 빅데이터 분석 시스템 개발
2. IMDBMS 기반 보안 분석 솔루션 소개
Copyrightⓒ2016 REALTIMETECH.co All right reserved16
○ 보안 빅데이터 분석 시스템 개발
<관리용 테이블 ERD> <분석용 원본 테이블 ERD>
<분석용 결과 및 UDT 테이블 E...
Copyrightⓒ2016 REALTIMETECH.co All right reserved17
○ 보안 빅데이터 분석 시스템 개발 – 데이터베이스 관리 구조
2. IMDBMS 기반 보안 분석 솔루션 소개
Copyrightⓒ2016 REALTIMETECH.co All right reserved18
○ 보안 빅데이터 분석 시스템 개발 – 주요 기능(1)
 CASE 관리 기능
 로그 DB 적재
Case(사건)를 생성하고,...
Copyrightⓒ2016 REALTIMETECH.co All right reserved19
○ 보안 빅데이터 분석 시스템 개발 – 주요기능(2)
<UTC 보정>
<복합 필터 편집>
<결과 내보내기>
 패턴 분석 및 ...
Copyrightⓒ2016 REALTIMETECH.co All right reserved20
○ 주요 기능 화면 구성(3/3) – 주요기능(3)
 Web 로그 통계 분석
 Web 로그 연관 분석
일괄 적재된 WEB로...
Copyrightⓒ2016 REALTIMETECH.co All right reserved21
○ 성능 평가
분 류 H/W 빅데이터 플랫폼
빅데이터 플랫폼
(Impala)
OS : CentOS
인메모리 DBMS
(Kair...
Copyrightⓒ2016 REALTIMETECH.co All right reserved22
○ 성능 평가
데이터 업로드 성능 시험 조건 패턴 검색 성능 시험 조건
 용량이 10G/20G/30G/40G/50G인 원본 ...
Copyrightⓒ2016 REALTIMETECH.co All right reserved23
○ 성능 평가 – 패턴 검색 방식에 따른 비교( IMDBMS only)
2. IMDBMS 기반 보안 분석 솔루션 소개
Copyrightⓒ2016 REALTIMETECH.co All right reserved24
○ 성능 평가
 통계 질의 처리 성능 ( IMDBMS only )
*시험 데이터 : Web apache log 샘플 (20G...
Copyrightⓒ2016 REALTIMETECH.co All right reserved25
2. IMDBMS 기반 보안 분석 솔루션 소개
○ 마치며…
The Leader of In-Memory DBMS
Copyrightⓒ2016 REALTIMETECH.co All right reserved
Thank you !
☎ 연락처
 기술 : 한 혁 연구소장(042-939-8...
Upcoming SlideShare
Loading in …5
×

of

인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 1 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 2 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 3 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 4 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 5 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 6 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 7 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 8 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 9 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 10 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 11 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 12 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 13 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 14 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 15 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 16 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 17 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 18 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 19 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 20 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 21 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 22 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 23 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 24 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 25 인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장 Slide 26
Upcoming SlideShare
What to Upload to SlideShare
Next
Download to read offline and view in fullscreen.

0 Likes

Share

Download to read offline

인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장

Download to read offline

2017 데이터 그랜드 컨퍼런스 발표 자료

  • Be the first to like this

인메모리 DBMS기반 보안 빅데이터 분석 솔루션 개발 사례 - 리얼타임테크 한혁 연구소장

  1. 1. Copyrightⓒ2016 REALTIMETECH.co All right reserved The Leader of In-Memory DBMS 인메모리 DBMS 기반 보안 빅데이터 분석 솔루션 개발 사례 2017.11.07 한 혁
  2. 2. Copyrightⓒ2016 REALTIMETECH.co All right reserved 목차 2 1 IMDBMS 개요 2 IMDBMS 기반 보안 분석 솔루션 소개
  3. 3. The Leader of In-Memory DBMS Copyrightⓒ2016 REALTIMETECH.co All right reserved 1. IMDBMS 개요 3
  4. 4. Copyrightⓒ2016 REALTIMETECH.co All right reserved4 ○ In Memory Computing(IMC) 1980: Memory $10,000/MB 2000: Memory $1/MB 2015: Memory $0.008/MB Time Memory Cost / Speed 1. IMDBMS 소개 ○ Hardware Advances: Moore’s Law - DRAM Pricing
  5. 5. Copyrightⓒ2016 REALTIMETECH.co All right reserved5 ○ In Memory Computing(IMC) Yes, DRAM is 100,000 times faster than disk, but DRAM access is still 6-200 times slower than on-chip caches100 NS CPU Core Core L1 Cache L1 Cache L2 Cache L2 Cache L3 Cache Main Memory Disk 0.5 NS 7.0 NS 15.0 NS SSD: 150K NS HD: 10M NS Ref: In-Memory Database Platform for Big Data, SAP HANA, 6/2013 ○ memory performance 1. IMDBMS 소개
  6. 6. Copyrightⓒ2016 REALTIMETECH.co All right reserved6 ○ In Memory Computing(IMC) ○ Hype Cycle for IMC 1. IMDBMS 소개
  7. 7. Copyrightⓒ2016 REALTIMETECH.co All right reserved7 ○ In Memory Computing(IMC) ○ IMC Technology’s progression Ref: Cognizant 20-20 insights. 11/2015 1. IMDBMS 소개
  8. 8. Copyrightⓒ2016 REALTIMETECH.co All right reserved8 ○ In Memory Computing(IMC) - SCM 기술 연계 기술/시장 분석 SCM : DRAM에 근접한 고성능 읽기/쓰기, 비휘발성, TB급 대용량 지원 으로 향후 SSD및 DISK를 대체하는 차세대 스토리지 기술 JEDEC 표준 : NVDIMM-N/F/P PCM/ReRAM vs Hybrid(DRAM+NADN) 3D XPoint ( 인텔마이크론, 미국 ) PCM 기반 SCM, ~ 512GB Capacity(2016 Storage Visions 시연) 중국 양산 공장 설립 추진, 2018년 말 상용화 HV vault ( 넷리스트, 미국 ) Hybrid(DRAM+NAND), ~1TB Capacity, 컨트롤러 핵심특허 다수보유 삼성전자 투자( 270억원, 2015년 ), 2017년 상반기 시험용 Release 시사점 SCM & In-Memory DBMS SCM 기술검증 및 활용을 위한 킬러 솔루션  IMDBMS 시장확산의 걸림돌(용량,데이터 유실 우려) 해결을 위한 출구 기술  SCM 2022년 글로벌 서버의 약 27%가 SCM 장착(마이크론 예측) SCM 장착된 차세대 서버 아키텍처 기반의 컴퓨팅 환경/시장 대응 필요 메인 스토리지 패러다임 전환(DISK -> SCM/SSD, DISK는 백업 스토리지 ) IM-DBMS 아키텍처 대용량화를 위한 DB 원본 저장소 : DRAM->SCM DRAM/SCM/SSD 등 메모리 계층간 데이터 관리 8 4 0.2 1. IMDBMS 소개
  9. 9. Copyrightⓒ2016 REALTIMETECH.co All right reserved9 ○ IMDBMS ○ IMDBMS 구조 1. IMDBMS 소개
  10. 10. Copyrightⓒ2016 REALTIMETECH.co All right reserved10 ○ IMDBMS 1. IMDBMS 소개
  11. 11. The Leader of In-Memory DBMS Copyrightⓒ2016 REALTIMETECH.co All right reserved 2. IMDBMS기반 보안 분석 솔루션 소개 11
  12. 12. Copyrightⓒ2016 REALTIMETECH.co All right reserved12 2. IMDBMS 기반 보안 분석 솔루션 소개 ○ 보안 빅데이터 분석 시스템 개요 보안 관제 시 생성되는 다양한 형태의 대용량 로그정보(Web, FTP, DB, 시스템 등)를 통합 분석하기 위한 데이터베이스 시스템 기반의 고성능 로그 분석 시스템 CASE 관리 패턴 관리 IT Vision 분석 도구 점증 분석 외부 연계 시각화 보고서 메타 정보 사용자 정보IT Vision 데이터 서버 패턴 연산 분석 SQL 로그 DB 패턴 매칭 검색 분석 대상 로그 파일 분석 SQL 처리 요청
  13. 13. Copyrightⓒ2016 REALTIMETECH.co All right reserved13 ○ 보안 빅데이터 분석 시스템 개요  침해사고 분석 대상 로그파일 크기 증가 및 이기종 로그 통합 분석 필요 ※ 웹하드와 같은 접속자가 많은 서비스의 경우, 1일 웹 로그 생성 크기는 텍스트 50G 수준 공격지 IP 기준 침투 경로를 추적해 나가는 기존 로그분석 방식으로는 다양한 대용량 로그에서 전체 공격 시나리오를 추출하는 데에 한계 발생 ※ 최근에는 공격자가 공격지 IP를 수시로 변경하며 침투 과정을 진행함 공격자 행위 추적을 공격지 IP 기반이 아닌 다양한 관점에서 쉽게 파악 및 추적 할 수 있는 기능 필요  개발 배경 침해사고 주요 IoC(공격지 IP, 해킹 경유지 VPN 대역, 침투 행위 패턴 등)를 기반으로 한 비정상 행위 패턴 추출 기능 지원 바이너리, 텍스트, XML 등 다양한 이기종 로그파일에 대한 포맷 변환 및 통합 로그 비교를 통해 타임라인 분석이 가능한 기능 지원 도출된침투지표에대한 연관적인분석정보(국가별,ip별,접속경로등통계)제공 인메모리 컴퓨팅 기반 고속 처리기술 사용을 통한 분석 시간 단축 (DB 구축+분석)  요구사항 2. IMDBMS 기반 보안 분석 솔루션 소개
  14. 14. Copyrightⓒ2016 REALTIMETECH.co All right reserved14 ○ 보안 빅데이터 분석 시스템 개요  CASE 생성 및 관리 기능 • Log 그룹/파일 생성 및 삭제 기능 • 로그 유형에 대한 사용자 지정 기능  분석 데이터베이스 구축 기능 • Web, FTP, DBMS 로그 적재 기능 • 분석 컴퓨터의 MFT, 레지스트리, 윈도우 이벤트 정보 입력 기능  공격자 패턴 매칭 및 정보 필터 기능 • 고성능 전문 검색 및 결과 저장 기능 • 컬럼 / 복합 필터링 기능, UTC 보정 기능 • 원본(로그) 시각화 기능  웹 로그 통계 분석 기능 • 보안 이슈 단위 별(Access, visitor, activity 등) 다양한 통계 분석 기능 • 각 통계 별 상호 연관 분석 기능 • Play back/forward 기능 • IP 국가 / 기관 매핑 기능  도구 관리 기능 • 메타 데이터 갱신 기능 • 사용자 생성 및 관리 기능 • 공격자 정보 / 공격 패턴 프로파일 관리 기능 • 분석 결과 파일(CSV, PDF, Excel, Text 등) Export 기능  시스템의 세부 기능 2. IMDBMS 기반 보안 분석 솔루션 소개
  15. 15. Copyrightⓒ2016 REALTIMETECH.co All right reserved15 ○ 보안 빅데이터 분석 시스템 개발 2. IMDBMS 기반 보안 분석 솔루션 소개
  16. 16. Copyrightⓒ2016 REALTIMETECH.co All right reserved16 ○ 보안 빅데이터 분석 시스템 개발 <관리용 테이블 ERD> <분석용 원본 테이블 ERD> <분석용 결과 및 UDT 테이블 ERD> <분석용 집계 및 플래그 테이블 ERD> 2. IMDBMS 기반 보안 분석 솔루션 소개
  17. 17. Copyrightⓒ2016 REALTIMETECH.co All right reserved17 ○ 보안 빅데이터 분석 시스템 개발 – 데이터베이스 관리 구조 2. IMDBMS 기반 보안 분석 솔루션 소개
  18. 18. Copyrightⓒ2016 REALTIMETECH.co All right reserved18 ○ 보안 빅데이터 분석 시스템 개발 – 주요 기능(1)  CASE 관리 기능  로그 DB 적재 Case(사건)를 생성하고, 해당 Case에서 분석 되어야 할 로그들을 데이터 서버로 적재하여 분석 가능 상태를 구성 2. IMDBMS 기반 보안 분석 솔루션 소개
  19. 19. Copyrightⓒ2016 REALTIMETECH.co All right reserved19 ○ 보안 빅데이터 분석 시스템 개발 – 주요기능(2) <UTC 보정> <복합 필터 편집> <결과 내보내기>  패턴 분석 및 필터 일괄 적재된 로그 파일들을 각 로그 타입별로 패턴 분석 진행. 패턴 분석 기능은 플래그, UTC보정, 간편 필터, 복합 필터, 결과 내보내기 등의 부가 기능을 제공 2. IMDBMS 기반 보안 분석 솔루션 소개
  20. 20. Copyrightⓒ2016 REALTIMETECH.co All right reserved20 ○ 주요 기능 화면 구성(3/3) – 주요기능(3)  Web 로그 통계 분석  Web 로그 연관 분석 일괄 적재된 WEB로그 파일들에 대한 통계 분석 진행 Access, Visitor, Referrer, Activity 분석을 지원하며, 다른 유형의 통계로 연관 분석 기능을 제공 2. IMDBMS 기반 보안 분석 솔루션 소개
  21. 21. Copyrightⓒ2016 REALTIMETECH.co All right reserved21 ○ 성능 평가 분 류 H/W 빅데이터 플랫폼 빅데이터 플랫폼 (Impala) OS : CentOS 인메모리 DBMS (Kairos) OS : Windows Server 2012  시험 환경 2. IMDBMS 기반 보안 분석 솔루션 소개
  22. 22. Copyrightⓒ2016 REALTIMETECH.co All right reserved22 ○ 성능 평가 데이터 업로드 성능 시험 조건 패턴 검색 성능 시험 조건  용량이 10G/20G/30G/40G/50G인 원본 데이터 파일 각각 에 대한 DB 적재 성능을 측정  검색 성능을 위해 Impala는 압축 포맷(Parquet) 변환  IMDBMS는 대용량 자료형 CLOB 컬럼에 10M 단위로 데 이터 적재  50G 용량의 원본 데이터 적재 후 각각 성능 측정  검색 키워드 크기(5 / 10 / 20 글자) 별 성능 측정  질의 유형  데이터베이스 솔루션 간 비교 SELECT COUNT(*) FROM source_tab WHERE text_field LIKE '% Google %'; 2. IMDBMS 기반 보안 분석 솔루션 소개
  23. 23. Copyrightⓒ2016 REALTIMETECH.co All right reserved23 ○ 성능 평가 – 패턴 검색 방식에 따른 비교( IMDBMS only) 2. IMDBMS 기반 보안 분석 솔루션 소개
  24. 24. Copyrightⓒ2016 REALTIMETECH.co All right reserved24 ○ 성능 평가  통계 질의 처리 성능 ( IMDBMS only ) *시험 데이터 : Web apache log 샘플 (20GB, 약 8천만 레코드, 원본 : 42개 로그 파일 ) 2. IMDBMS 기반 보안 분석 솔루션 소개
  25. 25. Copyrightⓒ2016 REALTIMETECH.co All right reserved25 2. IMDBMS 기반 보안 분석 솔루션 소개 ○ 마치며…
  26. 26. The Leader of In-Memory DBMS Copyrightⓒ2016 REALTIMETECH.co All right reserved Thank you ! ☎ 연락처  기술 : 한 혁 연구소장(042-939-8811)  영업 : 이영기 상무이사(02-3487-8809)

2017 데이터 그랜드 컨퍼런스 발표 자료

Views

Total views

269

On Slideshare

0

From embeds

0

Number of embeds

0

Actions

Downloads

8

Shares

0

Comments

0

Likes

0

×