[NetSec-KR 2018] 2017 정보보호 R&D 데이터 챌린지를 통해 살펴본 Data-Driven Security

©2018, 해킹대응기술연구실
1 50
고려대학교 정보보호대학원
김 휘 강
2017 정보보호 R&D 데이터 챌린지를 통해 살펴본
DATA-DRIVEN SECURITY
2018.04.13

2 50
About me
김휘강
□ KAIST 재학시절 KUS, SPARCS, Security KAIST 동아리 활동 (1994~)
□ A3 Security Consulting 창업/CEO (1999.8~2002.4), CTO (~2004.4)
□ NCSoft 정보보안실장 (2004.5~2010.2)
□ 고려대학교 정보보호대학원 부교수 (2010.3~현재)
□ AI.Spera 창업 (2017)
□ 주요 논문 실적
• International Conferences: NDSS 2016, WWW (2014, 2017, 2018), VizSec 2017
• International Journals: IEEE Trans. On Information Forensics and Security (2017),
Computer & Security (2016), Digital Investigation (2015)
□ https://blog.hksecurity.net

3 50
Main Research Area
▶Data-driven security
– Online Game Security
• Game Bot, Gold-Farmer Group Detection and Prevention
• In-game Fraud Detection
• Pirate Server Detection and Prevention
– Fraud Detection System
• Internet Portal, Banking, Online Game Service
– Network and System Security
• Intrusion Detection with data mining and machine learning
• Malware Analysis (Cyber Genome) – Mal-Netminer, API-MDS
• App. Security Analysis - Andro-Profiler, Andro-Tracker, Andro-AutoPsy, Andro-Dumpsys,
SAPIMMDS
– Dataset
• http://ocslab.hksecurity.net/Datasets

4 50
고려대학교 해킹대응기술연구실 (ocslab.hksecurity.net)
Xerox Parc 연 구 소 , USC 와 더 불 어 게 임
유저들의 행위 분석과 게임 내 부정행위 탐지
관련 온라인 게임 분야 세계 3대 연구 그룹임,
WWW conference 에 논문을 지속적으로 게재
중
온라인 게임 분야
세계 3대 연구 그룹
Malware analysis 관련 연구
Andro-Profiler, Andro-Tracker, Andro-Dumpsys
등 악성코드 분석 시스템을 개발/구축하고
정보보안 분야 유수 저널에 다수 게재
Social Network Analysis 분석 기법을 Malware
Analysis 분석에 응용(Mal-Netminer)
국내 최초 Cyber-
Genome Project 구현
악성코드, 해커/해킹그룹, 해킹사건 별 연관성
분석에 대한 구현 및 시연, IEEE CNS 2016 발표
전산/보안 분야에서 세계 최고 수준의 학회로
분류되는 WWW, NDSS에 논문을 지속적으로
게재 중인 연구 그룹
다수의 우수 국제학회 및 저널
논문 실적 보유
정보보안 분야 최고수준의 국제 저널 IEEE
TIFS(Transactions on Information Forensics
and Security) 등 다수의 국제 저널 논문 실적
보유
해킹/보안
관련 기술력 보유
온라인게임, 웹사이트 등 취약점 확인을 위한
시스템 해킹, 웹 해킹 프로젝트 다수 경험
악성코드 분석을 통한 리버싱 기술, 악성 행위
분석 기술 보유
해커 출신 및 현장 실무 경험을 통한 수준급
해킹/보안 기술력 보유

5 50
이 날이 올 때까지… 자기 소개 하렵니다.

6 50
CONTENTS
I. 정보보호 R&D 데이터 챌린지 개요
II. 차량 이상징후 탐지
III. 모바일 악성앱 탐지

7 50
0. DATA-DRIVEN & AI/ML-ASSISTED
SECURITY

8 50
Lessons learned from the DARPA CGC 2016
Now is the dawn of the automated security
□ Automated Vulnerability Analysis
□ Automated Attack & Defense

9 50
Automated Security/Data-Driven Security 동향
우수한 정보보호 기술 연구·검증 등을 위해서는 양질의 데이터 확보가 필수
국내는 연구용 dataset 의 확보, 유통이 쉽지 않음
□ 순수 연구 목적이라 하더라도 예상 못하는 제약이 있음
□ 연구를 위해 data 를 구걸(?) 해야 함

10 50
Automated Security/Data-Driven Security 동향 - IMPACT
• IMPACT(The Information Marketplace for Policy and Analysis of Cyber-risk & Trust)
• 미 국토안보부(DHS) 지원으로 사이버 보안 연구에 필요한 데이터(1페타 이상) 공유
※ 국토안보부(DHS) 내 과학기술국(S&T), 사이버보안부서(CSD)에서 운영
• 데이터 검색, 데이터&분석 도구 매칭, 데이터 공유, 소셜 서비스 제공
美 학계·산업계·비영리단체·정부기관과 7개 국가가
참여하여 데이터셋 구축
- DHS가 인정한 호주, 캐나다, 이스라엘, 일본,
네덜란드, 싱가포르, 영국에서만 데이터 공유·이용
가능
- 우리나라는 아직 해당되지 않음

11 50
Automated Security/Data-Driven Security 동향 - IMPACT
적극 데이터가 공유되고 있음 (자발적 + 강력한 fund 지원)
구분 설명
New Insider
Threat Data
Lincoln 연구실(MIT)에서 내부자 위협에 대한
12가지 시뮬레이션을 진행한 데이터셋
Wisconsin's
Web Cookies
Data
상위 100,000개의 웹 사이트(2013. 11~
2015. 04, Alexa)에서 수집된 웹 쿠키 데이터
세트
Merit's Network
Scanners from
Darknet
DarkNet 스캐닝을 통해 관찰된 IP주소, 패킷
의 수에 대한 데이터 셋
매일 업데이트되며 네트워크 구성 오류 등 다
른 유형의 정보도 포함
An Empirical
Study
of Web Cookies
상위 100,000개의 웹 사이트(Alexa)에서 약
320만 개 이상 수집된 쿠키 데이터 세트 제공
Dataset
Spotlight:
Certificates
Data
상위 1,000,000개 사이트(Alexa), 피싱 사이
트(PhishTank), 은행 웹사이트의 인증서 필
드의 데이터 세트 제공
[IMPACT 데이터셋 종류] [최근 공유된 데이터셋] [주요 데이터셋 제공자]

12 50
Dataset- Kaggle
WWW 2015 행사의 collocation workshop (BIG 2015)에서 공유한 MS의 악성코드 dataset 이 유명
□ 500G(10,868개) 악성코드 샘플
□ 원본 악성코드 바이너리는 제공되지 않으며 1차 가공이 끝난 meta data 가 제공됨

13 50
Dataset – 정보보호 R&D 데이터셋
https://www.kisis.or.kr/kisis/subIndex/283.do

14 50
Dataset – 고려대 해킹대응기술연구실 (ocslab.hksecurity.net/Dataset)

15 50
I. 정보보호 R&D 데이터 챌린지 2017 개요
• 운영 일정
• 운영 방식
• 운영 위원회

16 50
국내 “최초” 데이터 챌린지 대회
□ 2017 정보보호학회 동계학술대회와 연계하여 한국정보보호학회, 한국인터넷진흥원 (KISA)이 공동으로 개최한 대회
□ 자동차보안, 악성앱 탐지 챌린지는 고려대학교 해킹대응기술연구실에서 출제, 운영
• 홈페이지: http://datachallenge.kr/
• 주최: 한국정보보호학회, 한국인터넷진흥원
• 주관: 고려대학교 해킹대응기술연구실, 한국인터넷진흥원
• 후원 기관
- 상금 후원: NCSoft, Saint Security, EEDIOM, Penta Security
- 상품 후원: AWS, 보안프로젝트, 카카오
• 참가신청한 학생들 전원에게 AWS Educate credit $100를 제공함
2017년 정보보호 R&D 데이터 챌린지
[정보보호 R&D 데이터 챌린지 본선대회 사진]

17 50
운영 방식
□ 온라인 예선, 오프라인 본선으로 진행됨
• 예선에 총 181팀(372명)이 지원했으며, 제출팀 중 상위 7팀을 본선 진출자로 선정함
- 모바일 악성앱 탐지(35%, 63팀)  악성코드 탐지(28%, 51팀)  차량 이상징후 탐지(27%, 48팀), 악성코드 선제대응(10%, 19팀)
4개 트랙 오픈
• 고려대학교, KISA가
각 2개의 트랙을 운영
각 트랙 별
결과물 제출
• 트랙 특성에 따라
트랙 별 결과물은
상이함
온라인 예선
(2017.10.18~11.29)
예선결과 심사
(2017.11.30~12.03)
본선진출자 발표
(2017.12.04)
오프라인 본선
판교 KISA 정보보호
클러스터
(2017.12.08)
수상
고려대학교 미래융합관
(2017.12.09)
제출물 심사
상위 7팀 선정
• 7팀 미만의 트랙일
경우, 지원자 모두
본선 진출
• 잘못된 양식, 낮은
정확도의 제출팀은
제외
제출물 검증
홈페이지에 공지
진출 팀 수
• 고려대학교
- 모바일 악성앱 탐지
5팀 진출
- 차량 이상징후 탐지
6팀 진출
• KISA
- 악성코드 탐지
7팀 진출
- 악성코드 선제대응
2팀 진출
해커톤 방식
트랙 별 상위 2개
팀 수상
• 정확도(1차, 2차 각 50%)
70%, 발표 30%
홈페이지에서
신청
• 개인, 팀(최대
5인)으로 신청
• 트랙 다중 신청 가능
운영방식
• 본선 진출자들은
하루동안 총 2번
새로운 데이터셋을
전달받음
• 주어진 시간내에
“데이터 분석 
알고리즘 개선 
정확도 향상”을
반복함
- 오전세션 /
오후세션
- 각 세션마다
제출기회는 3번*
- 가장 마지막에
제출한 정확도가
최종 정확도임
수상자
• 차량 이상징후 탐지
1위: CANDIS
2위: SUNY Korea
• 모바일 악성코드 탐지
1위: 고려대&연세대
2위: ASAP
• 악성코드 탐지
1위: 정성균
2위: SKY의 K는
국민대
• 악성코드 선제대응
2위: Team IDK*
* 악성코드 선제대응은 2위(장려상)만 시상함*차량 이상징후 탐지는 2번임

18 50
트랙 전체 요약
(KISA) 악성코드 선제대응 챌린지 (KISA) 악성코드 탐지 챌린지
(고려대) 차량 이상징후 탐지 챌린지 (고려대) 악성앱 탐지 챌린지

19 50
운영 위원회
김경곤 (자문)
고려대학교 산학협력중점교수
강수인
고려대학교 석사과정
강동주 (자문)
고려대학교 연구교수
김혜민
강현재
고려대학교 박사과정
이현승
김하나 (총괄)
고려대학교 박사과정
김준석
김휘강
고려대학교 부교수
차량 이상징후 탐지모바일 악성앱 탐지

20 50
II. 차량 이상징후 탐지
• 개요
• 참가자 통계
• 데이터셋 수집 및 구성
• 챌린지
• 평가방법 및 결과
• 최종순위
• 수상자 산출물 요약

21 50
개요
차량 이상징후 탐지
예선 본선
진행방식
데이터셋
공격 유형
• 하루동안 총 2번의 세션으로 진행됨
- 세션 별 새롭게 제공된 데이터셋 분석 
1차 성능평가(테스트)  탐지 알고리즘 개선 
2차 성능평가(테스트) 순으로 진행됨
• 차량과 유사한 환경을 제공하기위해
소켓프로그램을 이용하여 CAN 패킷을 전달함
• 참가자들은 실시간으로 CAN 패킷을 받아
이상징후를 탐지해야 함
- 분석용 데이터셋 제공
- 세션 별 2번의 테스트 기회를 제공
(소켓프로그램)
• 제공된 데이터셋 분석
• 탐지 알고리즘 개발
• 시각화 프로그램 개발
• 차량 네트워크 데이터셋 (65분)
• 차량 네트워크 데이터셋 (각 10분)
• 총 6개의 데이터셋이 제공됨
- 각 세션마다 3개의 데이터셋이 제공됨
- 분석용, 테스트1, 테스트2
• DoS
• Fuzzy
• DoS
• Fuzzy
• Replay

22 50
참가자 통계
□ 예선 참가자
• 48팀(103명)이 신청함
- 4개 트랙 중 3번째(26.52%)로 신청함
• 대학(원)생  기업&일반인 고등학생&연구기관&기타 순으로 신청함
□ 본선 진출자
• 진출팀 중 상위 6개 팀을 진출 시킴
- 진출팀 중 아래 조건의 팀들은 제외함
• 제출팀 중 제출 포맷이 제시한 포맷과 다를 경우
• 기준 정확도보다 낮을 경우
유형 고등학생 대학(원)생 기업 연구기관 일반인 기타 총 합계
개인 1 8 4 1 9 2 25
팀 1(3) 14(50) 3(10) 1(2) 3(9) 1(4) 28(78)
합계 2(4) 22(58) 7(14) 2(3) 12(18) 3(6) 48(103)
0
1
2
3
4
5
6
7
신청자
[소속 별 신청건수]
[일자 별 신청건수 그래프]

23 50
데이터 수집 방법
□ 실제 차량의 CAN 트래픽 수집
• 연구실 차량을 이용하여 “DoS, Fuzzy, Replay”공격이 포함된 데이터를 추출함
- 차량 2대(차종 A, 차종B)를 이용하여 수집
• 본 챌린지 문제에 기초가 된 참고문헌
- Hyunsung Lee, Seong Hoon Jeong and Huy Kang Kim, “OTIDS: A Novel Intrusion Detection System for In-vehicle Network by using Remote
Frame”, PST (Privacy, Security and Trust) 2017
- Song, Hyun Min, Ha Rang Kim, and Huy Kang Kim. “Intrusion detection system based on the analysis of time intervals of CAN messages for in-
vehicle network.” Information Networking (ICOIN), 2016 International Conference on. IEEE, 2016.
• 정보보호 R&D 데이터 챌린지 본선에서 활용한 데이터셋은 공유됨
- KISA 정보보호 R&D 데이터셋: https://www.kisis.or.kr/kisis/subIndex/283.do
- 해킹대응기술연구실: http://ocslab.hksecurity.net/Datasets/ku-cisc2017-otids
[데이터 추출 방법] [추출된 데이터셋 예시]

24 50
차량 네트워크 데이터셋
차량 주행 데이터셋
□ 주행 시 차량에 OBD-II 스캐너를 연결하여 주행 데이터를 추출
• Features : 51개(차량속도, 스티어링 휠 각도, 연료소모량, 미션오일 온도 등 추출 가능한 전체 feature) + Time + Class (운전자
10명을 A ~ J로 레이블링)
- 차량 : KIA Soul
- 전체 주행 시간 : 약 24시간
- 전체 레코드 수 : 94,401개
- 한번 주행 시 (왕복) : 약 46km
주행구간 (고려대학교 - 상암월드컵경기장)
Data
Field of Data (# of feature : 51) Time Class
데이터 샘플

25 50
차량 해킹 데이터셋
□ 자동차 CAN 네트워크에 대한 메시지 주입 공격 데이터셋
• OBD-II 포트를 통해 위조 메시지를 주입
- 각 데이터셋은 300회의 주입 공격이 포함된 30~40분 동안의 CAN 트래픽 데이터
- 1회 주입 공격은 3~5초 동안 진행됨
• Data Attributes
- Timestamp, CAN ID, DLC, DATA, Flag
데이터셋에 포함된 메시지 개수 데이터 샘플

26 50
CAN 침입 공격 데이터셋
□ 정상 상황 (Attack Free) [2,369,868개]
• 공격이 전혀 없는 정상 상황에서의 CAN 메시지 데이터셋
• 공격 메시지는 없지만 탐지 노드에서 전송하는 원격 프레임이 0.01초 간격으로 전송됨
□ DoS 공격 [656,579개]
• 공격자는 다른 메시지를 무력화 시키기 위해 매우 빠른 주기로 0x000의 메시지를 주입함
• 탐지 노드는 간격과 사이 시간을 측정하기 위해 특정 ID에 대한 원격 프레임을 전송
□ Fuzzy 공격 [591,990개]
• 공격자는 차량에서 사용되는 ID를 수집하여 차량 내 기능이 있는 ID에 대해 임의의 데이터 값을 삽입하여
주입하는 공격
□ 위장 노드 공격 [995,472개]
• 특정 타겟 노드를 선정하여 해당 노드에서 전송하는 메시지를 삭제하고 이를 대신하는 노드를 공격자가
삽입하는 공격
• 해당 노드는 일반 노드와 같이 주기적으로 메시지를 전송하며 원격 프레임을 수신 시 응답으로 데이터 프레임을
전송

27 50
데이터셋 구성
□ KU-CISC2017-OTIDS 1st ~ 4th
• 차량 공격시도 패킷이 포함된 차량 네트워크 데이터셋
- 예선: DoS+Fuzzy, 차종A
- 본선: 1차(DoS+Fuzzy, 차종A), 2차(DoS+Fuzzy+Replay, 차종B)
구분 사용용도
데이터셋
KU-CISC2017-
OTIDS
공격 유형 공격 포인트 시간(분) 차종 난이도
예선 분석 및 테스트용 1st
DoS
Fuzzy
20 65 A 중
본선
사전셋팅용 Pre-setting 無無 2 B 無
1차 분석용 2nd
DoS
Fuzzy
20 10 A 중1차 1회 테스트 2nd-test-1
1차 2회 테스트 2nd-test-2
2차 분석용 3rd
DoS
Fuzzy
Replay
20 10 B 중2차 1회 테스트 3rd-test-1
2차 2회 테스트 3rd-test-2
예비 1회 테스트 4th-test-1 DoS
Fuzzy
Replay
20 10 B 상
예비 2회 테스트 4th-test-2
[데이터셋 구성표]

28 50
차량 네트워크 이상징후 탐지 알고리즘 구현 및 시각화 프로그램 개발
문제
문제데이터셋을 분석하여 아래 사항을
실시간으로 탐지할 수 있는
이상징후 탐지 알고리즘과
시각화 프로그램을
제시해주시기 바랍니다.
• DoS / Fuzzy / Replay attack
사례
최근에 큰 마음을 먹고 자동차를 구매한 H씨는
최근 자동차 해킹이 빈번하게 시도되고 있다는 뉴스를 접하게 되어
자신이 구매한 자동차에 대해서도 공격이 시도되고 있는지 K대학교 연구실에
데이터 분석 의뢰를 하였습니다. K대학교 연구실에서 분석한 결과 메시지 삽입 공격이
이뤄지고 있는 것을 발견하였습니다.
차량 내 CAN (Controller Area Network) 프로토콜은 버스에 흐르는 메시지에 대한 검증
과정이 존재하지 않기때문에 공격자는 악의적인 명령을 위해 CAN 버스에 임의의
메시지를 삽입하더라도 차량은 메시지의 이상 여부를 측정할 수 없습니다.
차량 공격으로는 정상 메시지를 지연시키거나 전송되는 것을 막는 도스(DoS) 공격,
차량이 이상 행위를 하도록 하는 퍼지(Fuzzy) 공격,
정상 메시지를 일정 기간 동안 덤프하여 그대로 삽입하는 재사용(Replay) 공격이
이루어질 수 있습니다.
위 상황과 같은 공격이 시행될 때 운전자와 차량의 안전을 위해 이상 징후를 탐지할 수
있는 IDS가 필요한 실정입니다.
제출물
• 프로그램
- GitHub 링크 제출 (Public 링크)
• 결과파일
• 알고리즘 설명 문서
• 시각화 프로그램 데모영상
- YouTube 영상 링크
- 10분 이내의 공격유형이 모두 포함
http://datachallenge.kr/challenge17/car/challenge/
챌린지

29 50
평가방법 (F1-score)
□ F1-score
• Positive, Negative가 편향될 수 있어 Precision과 Recall의 조화평균으로 평가하는 방법
• True Positive는 실제 True를 True로 정확하게 예측한 상황을 의미함
• True Negative는 실제 False를 False로 정확하게 예측한 상황을 의미함
• False Positive는 실제 False을 True로 예측한 상황을 의미함 (오탐)
• False Negative는 실제 True를 False로 예측한 상황을 의미함 (미탐)
• Precision은 정확률로서 제안한 알고리즘이 공격을 판단했을때 실제 공격이 이루어진 비율을 나타냄
• Recall은 재현율로서 실제 공격이 이루어졌을때 제안된 알고리즘이 공격을 판단하는 비율을 나타냄
카테고리
실제결과
Positive Negative
실험결과
Positive True Positive(TP) False Positive(FP)
Negative False Negative(FN) True Negative(TN)
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =
𝑇𝑃
𝑇𝑃 + 𝐹𝑃
𝑅𝑒𝑐𝑎𝑙𝑙 =
𝑇𝑃
𝑇𝑃 + 𝐹𝑁
𝐹1 − 𝑠𝑐𝑜𝑟𝑒 = 2 ×
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 × 𝑅𝑒𝑐𝑎𝑙𝑙
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑅𝑒𝑐𝑎𝑙𝑙

30 50
평가결과
□ 예선에서 공동 5위를 한 CANDIS팀이 본선에서는 1위를 함
본선
진출팀수
정확도
• 6팀(21명) 진출
• 아주팀은 중도 포기함
팀명 F1-Score팀 유형
CANDIS 팀(3명) 89.47
SUNY Korea 팀(4명) 89.47
CapcorpsCert0188 팀(5명) 78.89
EPL 팀(4명) 0
SEINT 팀(4명) 0
아주 개인 중도포기
CANDIS 팀(3명) 100
SUNY Korea 팀(4명) 90
EPL 팀(4명) 88.89
SEINT 팀(4명) 43.48
아주 개인 중도포기
오후 세션
예선
신청건수
• 48팀(103명) 지원
본선 진출팀
정확도
SUNY Korea 팀(4명) 100.00
아주 개인 87.50
SEINT 팀(4명) 82.35
CANDIS 팀(3명) 78.57
EPL 팀(4명) 78.57
순위
1위
2위
3위
4위
5위
5위
순위
1위
1위
3위
4위
4위
6위
순위
1위
2위
3위
4위
5위
6위
오전 세션

31 50
본선 최종 순위
□ 평가요소
• 예선 F1-score는 포함되지 않음
• F1-score와 발표점수는 7:3 비율로 계산
- 각 세션별 F1-score는 5:5 비율로 계산
□ 수상팀
• 1위 CANDIS 팀
- NCSoft 대표이사상 수상
- 상금(300만원), 상품(카카오 후디 라이언 1개)
• 2위 SUNY Korea 팀
- 장려상 수상
- 상금(200만원), 상품(카카오 대형 얼굴 쿠션 1개, 보안 프로젝트 저자 사인도서 1권)
구분 CANDIS SUNY Korea
Capcorps
Cert0188
EPL SEINT 아주
1차 정확도 89.47 89.47 78.89 0 0 -
2차 정확도 100 90 72.73 88.89 43.48 -
최종 정확도 점수 94.74 89.74 75.81 44.45 21.74 -
발표점수 83.75 84.25 73.25 88.25 74.25 -
최종점수 91.44 88.09 75.04 57.59 37.49 -
[수상자 수상 모습]
[최종 점수 정리표]

32 50
[방법론] [개발한 시각화 프로그램]
1위: CANDIS
□ 방법론(Deep Learning)
• 데이터 분석 통해 아래와 같은 사항들을 확인함
- 각 ID는 발생빈도가 고정되어 있기 때문에 정상적인 패킷의 빈도는 일정함
- 공격시, 특정 ID와 데이터가 포함된 패킷이 고정된 주기를 벗어나 발생하며, 일부 ID의 sequence가 변경됨
• RNN(Recurrent Neural Network) 알고리즘을 기반한 Data sequence modeling 기법을 이용하여 차량 이상징후를 탐지함

33 50
[방법론] [개발한 시각화 프로그램]
2위: SUNY Korea
□ 방법론(Threshold)
• 데이터셋 분석 및 시각화 프로그램을 통해 공격시, 빠른 주기와 많은 양이 데이터가 주입되는것을 확인함
- DoS 공격의 경우, 지연시키기 위하여 모든 데이터가 00으로 구성됨
• 이를 기반으로, window당 데이터 수가 threshold 값을 넘으면, 공격으로 탐지함
- Threshold 값을 넘으면, 공격으로 판단하고 데이터에 모두 0이 포함되어 있지 않으면 Fuzzy 공격유무를 확인함

34 50
III. 모바일 악성앱 탐지
• 개요
• 참가자 통계
• 데이터셋 수집 및 구성
• 챌린지
• 평가방법 및 결과
• 최종순위
• 수상자 산출물 요약

35 50
개요
모바일 악성앱 탐지
예선 본선
진행방식
데이터셋
공격 유형
• 하루동안 총 2번의 세션으로 진행됨
- 세션 별 새롭게 제공된 데이터셋 분석 
성능평가  탐지 알고리즘 개선을 세션시간동안
반복함
• 참가자들은 새로운 패밀리가 추가된 데이터셋에서
악성앱을 탐지해야 함
- 분석용 데이터셋을 제공(추가된 악성앱 30개)
- 세션별 3번 테스트 기회를 제공
• 정상앱(1,500개) + 악성앱(500개) / 패밀리유형 10개
- 정답지가 포함된 분석용 데이터셋
- 정답지가 미포함된 제출용 데이터셋
• 정상앱(750개) + 악성앱(250개) / 패밀리유형 15개
• 총 4개의 데이터셋이 제공됨
- 각 세션마다 2개의 데이터셋이 제공됨
- 분석용(추가된 악성앱 각 30개), 제출용
• 패밀리 10종 • 패밀리 15종(예선에 없던 5개의 패밀리가 추가됨)
• 온라인상으로 제공된 데이터셋 분석
• 악성앱 탐지 및 패밀리 분류 알고리즘 개발

36 50
참가자 통계
□ 예선 참가자
• 63팀(126명)이 신청함
- 4개 트랙 중 제일 많이(34.81%) 신청함
• 대학(원)생  일반인  기업  기타  고등학생  연구기관 순으로 신청함
□ 본선 진출자
• 진출팀 중 상위 5개 팀을 진출 시킴
- 진출팀 중 아래 조건의 팀들은 제외함
• 제출팀 중 제출 포맷이 제시한 포맷과 다를 경우
• 기준 정확도보다 낮을 경우
유형 고등학생 대학(원)생 기업 연구기관 일반인 기타 총 합계
개인 1 15 4 1 12 2 35
팀 1(3) 14(43) 8(31) 0(0) 4(12) 1(2) 28(91)
합계 2(4) 29(58) 12(35) 1(1) 16(24) 3(4) 63(126)
0
1
2
3
4
5
6
7
신청자
[소속 별 신청건수]
[일자 별 신청건수 그래프]

37 50
데이터 수집 방법
□ 프로젝트 제공, 수집한 모바일 악성앱과 정상앱
• 연구실 내 소유하고 있는 모바일 악성앱과 정상앱으로 데이터셋을 구성함
- 연구실 프로젝트에서 제공받은 악성앱, 정상앱
- 연구실에서 수집(악성앱 공유 사이트, 구글 플레이스토어)한 악성앱, 정상앱
- 기간: 2011년 ~ 2015년
• 본 챌린지 문제에 기초가 된 참고문헌
- Jae-wook Jang, Hyunjae Kang, Jiyoung Woo, Aziz Mohaisen, and Huy Kang Kim, “Andro-AutoPsy: Anti-malware system based on
similarity matching of malware and malware creator-centric information,” Digital Investigation, vol. 14, pp. 17–35, 2015.
• 정보보호 R&D 데이터 챌린지 예선, 본선에서 활용한 데이터셋은 공유됨
- 공유된 데이터셋을 이용하여 예선, 본선 데이터셋을 랜덤하게 구성함
- KISA 정보보호 R&D 데이터셋: https://www.kisis.or.kr/kisis/subIndex/283.do
- 해킹대응기술연구실: http://ocslab.hksecurity.net/Datasets/ku-cisc2017-otids

38 50
데이터셋 구성
□ KU-CISC2017-AutoPsy 1st ~ 5th
• 모바일 악성앱, 정상앱을 혼합한 데이터셋
- 예선: 패밀리 유형 10개
• 패밀리 분류 시 유형 및 패밀리명 통일을 위하여 정답지가 포함된 분석용 데이터셋을 추가로 제공함
• 제출시에는 정답지가 없는 제출용 데이터셋을 사용한 결과를 제출해야 함
- 본선: 1차(패밀리 유형 2종 추가), 2차(패밀리 유형 3종 추가)
• 새로운 패밀리가 제공되기 때문에 각 패밀리마다 30개씩 분석용 데이터셋을 제공함
[데이터셋 구성표]
구분 사용용도
데이터셋
KU-CISC2017-
AutoPsy
정상앱 악성앱 패밀리 수 패밀리 분배 총 개수
예선
분석용 1st 1,500 500 10 50 2,000
제출용 2nd 1,500 500 10 50 2,000
본선
1차 분석용 3rd-sample - 60 2 30 60
1차 제출용 3rd 750 250 12 랜덤 1,000
2차 분석용 4th-sample - 90 3 30 90
2차 제출용 4th 750 250 15 랜덤 1,000
예비용 5th 600 200 15 랜덤 800
구분 No. 패밀리명
예선
1 AdWo
2 AirPush
3 Boxer
4 Counterclank
5 Dowgin
6 Gappusin
7 OpFake
8 SMSAgent
9 SMStado
10 Wapsx
본선
1차
11 Kuguo
12 Ropin
2차
13 Kmin
14 SmsPay
15 Youmi
[챌린지에서 사용한 패밀리명]

39 50
안드로이드 악성앱 탐지 및 분류를 위한 알고리즘 개발
문제
제공된 대용량의 안드로이드 앱
데이터셋을 기반으로 아래 사항을 탐지
및 분류할 수 있는 알고리즘 및
프로그램을 제시하시기 바랍니다.
• 정상 앱과 악성 앱 구분
• 악성 앱에 한하여 유형(패밀리) 분류
사례
최근 최신형 안드로이드 모바일 폰을 구매한 K씨는 안드로이드 마켓에서
한 브라우저 앱을 다운 받았습니다.
그로부터 며칠 후 K씨는 본인이 알지 못하는 휴대전화 결제 요금이 청구된 것을
알게 되었습니다.
알고 보니 예전에 다운로드 받았던 브라우저 앱은 ‘프리미엄 SMS’로 불리는 악성코드로,
특정 사이트에 휴대폰 결제 SMS를 전송하여 프리미엄 요금이 부과된 것이었습니다.
위 상황과 같이 정상 안드로이드 앱으로 위장한 악성 앱은 구글 안드로이드 마켓,
서드파티 마켓, 블랙 마켓 등의 다양한 경로로 배포되고 있어, 악성 앱을 효율적으로
탐지하는 방안이 필요한 실정입니다.
제출물
• 프로그램
- GitHub 링크 제출 (Public 링크)
• 결과파일
• 알고리즘 설명 문서
http://datachallenge.kr/challenge17/andro/challenge/
챌린지

40 50
평가방법 (정확도)
□ Accuracy
• True Positive는 실제 Malware(True)를 Malware(True)로 정확하게 예측한 상황을 의미함
• True Negative는 실제 Benign(False)를 Benign(False)로 정확하게 예측한 상황을 의미함
• False Positive는 실제 Benign(False)을 Malware(True)로 예측한 상황을 의미함 (오탐)
• False Negative는 실제 Malware(True)를 Benign(False)로 예측한 상황을 의미함 (미탐)
카테고리
실제결과
Malware Benign
실험결과
Malware True Positive(TP) False Positive(FP)
Benign False Negative(FN) True Negative(TN)
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 =
𝑇𝑃 + 𝑇𝑁
𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁
카테고리 패밀리 패밀리수
실제결과
일치 비일치
실험결과
Family 1 𝑇1 𝐴1 𝐵1
Family 2 𝑇2 𝐴2 𝐵2
… … … …
Family n 𝑇𝑛 𝐴 𝑛 𝐵𝑛
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 =
𝐴1 + 𝐴2 + ⋯ + 𝐴 𝑛
𝑇1 + 𝑇2 + ⋯ + 𝑇𝑛
악성앱 탐지
패밀리 분류

41 50
평가결과
□ 본선 정확도 순위는 예선 정확도 순위와 동일함
본선
진출팀수
정확도
• 5팀(12명) 진출
• ESTsoft팀은 불참함
팀명 Accuracy팀 유형 팀명 Accuracy팀 유형
오후 세션
예선
신청건수
• 63팀(126명) 지원
본선 진출팀
정확도
팀명 Accuracy팀 유형
ESTsoft 팀(2명) 96.34
고려대&연세대 팀(2명) 94.38
ASAP
(Android Static Analysis
Platform)
팀(2명) 90.46
시큐베이스 팀(2명) 78.16
대만간 기사님 팀(4명) 53.82
순위
1위
2위
3위
4위
5위
순위 순위
오전 세션
ASAP 팀(2명) 88.88
대만간 기사님 팀(4명) 0
ESTsoft 팀(2명) 불참
1위
2위
3위
4위
5위
ASAP 팀(2명) 88.52
대만간 기사님 팀(4명) 51.36
ESTsoft 팀(2명) 불참
1위
2위
3위
4위
5위

42 50
본선 최종 순위
□ 평가요소
• 예선 정확도는 포함되지 않음
• 정확도와 발표점수는 7:3비율로 계산
- 각 세션 별 정확도는 5:5 비율로 계산
□ 수상 팀
• 1위 고려대&연세대 팀
- 정보보호학회 회장상
- 상금(300만원), 상품(카카오 후디 라이언 1개)
• 2위 ASAP 팀
- 장려상 수상
- 상금(200만원), 상품(카카오 대형 얼굴 쿠션 1개, 보안 프로젝트 저자 사인도서 1권)
구분
고려대&
연세대
ASAP 시큐베이스
대만간
기사님
ESTsoft
1차 정확도 91.08 88.88 87.68 0 -
2차 정확도 91.76 88.52 87.86 51.36 -
최종 정확도 점수 91.42 88.70 87.77 25.68 -
발표점수 77.5 68.25 69.75 37 -
최종점수 87.24 82.57 82.36 29.08 -
[수상자 수상 모습]
[최종 점수 정리표]

43 50
1위: 고려대&연세대
□ 방법론(Deep Learning)
• 데이터셋 분석 후 AndroidManifest.xml 파일에서 Permission, 소스코드에서 API 정보가 유의미할 것이라 판단
• 자체 제작한 파싱 프로그램을 이용하여 API, Permission 정보를 추출
• API 78개, Permission 23개 feature를 선택한 후 DNN(Deep Neural Network)을 이용하여 악성앱을 탐지함
[방법론(수상자 발표자료)] [정확도(수상자 발표자료)]

44 50
2위: ASAP(Android Static Analysis Platform)
□ 방법론(Machine Learning)
• APK parse를 이용하여 정보를 파싱한 후 json 형태로 몽고DB에 적재
- AndroidManifest.xml 정보를 파싱하여 위험한 권한이 있는지 확인함
- Classes.dex 에서 Class와 method를 추출하여 Permission과 연관된 API가 사용되었는지 확인함
• 악성앱에서 악용될 수 있는 위험한 Permission 138개를 feature로 선택
• 4개의 Machine Learning 알고리즘(SVM, NB, GBC, LG)의 결과를 도출하여 악생앱 탐지
• 탐지한 악성앱들 중 위험한 Permission들을 그룹화 하여 악성앱 패밀리 분류
[방법론]

45 50
Lesson learned
국내 data-driven security 의 준비도를 높여나가야 함
□ 정보보안 + AI/Machine Learning 교육
Dataset 공유 문화
□ Project, 논문 등에 1회성으로 쓰이고 사장되는 데이터가 없도록
□ 모든 기술논문은 “재현가능” 해야 함을 전제로 데이터 공유에 적극 나서야 함
Citation + motivation + compensation
□ Dataset 을 제작하고 공유하는 것에 대한 가치 인정
Kaggle 과 같이 대회에 활용된 데이터셋의 상시 운영
□ 교육과 연계

46 50
Lesson learned
Adversarial machine learning
등으로 data challenge 확대 필요
□ Black box 를 black box 로 공격
□ https://blog.openai.com/adversarial-
example-research/

47 50
IV. 맺으며

48 50
Special Thanks to… (Again)
• 해킹대응기술연구실 모든 출제와 운영을 전담해준 학생들
• http://datachallenge.kr/challenge17/team/
• 심사/채점에 공헌해 주신 심사위원들
• KISA, 정보보호학회

49 50
Big special thanks to our Patrons

50 50
ML (Machine Learning) + Security
What’s the barriers?
□ 사람 (적용에의 두려움)
□ Data (양질의 data 부족)
□ Blackbox algorithm + Adversarial Machine Learning attacks
□ Reference
• Image/voice recognition 에 훌륭한 CNN, DNN 이 보안 분야에도 적용 잘 된다는 보장이 있는가?
□ Scalability
• IoT 시대에 경량화된 알고리즘이 중요해 지는 시점에, local machine 에서 learning 을 할 수
있는 환경이 되는가?
□ Privacy + 내로남불
• 좋은 결과를 얻고는 싶지만, 내 민감 데이터를 주고 싶지는 않음

51 50
근 미래 예측
Firewall, Log Analyzer, …
IDS, IPS, …
Port Scanner, Vulnerability Scanner, Web Scanner, …
AntiVirus, …
• 거의 모든 보안 제품들에서 AI/ML 기능을 응용할 것으로 예측
• 현재의 수작업을 전부 또는 일부 대체  새로운 보안 솔루션으로 진화
• 사람은 보다 가치 있는 decision making 이나 정밀분석에 집중할 수 있게 될 것으로 기대

52 50
Thank You

53 50
채점 기준
□ True Positive (정상 탐지)
• 정상 탐지 기준은 실제 공격이 시작되고 1초 이내에 해당 공격을 타입까지 탐지하는 경우를 의미함
• 정답지에 있는 각 공격 시작 포인트를 모두 1초 이내에 탐지했을 경우 True Positive의 개수를 최대로 획득할 수 있으며, 정상 탐지
개수의 범위는 0 ≤ True Positive ≤ ‘실제 공격 횟수’로 정의할 수 있음
• 예외 상황: 한 번의 공격 안에서 여러 개(N개)의 탐지 포인트가 있을 경우
• 첫 번째 탐지는 True Positive (정상 탐지)로 판단하며, 나머지 탐지 포인트는 실제 공격 시작 1초 이내에 있어도 False Positive를
증가시킴
• 모든 탐지 포인트를 True Positive로 판단할 경우 정상 탐지의 개수가 증가하므로 부정 행위로 간주함
- True Positive = 1, False Positive = N-1, False Negative = 0
□ False Positive (오탐지)
• 오탐지의 기준은 참가자가 탐지한 공격 포인트가 각 공격이 시작된 후 1초 이내에 없는 경우를 의미함
• 탐지한 공격의 타입을 정확히 분류하지 못할 경우 역시 오탐지로 판단함
• 오탐지는 참가자의 탐지 포인트 마다 평가가 이루어지기 때문에, 개수의 범위는 0 ≤ False Positive ≤ ‘공격 탐지 횟수’로 정의할 수
있음
• 예외 상황: 실제 공격 동안 탐지가 이루어졌지만 1초 이내에 탐지 못 했을 경우
• 오 탐지로 판단되지만, 해당 공격을 지나친 경우는 아니기 때문에 미 탐지의 숫자를 증가시키지는 않음
- True Positive = 0, False Positive = 1, False Negative = 0
□ False Negative (미 탐지)
• 미 탐지의 기준은 실제 공격 동안 한 번의 탐지도 이루어지지 않고 지나칠 경우를 의미함
• 미 탐지는 정답지에 존재하는 각 공격마다 평가가 이루어지기 때문에, 개수의 범위는 0 ≤ False Negative ≤ ‘실제 공격 횟수’로 정의할
수 있음
[참고] 차량 이상징후 탐지 – 평가방법 및 예외사항 정리

54 50
채점 예시
동점자 발생 시
□ 동점자의 탐지 반응 시간의 평균을 통해서 탐지 시간이 빠른 참가자에게 순위를 높게 판단
[참고] 차량 이상징후 탐지 – 평가방법 및 예외사항 정리
No. 구분 결과
1 13번째 Submit row가 13번째 Answer row의 구간에서 벗어난 경우
False Positive = 1, False Negative =
1
2 Row가 정렬된 데이터셋이 아닐 경우 F1-Score = 0
3 모두 정답 값 안에 들 경우 F1-Score = 1
4
3번 Submit파일을 기반으로 타입 중 DoS와 Fuzzy 혹은 Replay 값이 아닌 다른 값이 있을
경우
False Positive =1
5 3번 Submit파일을 기반으로 타입의 대소문자 구분을 하지 않은 경우 F1-Score = 1
6 동일한 시간과 타입을 가진 Row를 여러줄 추가 (부정 행위) 추가 열 만큼 False Positive 추가
7 True Positive 시간대 내에 Submit row를 중복 값을 넣은 경우 중복값은 False Positive로 판단
8 공격구간 내와 공격구간 후에 1초 간격으로 값을 넣은 경우 중복값은 False Positive로 판단
9 동일한 Row 100개를 넣었을 때 (부정 행위) False Positive = 100
10 시간을 1초 간격으로 모두 입력하였을 때 (부정 행위) False Positive → 입력 값 만큼 증가

[NetSec-KR 2018] 2017 정보보호 R&D 데이터 챌린지를 통해 살펴본 Data-Driven Security

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à [NetSec-KR 2018] 2017 정보보호 R&D 데이터 챌린지를 통해 살펴본 Data-Driven Security

Similaire à [NetSec-KR 2018] 2017 정보보호 R&D 데이터 챌린지를 통해 살펴본 Data-Driven Security (20)

Plus de Korea University

Plus de Korea University (10)

[NetSec-KR 2018] 2017 정보보호 R&D 데이터 챌린지를 통해 살펴본 Data-Driven Security