2017 데이터 그랜드 컨퍼런스 발표 자료

1. 미래 예측을 위한
빅데이터 융합분석 사례와 분석방법론
데이타솔루션 장준호

2. Kensho, 켄쇼, 見性
“골드만삭스의 직원들은 금융분석프로그램 켄쇼(Kensho)를 사용한 후 놀라움 감추지 못했다.
그들이 일주일 동안 매달리거나 사람을 고용해 처리하던 일을 켄쇼는 순식간에 해냈기 때문이다.”
뉴욕타임스는 27일(현지시간) 세계적인 금융투자기업 골드만삭스가 이용하는 ‘켄쇼’ 프로그램을 한면에
걸쳐 다루며 “로봇이 월스트리트를 침공(Invading)했다”고 보도했다. 로봇이 인간의 일자리를 빠르게
대체하고 있으며, 금융ㆍ투자와 같은 전문직도 예외는 아니라는 것이다.
켄쇼는 기업의 실적과 주요 경제수치, 주가의 움직임 등 방대한 양의 금융데이터를 분석해 투자자들의
질문에 답을 주는 프로그램이다. 시리아 내전이 경제에 미치는 영향을 파악하기 위해 켄쇼의 검색 엔진에
‘시리아 내전 격화(Escalations in The Syrian war)’를 입력하면 켄쇼는 불과 몇 분 안에 미국과 아시아의
주가 변동, 천연가스와 유가의 움직임, 심지어 캐나다 달러의 환율 변화 등 다양한 정보를 일목요연하게
정리해 보여준다.
한국일보, 2016년 2월 28일 신문기사 중.

3. Customer Needs & Trend
 기본적 서비스 제공에서는 더 이상 만족을 높이기 어려움
 컨텐츠와 실시간성을 활용한 고객 차별화 서비스 필요
 빅데이터 분석을 통한 추천, 또 추천…
 netflix(70%), google news(38%), amazon(35%)
고객 만족과 시장 선도를 위한 새로운 가치 창출 필요

4. Unstructured Big Data
 2011년 한 해 동안 전 세계에서 새롭게 생성/복제된 정보량 1.8ZB
 전 세계 정보량은 2년 마다 2배로 증가하는 추세
 2020년까지 생성되는 디지털 데이터 규모 40ZB
 전 세계 해변 모래알 수의 57배
 블루레이 디스크로 저장한다면 항공모함 424대의 무게
이 중 비정형 데이터는 전체의 약 80%

5. Mining
 Data Mining
 데이터에서 유용한 정보를 발견하는 과정
 데이터 마이닝을 통해 가치 있는 정보를 만들어 의사결정에 적용
 Text Mining
 자연어로 구성된 비정형 텍스트 데이터에서 패턴 또는 관계를 추출
하여 가치와 의미 있는 정보를 찾아내는 마이닝 기법
 사람들이 말하는 언어를 기계가 이해할 수 있는 자연언어 처리
(NLP) 기술에 기반함
 심층 분석 기술 : 소셜 마이닝, 오피니언 마이닝 등
 Web Mining, Social Mining, Realty Mining
비정형 데이터 분석을 위한 Text Mining 도구 필요

6. Big Data Driven
 다양한 정보와 서비스 품질
 어디서나 원하는 시점에
 정형 데이터
+
비정형 데이터
1
2
3
4
5
·
·
·
Big Data
Driven
고객유형군 행동분석
정형/비정형 빅데이터 분석
예측 모델링
고객 Seg. 분석
시장 트렌드/소셜 분석
정형, 비정형 데이터 융합분석을 통한 새로운 인사이트 추천
Auto
Customer Insights

7. Insight
 정형 데이터 통계분석을 활용한 인사이트 도출
 정량적 데이터의 조합을 통한 상관성 발견
 정확한 결과치를 검증해 나가며 반복적인 수행으로 예측
데이터 적재  분석  시각화  활용
데이터스토어 정형분석툴 프레젠테이션 정형보고서
Daily
Data
기존
시스템
연계

8. New Insight
 비정형 데이터를 기반으로 의사결정 시스템에 필요한 인사이트 추천
 정량적 데이터로 부터 정성적인 상관성 발견
 융합분석으로 더욱 정교한 분석을 가능하게 하는 Data Intelligence
데이터 적재  분석  시각화  활용
데이터스토어 분석 엔진 프레젠테이션 정형보고서
Data
Daily
Update
기존
시스템
연계
데이터레이크 주제분석엔진 융합분석엔진 AI 리포트
Real
Time
Data
새로운
View

9. Data Lake
 방대한 양의 정형/비정형 데이터 적재
 실시간으로 업데이트 되는 데이터 적재 및 연계
구분 일별 건수 6년 건수 내용
뉴스 약 3,200 건 약 1,000만 건 장기간 연속적으로 발생하는 정치,경제,사회 뉴스
증권 약 14,000 건 약 4,000만 건 코스닥, 코스피 종목의 시가 및 업종 평균값
기상 약 15,000 건 약 3,200만 건 농업, 종관 기상 정보
물가 약 10,000 건 약 2,400만 건 농축수산물 개별 품목의 물가 및 품목 평균가
시장금리 약 40 건 약 10만 건 콜금리, MMF 등의 시장 금리

10. Topic Analysis
시계열 분석을 통한 주제 일지 제공

13. Convergence Analysis
 자연어 처리 기술을 활용한 주제 추출(텍스트 마이닝)
 상관성 분석과 시계열 분석을 통한 데이터 그룹핑 및 추천
 최적의 알고리즘 적용(ACF, Bayesian …)
구분 종목 상관도
코스닥 안랩 30%
코스피 삼성전자 15%
물가 시금치 90%
금리 MMF 49%

14. Convergence Analysis
0
5000
10000
15000
20000
25000
date
20110217
20110406
20110524
20110711
20110828
20111015
20111202
20120119
20120307
20120424
20120611
20120729
20120915
20121102
20121220
20130206
20130326
20130513
20130630
20130817
20131004
20131121
20140108
20140225
20140414
20140601
20140719
20140905
20141023
20141210
20150127
20150316
20150503
20150620
20150807
20150924
20151111
20151229
20160215
20160403
20160521
20160708
20160825
20161012
20161129
20170116
20170305
20170422
20170609
20170727
20170913
20171031
항목 기준 상관도
시금치 평균가 7일 0.80%
수박 평균가 7일 0.43%
팽이버섯 평균가 3일 -0.40%
포도 평균가 7일 -0.38%

15. AI Report
 로봇 Writing 기술 적용
 인터스트리 및 업무 영역의 요구에 부합하는 자동 리포트 생성
 StatsMonkey, QuakeBot, 프로야구 뉴스로봇 등…
주어진 탬플릿에
정량적 정보 분석과
정성적 데이터 분석 병행

16. Use case
예시 영역
데이터
기대 시나리오
비정형 정형
시장 동향 분석
 뉴스
 동향 보고서
 증권 시세
 기상
 농수축산물 물가
 금리 등
 고객사 관련 주요 키워드를 추천, 사전
위험 감지
 시장 흐름에 따른 현시점의 보고서 활용
기업 분석
 경제 분야 뉴스
 결산보고서
 감사보고서
 재무제표
 경영정보
 일반정보
 경쟁사 혹은 자사에 대한 전반적인 분
석 및 관련 있는 주요 기업 추천
기술 동향 분석
 기술 관련 뉴스
 기술 동향 보고서
 특허, 논문 등
 특허 출원 수
 IPC 코드별 출원수
 논문 수
 인용,피인용수 등
 현재의 유망 기술에 대한 동향 분석을
통한 기술 전략 수립
 경쟁사 기술 분석
보안 동향 분석
 보안 관련 뉴스
 보안 일일 리포트
 보안 백서
 일일 해킹 통계
 공격 유형별 통계
 국가별 공격 통계
 공격의 유형 및 사전 징후 분석 및 보고
서 작성

17. Transportation
기본 시계열 모형 특이사항 보정 모형

18. Emergency
5/20 ~ 5/25 5/26~5/31 6/1~6/07 6/8~6/185/20 ~ 5/25 5/26~5/31 6/1~6/07 6/8~6/18
 질병관리본부는 바레인에 다녀온 남성이 확진 판정을 받아 치료 중이며 아직까지
생명엔 지장이 없는 상태라고 밝혔습니다.
 메르스 치사율 40% 감염질병.최초 발생 확인은 2012년.
환자는 중동 10여개국에서 97%가 발생하고 있다고 함.
 아시아 최초로 사람간 감염 증상이 나타난 메르스가 대한민국에 상륙……
치사율 40%고 치료제도 없다는데 어쩔;;
고열
(639)
호흡곤란
(744)
기침
(852)
사우디아라비아
(717)
중동지역
(850)
바레인
(647)
치사율
(899)
일평균 버즈량 → 594
[1주차] 첫 메르스 환자 발생으로 화제. 메르스의 증상, 발원지 등 정보 소개
5/20 ~ 5/25 5/26~5/31 6/1~6/07 6/8~6/18
 의심환자가 중국으로 출국하는 것도 몰라 중국이 반발하며 국제적 망신까지...
메르스의 치사율은 40%라지만 한국에서 가라는 출장을 안 가는 것의 치사율은
100%에 육박하기 때문에
 메르스 치사율은 40퍼 에볼라 치사율은 90퍼 쿠쿠의 취사율은 100퍼
 탄저균을 메르스가 막아주고 있는 형국 이건 정말 나라가 아니다
메르스에, 탄저균에, 국민들은 불안한데...무능정부는 또 '괴담 탓‘0
일평균 버즈량 → 24,835
[2주차] 전염이 시작됨에 따라 의심환자에 대한 관심과 우려.
가볍게 희화화한 글이 등장하며 화제
의심환자
(5,830)
전북
(920)
중국
(10,762)
쿠쿠
(6,798
)
취사율
(7,013)
탄저균
(9,391)
유언비어
(4,632)
괴담
(5,156)
5/20 ~ 5/25 5/26~5/31 6/1~6/07 6/8~6/18
 메르스에 의한 사망자는 기존에 호흡기 질환을 앓던 분들이었다고 합니다. 아직
건강하던 사람이 사망한 것이 아니니 너무 겁 먹지 마세요
 낙타와 접촉마라 낙타고기를 먹지마라..개콘도 아니고..
 서울메르스 대책본부장 박원순입니다.
서울시는 정부의 대책에 적극 협력하겠습니다
 메르스 3차 감염 문제가 불거졌는데도 정부는 '병원 비공개'를 고수….
일평균 버즈량 → 235,336
[3주차] 첫 사망자가 발생함에 따라 불안감 증폭, 감염자 발생
병원 정보 공개 여부 논란
박원순
(80,177)
낙타
(63,957)
공개
(70,525)
의사
(70,274)
정보
(41,990)
휴교
(35,264
)
사망, 사망자
(82,355)
5/20 ~ 5/25 5/26~5/31 6/1~6/07 6/8~6/18
 메르스 감염자 절반이 삼성서울병원에서 감염됐습니다.
 메르스 사망자가 3명 늘었다. 확진자도 3명 추가됐다. 확진자 3명 중 1명은
삼성서울병원 간호사다. 치명률은 13.9%로 높아졌다.
 '슈퍼 전파자' 우려가 제기됐던 부산의 두번째 메르스 확진환자 발생 엿새째인 오
늘까지 추가 감염자는 확인되지 않고 있습니다
일평균 버즈량 → 138,218
[4주차 이후] 절반 이상의 감염자를 발생시킨 삼성서울병원과 추가 확진자,
사망자 발생 현황에 관심
이재명
(30,147)
부산
(27,057
)
삼성서울병원
(59,544)
사망,사망자
(95,115)
성남시
(28,386)

19. Marketing
광고 초기 화제성 비교 ‘전지현’ 광고만큼 이슈화 되지 못한
‘김연아’SKT 광고
446건
55건
281건
73건
Online
Buzz
김연아 SKT광고
잘생겼다 광대역 LTE-A
2014.06.19~2014.07.18
총 2,050건 / 일 평균 68건
Online
Buzz
전지현 SKT광고
잘생겼다 LTE-A
총 3,685건 / 일 평균 122건
2014.02.09~2014.03.10
ON AIR
2주1주 3주 4주
새로운 SKT 모델인 김연아의 ‘잘생겼다 ‘ 광고는 On Air 첫 날
약 450여건의 관련 Buzz를 생산하며 화제가 되었으나,
점점 하락하여 전지현 광고 대비 일 평균 건수 50% 수준으로 떨어짐
연관 키워드 분석 김연아 광고는 ‘모델’에
전지현 광고는 ‘광고 내용’에 관심
별그대
광고
기업
품질 노래
Song
천송이
패러디모델
코믹댄스
LTE-A 속도
T월드
프로모션
SK텔레콤
캘리그라피통신사
슬로건
개통
36%
21%
16%
15%
30%
45%
18%
19%
전지현
SKT광고
김연아
SKT광고
광고/마케팅 기업 모델 상품/서비스
SKT의 새 광고 모델인 김연아와 관련된 키워드가
절반 가까이 차지함(45%)
전지현 SKT 광고의 경우,
‘잘생겼다 송’, ‘댄스’ 등 광고 내용 언급이 많았음(36%)
전지현 SKT 광고
광고
모델
기업
서비스
피겨여왕
우쿨렐레편
미공개컷
캠페인
금메달은퇴
광대역LTE-A 3배
세계최초
동계올림픽SK텔레콤
통신사영업정지
열애
요금제
세계선수권
김연아 SKT 광고
경기
영상

20. VOC
2,109건(33)% 4,345건(67%)
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
청약관련 업무 그외업무
1 공모주 청약 1,048
2 컴퓨터 1,011
3 977
4
5
계좌번호
씨엠에이
679
552
23 238
24 249
…
경쟁률
청약 수수료
정보 확인
0
500
1,000
1,500
청약확인 문의 경쟁률 수수료/이체 청약화면 문의
통화시간이 짧음 (약 1,589건 )
순위 키워드명 건수
* 청약 수수료와 CMA 문의
제가 CMA 계좌가 있는데
청약수수료 3,000원 무료
맞나요?
* 공모주 청약 확인 문의
OO머티리얼즈 공모주 청약을
했는데, 확인 부탁 드려요
* 화면 설명과 청약 방법 문의
이거 화면을 지금 보고 있는데,
하려면 어떻게 해야하죠?
* 실시간 경쟁률 확인 문의
OO 머티리얼즈
경쟁률이 어떻게 되나요?
현상 해결을 위해 ARS 시스템에 단순업무 안내, 챗봇 시스템을 활용한 선응대
키워드 분석으로 발견한 사건의 본질은 단순업무 비율 급증
0
200
400
600
800
1,000
1,200
1,400
1,600
1,800
2,000
콜센터 폭주 현상에 대한 원인파악을 TA솔루션을 활용하여 진행

21. Missile
미사일 쏘더니 대화카드
내민 북한
북한, 신년 연설에서
남북 대결상태 해소를 강조
북한 미사일,
미국 본토를 겨냥하고 있다
北 미사일 성능 꾸준히
향상...위협 수단 우려
2015년 이전 2015년 이후
국내 언론의 북한 미사일에 대한 언급은 주로
3~4월에 일어나며, 주 내용은 미사일 발사 전
후 남북간 대화를 원하는 북한의 태도
이슈가 반복적으로 언급되고, 미사일의 성능
강화로 인해 국내 뿐 아니라 일본, 미국 본토까
지 위협 가능한 수준에 대해 지속적으로 언급

22. Egg
0
20
40
60
80
100
120
140
160
180
0
2000
4000
6000
8000
10000
12000
1월 2월 3월 4월 5월 6월 7월 8월 9월 10월 11월 12월
계란 가격 뉴스 언급 건수
사재기
조류독감
바이러스
살처분
계란
금값
AI
계란 '금값' 여름
내내 고공행진
씨암탉 대거
살처분
AI로 계란가격
연중 최고 수준
돌파
계란 사재기 대란
현실이 되다
!
증명서
살충제
전수조사
농식품부
계란
안전관리
부적합
하다
살충제 계란
불안 확산
달걀 전수조사로
무더기 검출
계란농장
안전관리 부실
논란
조류독감
계란
사재기

23. Future Strategy
단기 예측 중장기 예측
특정 분야
데이터
광범위
데이터
Data
Time
Focus
• 전통적인 예측 분석
• 가능한 상세하고 정확한 데이터 수집
• 현안이나 이슈의 세부 구조와 양상 파악
• (정량)상관/회귀/클러스터링/의사결정트리
• (정성)텍스트마이닝, 네트워크분석…
• 축적된 데이터 기반 추세 모니터링
• 변인 간 상호 역동성 파악
• 지식베이스 기반 대응전략과 실행방안 도출
• 데이터와 전문가 집단지성 활용
• 추세분석, 시스템다이나믹스, 시뮬레이션…
• 전통적인 미래연구와 유사
• 광범위 환경스캔, 트렌드와 이머징 이슈 전망
• 바람직한 미래를 상정, 오피니언 리더
중심으로 사회적 합의 과정도 포함
• 비정형 데이터분석 기법이 다수
• 이상 징후 포착, 조기 전파 및 대응
• 데이터의 정확도 보다 실시간 분석/탐지
가능성이 중요
• 지수/지표 기반 모니터링, Dashboard
• 패턴분석, 초단기예측…
문제 해결 선제적 대응
조기 경보 아젠다 발굴
출처 : 빅데이터시대, 미래전략의 새로운 접근법, NIA, IT & Future Strategy, 2015-14

24. Thank you