SlideShare une entreprise Scribd logo
1  sur  94
Télécharger pour lire hors ligne
데이터분석과저널리즘 정제에서 분석까지
3.1~3.4
이해
뉴스와 데이터를 연결 지어 생각해 보고, 취재와 제작에 데이터의
정량 분석과 시각화의 힘을 적극적이고 효과적으로 활용하려는 자세
데이터 마인드가 갖춰진 기자
• 유용한 데이터가 어디엔가 존재할 것이라는 전제하에 일을 시작
• 정부의 공공기관의 정책 정보와 마찬가지로 공공 데이터 역시 국민의 알
권리 차원에서 당당하게 요구하고 활용할 권리가 있다는 점을 분명히
인지하고 있어야 한다.
• 취재처에 무슨 데이터가 존재하고 어떻게 구할 수 있는지 파악하는 한편
자신만의 취재 데이터베이스를 구축해 부가가치를 높이려고 한다.
• 보조적 수단의 통계자료 차원이 아닌 데이터를 기반한 기사를 쓴다.
이해
『자료 입수의 기술(The Art of Access』
(미국의 정보공개 전문가인 미주리 대학교의 찰스 데이비드 교수,
아리조나 대학교의 데이비드 컬리어 교수)
탐사 보도 전문 기자들의 문서 추적 기법의 데이터 취재에 접목해도
효과를 배가 할 수 있다,
자료 추적 하기 전 취재하는 기관의 성격, 업무에 관해 자문자답!
1. 무슨 일을 하는 기관인가?
2. 어느 사업에 어떤 예산을 지출하나?
3. 이 기관이 감독하고 규제하는 영역은?
4. 누가 자료를 생산하나?
5. 기관에서 정기적으로 발표하는 통계자료는?
6. 이 기관에서 문서를 공유하는 다른 기관은 어디인가?
이해
탐사 보도 전문 기자 돈 레이의 문서 체크리스트!
1. 부모님은 누구인가? (누가 만든 자료인가?)
2. 언재 태어났나? (언제 만들어졌고 자료 갱신 주가는?)
3. 사용하는 언어는? (데이터에 쓰인 용어의 의미는>)
4. 결혼 했나? 형제는 없나? (연계된 다른 데이터는 없는가?)
5. 어떻게 여기에 오게 됐나? (자료 생성의 흐름은?)
6. 숨기고 있는 건 없는가? (자료 한 켠에 숨겨진 작은 글씨나 코드는 없
나? 그 의미는?)
『자료 입수의 기술(The Art of Access』
(미국의 정보공개 전문가인 미주리 대학교의 찰스 데이비드 교수,
아리조나 대학교의 데이비드 컬리어 교수)
탐사 보도 전문 기자들의 문서 추적 기법의 데이터 취재에 접목해도
효과를 배가 할 수 있다,
이해
문서는 만든 사람의 의도성에 따라 그 성격이 달라진다.
1. 누가 무슨 목적으로 작성한 것인지를 파악
2. 언제 만들어졌고, 어느 정도 주기로 갱신되는 자료인지도 정확히 숙지
3. 데이터베이스의 각 항목이 뜻하는 의미는 무엇인지도 정확히 숙지
이와 같은 ‘데이터에 관한 데이터’을 메타데이터라고 한다.
∴ 데이터 마인드는 분석도구에 익숙할수록 더 깊어진다.
이해 데이터 파일 형식의 기본: 구분자(delimiter) 이해하기
가장 널리 사용되는 엑셀
오피스 2007년 버전 이후에서 사용하는 .xlxs(엑셀 통합문서)
2003년 이전 구 버전에서 사용하던 .xls가 있다.
엑셀의 대용인 무료 ‘Open Office Calc’
.ods확장자의 ODF 파일을 생성한다.
CSV 다음으로 많이 사용되는 파일은 탭(tab)
(TAB-Delimited Text File)이다.
이해 데이터 파일 형식의 기본: 구분자(delimiter) 이해하기
스프레드 시트 만큼 사용되는 CSV(Comma-Separated Value)
글자와 숫자 단락마다 쉼표(Comma)가 들어가 있다.
CSV에서는 쉼표가 데이터와 데이터를 구분한다.
이와 같은 쉼표의 역할을 구분자 혹은
분리자(Delimiter, Separator)라고 한다.
이해 데이터 파일 형식의 기본: 구분자(delimiter) 이해하기
CSV파일 불러오기
• 엑셀의 ‘열기’ 메뉴에서 쉽게 불러올 수 있는 경우
• 상단 메뉴의 ‘데이터’→’텍스트’ 메뉴를 통해야 한다.
이해 데이터 및 자료 수집
1. 기획
2. 데이터 수집
3. 데이터 정리 및 정제(가장 많은 시간과 노력이 필요한 부분)
→올바른 분석과 시각화를 위해서는 반드시 거쳐야 하는 작업
4. 데이터 분석과 사각화
5. 현장 취재 병행
6. 방송, 신문 혹은 웹 콘텐츠 제작
(순서는 고정 불변한 것은 아님. 상황에 맞춰 작업 순서가 바뀌거나 여러 가지 작업
이 동시에 진행되기도 한다.)
아무리 비싼 도구와 좋은 소대로 분석한다고 하더라도,
부정확한 데이터로 작업을 하면 아무 소용이 없다.
오류를 안고 있는 데이터를 투입하면,
오류 투성이의 결과를 낳을 수 밖에 없다.
이해 데이터 수집의 6가지 방법
1. 현장 취재 데이터 직접 입수
2. 인터넷상에서 검색으로 자료 취득
3. 정보공개 청구
4. 공개 API 활용
5. 웹스크레이핑(Web Scraping, Web Crawlng)
6. 데이터베이스 자체 구축
<극히 예외적인 한 가지 사례>
웹스크레핑 사례 “미국 언론인이 웹스크레이핑으로 인해서 법정 논란”
미국의 ‘스크립스 하워드 뉴스(Scripps Howaed News Service)’의 취제 기자 아이작 울프(Issac
Wolf) http://www.niemanlab.org/tag/isaac-wolf/
법적 윤리적으로 갈등의 소지가 없는지는 좀 더 사회적 논의와 합의가 필요한 부분이지만, 우리나
라의 데이터 분석가와 기업, 연구기관들도 이미 웹스크레이핑을 폭넓게 활용하고 있다.
대부분의 웹스크레이핑은 특정 사이트의 공식적인 허락을 받지 않고, 통상적인 방법과는 다른 경
로로 데이터를 수집하게 된다. 이 때문에 원칙적으로는 해당 기관에 데이터 파일 제공을 직접 요
청하는 등 가능한 모든 수집방법을 시도해 본 다음 마지막 대안으로 사용 or 미리 해당 기관에 통
지하는 것이 바람직하다.
이해 데이터 수집의 6가지 방법
또 하나의 방법, 구글 고급검색
“F-35A” filetype:pdf site:gov
인터넷상에는 검색엔진의 레이더망에는 포착되지 않는 숨겨진 고급 정보도
무수히 많다. “보이지 않는 웹(Invisible Web)”이 그것이다.
프리즘 : 국내 각종 정부 용역 보고서
제인스 연감 : 해외 사이트에서 무기에 대한 상세한 정보
Lexisnexis : 기업 간의 소송에 대한 정보
*유료와 무료가 섞여 있으니 선별해서 사용!
언론진흥재단 등 탐사 보도 혹은 데이터 저널리즘 교육 프로그램의 강좌를 통
해 검색 노하우와 관련된 정보를 얻을 수 도 있다.
3.5
이해 야후 파이프 이용하기
야후파이브 작업창
이해 야후 파이프 이용하기
야후 파이프 모듈 구성화면
이해 야후 파이프 이용하기
야후파이프 필터 모튤
이해 야후 파이프 이용하기
RSS 피드 필터링정렬용 야후 파이프 모듈 구성
이해 야후 파이프 이용하기
모듈 실행 결과 RSS 피드 불러온 모습
3.6
이해 이제는 화석이 되어버린 데이터 PDF
PDF는 공공기관에서 널리 사용되는 파일 형태 하지만, 데이터를 다루는 기
자의 입장에서는 기피대상 1호
→ PDF 이미지파일은 오직 읽기만 가능, 수정 불가
∴ 파일 속의 문자와 숫자는 화석화된 상태→ 2차 분석 여지가 없음.
이해 이제는 화석이 되어버린 데이터 PDF
해외 언론관련 단체들이 추천하는 PDF 파일 도구 3가지
1. COMETDOCS
2. ZAMZAR
3. PDF to Excel Converter
→ 모두 PDF파일을 업로드해 변환할 파일 형식.
엑셀 파일을 지정한 뒤, 자신의 이메일 주소를 입력하면 된다. 실행시키면,
변환 파일을 내려받을 수 있는 링크가 이메일에 담겨 즉시 날아온다.
아직 까지 무료도구 중에 PDF 파일을 완벽하게 엑셀 파일로 변환시켜주는
경우는 없다. → 변환된 파일을 수작업으로 정리할 필요
∴ 자신의 상황과 데이터 특성에 맞춰 최적의 도구를 고르고 변환한 파일을
원본과 대조해 제대로 처리되었는지 꼼꼼히 따져보는 태도 필요
이해 이제는 화석이 되어버린 데이터 PDF
원본 PDF 파일
이해 이제는 화석이 되어버린 데이터 PDF
COMETDOCS
이해 이제는 화석이 되어버린 데이터 PDF
PDF to Excel Converter
3.7~3.10
1. 홈페이지(openrefine.org) 접속
2. 다운로드
3. Window kit 다운로드
4. (자바 프로그램이 깔려 있지
않으면 자바 프로그램 다운)
Refine
5. (다운로드 후) 알집 풀기
6. 다이아 모양
google-refine 클릭
Refine
7. 파일 선택 클릭
8. 제3장 中
“서울시도로시설물” 클릭
Refine
9. NEXT 클릭.
10. Project name 설정 후
Create project 클릭
Refine
Refine : Record -> rows 바꾸기
시설물명 -> Facet -> Text facet 클릭Refine
Refine : name -> count 클릭
: blank위에 마우스 올리면 “edit” , “include” 뜸Refine
: (좌) “include” 클릭
: (우) “edit” 클릭 후 ->
“이름없는 시설물” 작성 후 -> apply 클릭
Refine
: (좌) exclude 클릭
: (우) 무명교 -> “edit” -> 이름없는 시설물로 변경
Refine
: 이름없는 시설물 없애는 법
이름없는 시설물 -> edit -> (띄워쓰기 한번)
Refine
: 이름없는 시설물 없애는 법Refine
(좌) 빈칸 우측의 “include” 클릭
(우) 시설물명 -> edit cells -> common transforms -> blank out cells
: (좌) 소유자 -> facet -> text facel
: (우) 같은 곳이지만 (“강북구청”=“강북구청장”) 다른 표기 발견
Refine
: (좌) 강북구청에 마우스 커서 올린 뒤 -> edit 클릭
: (우) 강북구청 -> 강북구청장으로 변경(apply)
Refine
: 준공일(일반 데이터의 유형은 TEXT, 준공일의 유형은 시간(DATA))
: 우선 준공일 -> Edit cells -> common transforms -> to date 선택
Refine
: (좌) 준공일 -> Facet -> Timeline facet
: (우) (좌)의 결과
Refine
: (좌) 1900년대 지어진 건물들이 많음(이상함)
: (우) 그 이유를 알아보기 위해 범위를 줄임
Refine
: 477개나 되는 건물이 1900년대 지어짐?
-> 그 원인은 그 시대에 지어진 것이 아니라 준공 시점을 모르기 때문
Refine
: 문제의 1900년 1월 1일의 표기 문제 해결
: 준공일 -> edit cells -> common transforms -> to text
Refine
: 문제의 1900년 1월 1일의 표기 문제 해결
: (좌) 준공일 -> facet-> text facet
: (우) 그 결과, 1990년 1월 1일 준공된 시설물(408개) + 빈 셀(69개)
Refine
: 문제의 1900년 1월 1일의 표기 문제 해결
: 1990년 1월 1일 준공된 시설물(408개) + 빈 셀(69개) -> edit ->
“준공일 미확인” 으로 적용
Refine
: 준공일 미확인(477개)이 정해지면, 준공일 -> edit cells ->
common transforms -> to number 선택
Refine
• 오픈 리파인을 사용하는 이유 : 데이터를 정제하기 위해
• 파란색(검은색)은 문자, 녹색은 숫자나 시간 데이터를 나타냄
• 셀의 왼쪽에 붙어 표시되는 데이터는 문자 형태,
수치는 반드시 숫자 유형(to number)으로 형식을 바꿔줘야
제대로 된 계산 가능
Refine
정규표현식은 문자열의 배열에서
일정한 패턴을 찾아내
데이터 처리를 쉽게 만드는 수단
Refine
Refine 문자열 사이의 공백을 기준으로 ‘위치’ 칼럼을 두개의 칼럼으로 분리하기
“시”, “구”가 분리되어 있지 않음
Refine 문자열 사이의 공백을 기준으로 ‘위치’ 칼럼을 두개의 칼럼으로 분리하기
value.replace("특별시","특별시 ").replace("
광역시","광역시 ").replace("도","도
").replace("영도 구","영도구")
Refine 문자열 사이의 공백을 기준으로 ‘위치’ 칼럼을 두개의 칼럼으로 분리하기
“시”,”구”가 분리되었음
Refine 문자열 사이의 공백을 기준으로 ‘위치’ 칼럼을 두개의 칼럼으로 분리하기
Refine 특정 문자만 추출하기
value.replace("특별시","특별시 ").replace("
광역시","광역시 ").replace("도","도
").replace("영도 구","영도구").split(" ")[0]
컴퓨터 언어는 순서를 셀 때
1부터 세는 것이 아니라 0부터 센다.
Refine 특정 문자만 추출하기
value.partiton(/^.{4}시|^.{2,}도/)[1]
을 입력했을때도 똑같이
첫번째 문자열인 ‘시’를 기준으로 나눠진다.
Refine 특정 문자만 추출하기
• / : 정규표현식의 시작을 알리는 기호
• ^: 첫 번째 나오는 문자열
• . : 아무 글자나 한 글자
• {4}: 앞 문자열이 4번 나타날 때
• | : 영어의 OR와 같은 이른바 blooean 연산자
• ^ : 첫 번째 나오는 문자
• {2,}: 앞 문자열이 2번 이상 나타날 때
• / : 정규표현식 마무리를 알리는 기호
Refine 특정 문자만 추출하기
Refine 특정 문자만 추출하기
value.replace("특별시","특별시 ").replace("광
역시","광역시 ").replace("도","도 ").replace("
영도 구","영도구").split(" ")[0]
Refine 특정 문자만 추출하기
Refine 특정 문자만 추출하기
value.replace(/d+-d+/,"")
Refine 특정 문자만 추출하기
• / : 정규 표현의 시작
• d : 숫자(digit) 한 개 혹은 여러 개
• - : 1-010처럼 숫자 사이에 위치한 – 기호
• d+ : 숫자가 한 개 혹은 여러 개
• / : 정규표현식 마무리
Refine 특정 문자만 추출하기
Refine 특정 문자만 추출하기
value.split("|")[0]+"."+value.split("|")[1]+
value.split("|")[2]
Refine 특정 문자만 추출하기
Split :
괄호안의 문자를 “.”로 처리 하라는 의미
value.split("|")[0]+"."+value.split("|")[1]+
value.split("|")[2]
Refine 특정 문자만 추출하기
cells["위도"].value+
" "+cells["경도"]
.value
Refine 칼럼과 칼럼을 합치는 기능
3.11~3.15
엑셀 스프레드 시트
Ctrl + end : 커서 위치를 데이터값이 입력된 영역의
오른편 아래쪽 끝단으로 이동한다.
Ctrl + shift + end : 특정 셀을 기준으로 오른쪽 아래
방향으로 데이터 값이 입력된 영역의 끝단까지를 모
두 선택한다.
Ctrl + 화살표키 : 데이터 값이 입력된 영역의 끝단으
로 커서를 옮긴다.
Ctrl + shift + 화살표 키 : 데이터 값이 입력된 영역의
끝단으로 선택 범위를 확대.
필터링 : 내가 원하는 조건의 데이터만 뽑아내는
것 일정 조건에 해당하는 데이터만 걸러낼 수 있다.
원하는 셀 선택 후 데이터 – 필터로 가서 화살표
표시 클릭 – 걸러낼 셀 클릭 – ‘모두 선택’ – 걸러낼
셀 체크해서 필터링.
칼럼 여러 개를 선택하면 복수 필터 동시 사용 가
능
입력된 칼럼 - =,>,<와 같은 등호와 부등호를 사용
해 일정 값을 기준으로 초과, 미만, 이상, 이하의 데
이터만 추출 가능.
엑셀 스프레드 시트
엑셀 피벗테이블
피벗 테이블 – 특정 범주 데이터를 기준으로 다른
수치 데이터를 합산하고 평균을 내거나 비율을 계
산하고 정렬해 일목요연한 표로 정리한 것.
차트상 아무 셀이나 한 곳 클릭 – 상단메뉴의 삽입
– 핍업테이블 – 확인 – 오른편에는 피벗 테이블 필
드, 왼편에는 표 만들어짐 – drag and darg 방식
사용 – 원하는 데이터 칼럼의 네모난 빈 상자를 클
릭하거나 칼럼 명을 클릭한 뒤 원하는 곳으로 끌어
다놈 – 평균값으로 변환하기 위해 셀을 아무 곳이
나 클릭한 뒤 마우스 우 클릭 – 값요약 기준 – 평균
으로 조정 – 총합계는 제거한 뒤 마우스 우클릭해
필드 표시형식 메뉴에서 연봉 평균값을 소수점 1
자리로 표시.
몇 개씩 분포했는지 개수세기
‘행’에 범주 데이터를 옮기고 ‘값’에도 동일한 범주
데이터를 넣으면, 각 항목별로 개수 세어준다.
퍼센트 비율로 나타내기 – 개수 칼럼에서 마우스
우클릭 뒤 값 요약 기준 – 기타 옵션 – 값 표시형식
– 설정
피벗테이블 셀 위에서 마우스 우클릭해 정렬 메뉴
를 선택하면 내림차순 혹은 올림차순으로 정렬 가
능
피벗테이블은 데이터의 분포를 요약하는데 탁월한
기능
엑셀 피벗테이블
몇 개씩 분포했는지 개수세기
‘행’에 범주 데이터를 옮기고 ‘값’에도 동일한 범주
데이터를 넣으면, 각 항목별로 개수 세어준다.
퍼센트 비율로 나타내기 – 개수 칼럼에서 마우스
우클릭 뒤 값 요약 기준 – 기타 옵션 – 값 표시형식
– 설정
피벗테이블 셀 위에서 마우스 우클릭해 정렬 메뉴
를 선택하면 내림차순 혹은 올림차순으로 정렬 가
능
피벗테이블은 데이터의 분포를 요약하는데 탁월한
기능
엑셀 피벗테이블
엑셀 피벗테이블
엑셀 피벗테이블
엑셀 피벗테이블
엑셀 피벗테이블
엑셀 피벗테이블
소수 자리 첫 번째 까지 나타나도록 함
엑셀 피벗테이블
엑셀 피벗테이블
엑셀 피벗테이블
엑셀 피벗테이블
값 - 기관장 연봉 2013 범주
행, 값 – 경영평가등급 2013
엑셀
텍스트 분리 기능 : 메뉴 데이터 – 텍스트 분리
바꾸기 기능 : 홈 – 찾기 및 선택 – 바꾸기
Ex) ‘서울시 강북구 번동’ 셀이 있을 경우 ‘시’를 ‘특
별시’로 변동 가능
Concatenate(문자열, 문자열, …, 문자열) 문자가 입
력된 셀 합쳐주는 함수
Ex) A2셀에 서울시, B2셀에 강북구라고 입력돼 있
을 때, =concatenate(A2,””,B2)은 ‘서울시 강북구’라
는 셀을 발생
Concatenate함수와 같이 함수명이 긴 경우con만
입력해도 con으로 시작하는 여러 함수가 뜨기 때
문에 선택 가능, &로 문자열을 연결시켜도
concatenate와 동일한 효과 낼 수 있다.
가령 =A2&””&B2라고 입력해도
=concatenate(A2,””,B2)과 같은 결과를 낸다.
Datevalue – 시간 데이터를 숫자로 변환
Today - 오늘의 연월일 날짜를 산출하는 함수
Leet(A2,5)는 셀A2의 문자열에서 왼쪽에서 다섯글
자를 추출
Mid(A2,7,3)은 A2의 왼편에서 7번째 자리부터 시
작해 세 글자를 뺌
Right(A2.3) A2의 오른쪽에서 세 글자를 추출
If(조건문, 결과값이 참인경우, 결과값이 거짓인 경
우)
Ex) if(A2>70, “합격” , “불합격”)
엑셀
엑셀
쿼리 – sol을 사용해 원본데이터를 검색, 추가, 수
정, 삭제하는 질의문으로 dbms를 사용하여 데이터
베이스를 조작하는 것
이미 구축되어 있는 테이블로부터 데이터베이스를
분석하여 필요한 정보를 찾는 도구
폼이나 보고서의 원본데이터가 됨
Secect - 필요한 칼럼 선택해 불러옴
Where - 조건에 맞는 행을 불러옴
Group by – 특정 칼럼을 기준으로 다른
칼럼 데이터를 집게해 보여준다. 피벗 테
이블의 ‘행’에 끌어 넣어주는 칼럼명이 바
로 이기준 칼럼
Pivot – 피벗 테이블의 ‘열’ 만듬
Order by – 올림차순 혹은 내림차순으로
정렬
Limit – 표시할 행수 설정
Label – 표시할 칼럼 이름 새로 지정
엑셀
엑셀
구글 가입 후 – 엑셀 스프레드시트 – 업로드 - 문서열기
엑셀
셀 313에 입력 :
(=query(A1:E312,"select A,E order by E desc limit 10")
칼럼 A의 기관명과 칼럼 E의 2013년 기관장 연봉을 불러
와 연봉이가장 높은 기관부터 순서대로 열 기관 나열하라
는 명령
엑셀
3.16~3.17
마무리 통계에 관한 몇 가지 기본 상식
통계학
• 기술 통계 : 자료의 특징을 간단히 설명 하는 통계
• 추리 통계 : 표본집단을 설정해 가설을 만든 후, 참과 거짓을 결정
마무리 통계에 관한 몇 가지 기본 상식
평균 = 자료 분포의 특성을 보여주는 대푯값
산술평균 : 전체 값을 모두 더한 뒤, 개수로 나눈 값 (outlier 발생 가능)
중앙값 : 표본 수치를 나열 했을 때 중앙값
(홀수면 정중앙 수치, 짝수면 중앙의 나란히 위치한 두 수의 평균값)
최빈값 : 표본 수치 중 가장 많이 등장하는 값
일반적으로는 산술평균을 사용하지만 분포가 쏠릴 경우, 중앙값 사용
마무리 통계에 관한 몇 가지 기본 상식
우리가 주목해야 하는 것, 데이터 간의 차이
범위 : 최댓값과 최솟값을 구한 차이
편차 : 각 데이터와 평균의 차이 (편차를 모두 더하면 0)
분산 : 각 편자의 제곱의 평균
표준편차 : 수치와 중심값과 거리를 가늠할 수 있는 수치
이러한 수치를 통해 정규 분포를 만들어 시각적으로 데이터를 볼 수 있다.
마무리 데이터에 대한 과신을 버려야 데이터 저널리즘이 산다.
데이터에 근접한 취재는 “객관적이고 입체적인 보도"가 목적이다.
따라서, 데이터 저널리즘은 데이터의 객관성과 정확성이 중요하다.
숫자는 의견이고, 요약이고, 추정치에 불과하다.
뉴욕타임즈 컴퓨터 활용보도(CAR) 에디터
사라코헨
수치 자료에서 가치와 효용성을 끌어내는 것은 전적으로
데이터를 적극 사용하는 사람의 몫인 것이다.
데이터분석과저널리즘 정제에서 분석까지

Contenu connexe

En vedette

CT, 연구중심 융합교육 가능할까?
CT, 연구중심 융합교육 가능할까?CT, 연구중심 융합교육 가능할까?
CT, 연구중심 융합교육 가능할까?Woontack Woo
 
스마트그리드
스마트그리드스마트그리드
스마트그리드태욱 박
 
[Smart Grid Market Research] Energy 2.0: Smart Grid Roadmap, 2012 – 2022, May...
[Smart Grid Market Research] Energy 2.0: Smart Grid Roadmap, 2012 – 2022, May...[Smart Grid Market Research] Energy 2.0: Smart Grid Roadmap, 2012 – 2022, May...
[Smart Grid Market Research] Energy 2.0: Smart Grid Roadmap, 2012 – 2022, May...Zpryme Research & Consulting, LLC
 
CIO가 꼭 알아야 할 ICT 트렌드
CIO가 꼭 알아야 할 ICT 트렌드CIO가 꼭 알아야 할 ICT 트렌드
CIO가 꼭 알아야 할 ICT 트렌드A-type Company
 
스마트그리드 유진오1026
스마트그리드 유진오1026스마트그리드 유진오1026
스마트그리드 유진오1026진오 유
 
자동화된 소스 분석, 처리, 검증을 통한 소스의 불필요한 #if - #endif 제거하기 NDC2012
자동화된 소스 분석, 처리, 검증을 통한 소스의 불필요한 #if - #endif 제거하기 NDC2012자동화된 소스 분석, 처리, 검증을 통한 소스의 불필요한 #if - #endif 제거하기 NDC2012
자동화된 소스 분석, 처리, 검증을 통한 소스의 불필요한 #if - #endif 제거하기 NDC2012Esun Kim
 
Smart Grid Cyber Security
Smart Grid Cyber SecuritySmart Grid Cyber Security
Smart Grid Cyber SecurityJAZEEL K T
 
Knowledge 3.0 시대, 지식융합의 본질과 방향 : 학문의 경계를 허물다 - 이인식
Knowledge 3.0 시대, 지식융합의 본질과 방향 : 학문의 경계를 허물다 - 이인식Knowledge 3.0 시대, 지식융합의 본질과 방향 : 학문의 경계를 허물다 - 이인식
Knowledge 3.0 시대, 지식융합의 본질과 방향 : 학문의 경계를 허물다 - 이인식Center for Teaching and Learning
 
Learning 3.0 시대, 지식·콘텐츠·서비스의 융합 전략 : 학습의 경계를 허물다 - 민경배
Learning 3.0 시대, 지식·콘텐츠·서비스의 융합 전략 : 학습의 경계를 허물다 - 민경배Learning 3.0 시대, 지식·콘텐츠·서비스의 융합 전략 : 학습의 경계를 허물다 - 민경배
Learning 3.0 시대, 지식·콘텐츠·서비스의 융합 전략 : 학습의 경계를 허물다 - 민경배Center for Teaching and Learning
 
IOT 비즈니스기회
IOT 비즈니스기회IOT 비즈니스기회
IOT 비즈니스기회Kim jeehyun
 
TEDx Manchester: AI & The Future of Work
TEDx Manchester: AI & The Future of WorkTEDx Manchester: AI & The Future of Work
TEDx Manchester: AI & The Future of WorkVolker Hirsch
 

En vedette (13)

CT, 연구중심 융합교육 가능할까?
CT, 연구중심 융합교육 가능할까?CT, 연구중심 융합교육 가능할까?
CT, 연구중심 융합교육 가능할까?
 
스마트그리드
스마트그리드스마트그리드
스마트그리드
 
[Smart Grid Market Research] Energy 2.0: Smart Grid Roadmap, 2012 – 2022, May...
[Smart Grid Market Research] Energy 2.0: Smart Grid Roadmap, 2012 – 2022, May...[Smart Grid Market Research] Energy 2.0: Smart Grid Roadmap, 2012 – 2022, May...
[Smart Grid Market Research] Energy 2.0: Smart Grid Roadmap, 2012 – 2022, May...
 
CIO가 꼭 알아야 할 ICT 트렌드
CIO가 꼭 알아야 할 ICT 트렌드CIO가 꼭 알아야 할 ICT 트렌드
CIO가 꼭 알아야 할 ICT 트렌드
 
스마트그리드 유진오1026
스마트그리드 유진오1026스마트그리드 유진오1026
스마트그리드 유진오1026
 
자동화된 소스 분석, 처리, 검증을 통한 소스의 불필요한 #if - #endif 제거하기 NDC2012
자동화된 소스 분석, 처리, 검증을 통한 소스의 불필요한 #if - #endif 제거하기 NDC2012자동화된 소스 분석, 처리, 검증을 통한 소스의 불필요한 #if - #endif 제거하기 NDC2012
자동화된 소스 분석, 처리, 검증을 통한 소스의 불필요한 #if - #endif 제거하기 NDC2012
 
Smart Grid Cyber Security
Smart Grid Cyber SecuritySmart Grid Cyber Security
Smart Grid Cyber Security
 
Knowledge 3.0 시대, 지식융합의 본질과 방향 : 학문의 경계를 허물다 - 이인식
Knowledge 3.0 시대, 지식융합의 본질과 방향 : 학문의 경계를 허물다 - 이인식Knowledge 3.0 시대, 지식융합의 본질과 방향 : 학문의 경계를 허물다 - 이인식
Knowledge 3.0 시대, 지식융합의 본질과 방향 : 학문의 경계를 허물다 - 이인식
 
Learning 3.0 시대, 지식·콘텐츠·서비스의 융합 전략 : 학습의 경계를 허물다 - 민경배
Learning 3.0 시대, 지식·콘텐츠·서비스의 융합 전략 : 학습의 경계를 허물다 - 민경배Learning 3.0 시대, 지식·콘텐츠·서비스의 융합 전략 : 학습의 경계를 허물다 - 민경배
Learning 3.0 시대, 지식·콘텐츠·서비스의 융합 전략 : 학습의 경계를 허물다 - 민경배
 
Smart Grid Technology
Smart Grid TechnologySmart Grid Technology
Smart Grid Technology
 
IOT 비즈니스기회
IOT 비즈니스기회IOT 비즈니스기회
IOT 비즈니스기회
 
Smart grid ppt
Smart grid pptSmart grid ppt
Smart grid ppt
 
TEDx Manchester: AI & The Future of Work
TEDx Manchester: AI & The Future of WorkTEDx Manchester: AI & The Future of Work
TEDx Manchester: AI & The Future of Work
 

Similaire à 데이터분석과저널리즘 정제에서 분석까지

3장 데이터 수집, 정제에서 분석까지
3장 데이터 수집, 정제에서 분석까지3장 데이터 수집, 정제에서 분석까지
3장 데이터 수집, 정제에서 분석까지Hyochan PARK
 
Korean manual for nodexl fb, flickr, twitter, youtube, wiki
Korean manual for nodexl fb, flickr, twitter, youtube, wikiKorean manual for nodexl fb, flickr, twitter, youtube, wiki
Korean manual for nodexl fb, flickr, twitter, youtube, wikiHan Woo PARK
 
[PyCon KR 2018] 땀내를 줄이는 Data와 Feature 다루기
[PyCon KR 2018] 땀내를 줄이는 Data와 Feature 다루기[PyCon KR 2018] 땀내를 줄이는 Data와 Feature 다루기
[PyCon KR 2018] 땀내를 줄이는 Data와 Feature 다루기Joeun Park
 
정보검색과 Elasticsearch (크몽)
정보검색과 Elasticsearch (크몽)정보검색과 Elasticsearch (크몽)
정보검색과 Elasticsearch (크몽)크몽
 
R 프로그램의 이해와 활용 v1.1
R 프로그램의 이해와 활용 v1.1R 프로그램의 이해와 활용 v1.1
R 프로그램의 이해와 활용 v1.1happychallenge
 
2016년 인문정보학 Sql세미나 1/3
2016년 인문정보학 Sql세미나 1/32016년 인문정보학 Sql세미나 1/3
2016년 인문정보학 Sql세미나 1/3in2acous
 
Predictive analytics를 위한 alteryx
Predictive analytics를 위한 alteryxPredictive analytics를 위한 alteryx
Predictive analytics를 위한 alteryxPikdata Inc.
 
R을 이용한 데이터 분석
R을 이용한 데이터 분석R을 이용한 데이터 분석
R을 이용한 데이터 분석simon park
 
방송기자협회 - 탐사보도를 위한 엑셀 활용법
방송기자협회 - 탐사보도를 위한 엑셀 활용법방송기자협회 - 탐사보도를 위한 엑셀 활용법
방송기자협회 - 탐사보도를 위한 엑셀 활용법Han Woo PARK
 
ProQuest TDM(Text Data Mining) Studio_이용 매뉴얼
ProQuest TDM(Text Data Mining) Studio_이용 매뉴얼ProQuest TDM(Text Data Mining) Studio_이용 매뉴얼
ProQuest TDM(Text Data Mining) Studio_이용 매뉴얼yonseilibrary
 
Datawarehouse를 이용한 데이터 블렌딩
Datawarehouse를 이용한 데이터 블렌딩Datawarehouse를 이용한 데이터 블렌딩
Datawarehouse를 이용한 데이터 블렌딩Pikdata Inc.
 
성능 좋은 SQL 작성법
성능 좋은 SQL 작성법성능 좋은 SQL 작성법
성능 좋은 SQL 작성법Devgear
 
Incites Korean manual by clarivate analytics
Incites Korean manual by clarivate analyticsIncites Korean manual by clarivate analytics
Incites Korean manual by clarivate analyticsPOSTECH Library
 
엔지니어 관점에서 바라본 데이터시각화
엔지니어 관점에서 바라본 데이터시각화엔지니어 관점에서 바라본 데이터시각화
엔지니어 관점에서 바라본 데이터시각화Kenneth Ceyer
 
추천 시스템 개요 (1)-draft
추천 시스템 개요 (1)-draft추천 시스템 개요 (1)-draft
추천 시스템 개요 (1)-drafthyunsung lee
 
[Swift] Data Structure Introduction
[Swift] Data Structure Introduction[Swift] Data Structure Introduction
[Swift] Data Structure IntroductionBill Kim
 
엘라스틱서치 이해하기 20160612
엘라스틱서치 이해하기 20160612엘라스틱서치 이해하기 20160612
엘라스틱서치 이해하기 20160612Yong Joon Moon
 
Tableau 사용자를 위한 데이터 블렌딩 with alteryx
Tableau 사용자를 위한 데이터 블렌딩 with alteryxTableau 사용자를 위한 데이터 블렌딩 with alteryx
Tableau 사용자를 위한 데이터 블렌딩 with alteryxPikdata Inc.
 

Similaire à 데이터분석과저널리즘 정제에서 분석까지 (20)

3장 데이터 수집, 정제에서 분석까지
3장 데이터 수집, 정제에서 분석까지3장 데이터 수집, 정제에서 분석까지
3장 데이터 수집, 정제에서 분석까지
 
Korean manual for nodexl fb, flickr, twitter, youtube, wiki
Korean manual for nodexl fb, flickr, twitter, youtube, wikiKorean manual for nodexl fb, flickr, twitter, youtube, wiki
Korean manual for nodexl fb, flickr, twitter, youtube, wiki
 
[PyCon KR 2018] 땀내를 줄이는 Data와 Feature 다루기
[PyCon KR 2018] 땀내를 줄이는 Data와 Feature 다루기[PyCon KR 2018] 땀내를 줄이는 Data와 Feature 다루기
[PyCon KR 2018] 땀내를 줄이는 Data와 Feature 다루기
 
정보검색과 Elasticsearch (크몽)
정보검색과 Elasticsearch (크몽)정보검색과 Elasticsearch (크몽)
정보검색과 Elasticsearch (크몽)
 
Power bi
Power biPower bi
Power bi
 
R 프로그램의 이해와 활용 v1.1
R 프로그램의 이해와 활용 v1.1R 프로그램의 이해와 활용 v1.1
R 프로그램의 이해와 활용 v1.1
 
2016년 인문정보학 Sql세미나 1/3
2016년 인문정보학 Sql세미나 1/32016년 인문정보학 Sql세미나 1/3
2016년 인문정보학 Sql세미나 1/3
 
Predictive analytics를 위한 alteryx
Predictive analytics를 위한 alteryxPredictive analytics를 위한 alteryx
Predictive analytics를 위한 alteryx
 
R을 이용한 데이터 분석
R을 이용한 데이터 분석R을 이용한 데이터 분석
R을 이용한 데이터 분석
 
방송기자협회 - 탐사보도를 위한 엑셀 활용법
방송기자협회 - 탐사보도를 위한 엑셀 활용법방송기자협회 - 탐사보도를 위한 엑셀 활용법
방송기자협회 - 탐사보도를 위한 엑셀 활용법
 
ProQuest TDM(Text Data Mining) Studio_이용 매뉴얼
ProQuest TDM(Text Data Mining) Studio_이용 매뉴얼ProQuest TDM(Text Data Mining) Studio_이용 매뉴얼
ProQuest TDM(Text Data Mining) Studio_이용 매뉴얼
 
Datawarehouse를 이용한 데이터 블렌딩
Datawarehouse를 이용한 데이터 블렌딩Datawarehouse를 이용한 데이터 블렌딩
Datawarehouse를 이용한 데이터 블렌딩
 
성능 좋은 SQL 작성법
성능 좋은 SQL 작성법성능 좋은 SQL 작성법
성능 좋은 SQL 작성법
 
Incites Korean manual by clarivate analytics
Incites Korean manual by clarivate analyticsIncites Korean manual by clarivate analytics
Incites Korean manual by clarivate analytics
 
엔지니어 관점에서 바라본 데이터시각화
엔지니어 관점에서 바라본 데이터시각화엔지니어 관점에서 바라본 데이터시각화
엔지니어 관점에서 바라본 데이터시각화
 
추천 시스템 개요 (1)-draft
추천 시스템 개요 (1)-draft추천 시스템 개요 (1)-draft
추천 시스템 개요 (1)-draft
 
[Swift] Data Structure Introduction
[Swift] Data Structure Introduction[Swift] Data Structure Introduction
[Swift] Data Structure Introduction
 
엘라스틱서치 이해하기 20160612
엘라스틱서치 이해하기 20160612엘라스틱서치 이해하기 20160612
엘라스틱서치 이해하기 20160612
 
Tableau 사용자를 위한 데이터 블렌딩 with alteryx
Tableau 사용자를 위한 데이터 블렌딩 with alteryxTableau 사용자를 위한 데이터 블렌딩 with alteryx
Tableau 사용자를 위한 데이터 블렌딩 with alteryx
 
Database design
Database designDatabase design
Database design
 

데이터분석과저널리즘 정제에서 분석까지

  • 3. 이해 뉴스와 데이터를 연결 지어 생각해 보고, 취재와 제작에 데이터의 정량 분석과 시각화의 힘을 적극적이고 효과적으로 활용하려는 자세 데이터 마인드가 갖춰진 기자 • 유용한 데이터가 어디엔가 존재할 것이라는 전제하에 일을 시작 • 정부의 공공기관의 정책 정보와 마찬가지로 공공 데이터 역시 국민의 알 권리 차원에서 당당하게 요구하고 활용할 권리가 있다는 점을 분명히 인지하고 있어야 한다. • 취재처에 무슨 데이터가 존재하고 어떻게 구할 수 있는지 파악하는 한편 자신만의 취재 데이터베이스를 구축해 부가가치를 높이려고 한다. • 보조적 수단의 통계자료 차원이 아닌 데이터를 기반한 기사를 쓴다.
  • 4. 이해 『자료 입수의 기술(The Art of Access』 (미국의 정보공개 전문가인 미주리 대학교의 찰스 데이비드 교수, 아리조나 대학교의 데이비드 컬리어 교수) 탐사 보도 전문 기자들의 문서 추적 기법의 데이터 취재에 접목해도 효과를 배가 할 수 있다, 자료 추적 하기 전 취재하는 기관의 성격, 업무에 관해 자문자답! 1. 무슨 일을 하는 기관인가? 2. 어느 사업에 어떤 예산을 지출하나? 3. 이 기관이 감독하고 규제하는 영역은? 4. 누가 자료를 생산하나? 5. 기관에서 정기적으로 발표하는 통계자료는? 6. 이 기관에서 문서를 공유하는 다른 기관은 어디인가?
  • 5. 이해 탐사 보도 전문 기자 돈 레이의 문서 체크리스트! 1. 부모님은 누구인가? (누가 만든 자료인가?) 2. 언재 태어났나? (언제 만들어졌고 자료 갱신 주가는?) 3. 사용하는 언어는? (데이터에 쓰인 용어의 의미는>) 4. 결혼 했나? 형제는 없나? (연계된 다른 데이터는 없는가?) 5. 어떻게 여기에 오게 됐나? (자료 생성의 흐름은?) 6. 숨기고 있는 건 없는가? (자료 한 켠에 숨겨진 작은 글씨나 코드는 없 나? 그 의미는?) 『자료 입수의 기술(The Art of Access』 (미국의 정보공개 전문가인 미주리 대학교의 찰스 데이비드 교수, 아리조나 대학교의 데이비드 컬리어 교수) 탐사 보도 전문 기자들의 문서 추적 기법의 데이터 취재에 접목해도 효과를 배가 할 수 있다,
  • 6. 이해 문서는 만든 사람의 의도성에 따라 그 성격이 달라진다. 1. 누가 무슨 목적으로 작성한 것인지를 파악 2. 언제 만들어졌고, 어느 정도 주기로 갱신되는 자료인지도 정확히 숙지 3. 데이터베이스의 각 항목이 뜻하는 의미는 무엇인지도 정확히 숙지 이와 같은 ‘데이터에 관한 데이터’을 메타데이터라고 한다. ∴ 데이터 마인드는 분석도구에 익숙할수록 더 깊어진다.
  • 7. 이해 데이터 파일 형식의 기본: 구분자(delimiter) 이해하기 가장 널리 사용되는 엑셀 오피스 2007년 버전 이후에서 사용하는 .xlxs(엑셀 통합문서) 2003년 이전 구 버전에서 사용하던 .xls가 있다. 엑셀의 대용인 무료 ‘Open Office Calc’ .ods확장자의 ODF 파일을 생성한다. CSV 다음으로 많이 사용되는 파일은 탭(tab) (TAB-Delimited Text File)이다.
  • 8. 이해 데이터 파일 형식의 기본: 구분자(delimiter) 이해하기 스프레드 시트 만큼 사용되는 CSV(Comma-Separated Value) 글자와 숫자 단락마다 쉼표(Comma)가 들어가 있다. CSV에서는 쉼표가 데이터와 데이터를 구분한다. 이와 같은 쉼표의 역할을 구분자 혹은 분리자(Delimiter, Separator)라고 한다.
  • 9. 이해 데이터 파일 형식의 기본: 구분자(delimiter) 이해하기 CSV파일 불러오기 • 엑셀의 ‘열기’ 메뉴에서 쉽게 불러올 수 있는 경우 • 상단 메뉴의 ‘데이터’→’텍스트’ 메뉴를 통해야 한다.
  • 10. 이해 데이터 및 자료 수집 1. 기획 2. 데이터 수집 3. 데이터 정리 및 정제(가장 많은 시간과 노력이 필요한 부분) →올바른 분석과 시각화를 위해서는 반드시 거쳐야 하는 작업 4. 데이터 분석과 사각화 5. 현장 취재 병행 6. 방송, 신문 혹은 웹 콘텐츠 제작 (순서는 고정 불변한 것은 아님. 상황에 맞춰 작업 순서가 바뀌거나 여러 가지 작업 이 동시에 진행되기도 한다.) 아무리 비싼 도구와 좋은 소대로 분석한다고 하더라도, 부정확한 데이터로 작업을 하면 아무 소용이 없다. 오류를 안고 있는 데이터를 투입하면, 오류 투성이의 결과를 낳을 수 밖에 없다.
  • 11. 이해 데이터 수집의 6가지 방법 1. 현장 취재 데이터 직접 입수 2. 인터넷상에서 검색으로 자료 취득 3. 정보공개 청구 4. 공개 API 활용 5. 웹스크레이핑(Web Scraping, Web Crawlng) 6. 데이터베이스 자체 구축 <극히 예외적인 한 가지 사례> 웹스크레핑 사례 “미국 언론인이 웹스크레이핑으로 인해서 법정 논란” 미국의 ‘스크립스 하워드 뉴스(Scripps Howaed News Service)’의 취제 기자 아이작 울프(Issac Wolf) http://www.niemanlab.org/tag/isaac-wolf/ 법적 윤리적으로 갈등의 소지가 없는지는 좀 더 사회적 논의와 합의가 필요한 부분이지만, 우리나 라의 데이터 분석가와 기업, 연구기관들도 이미 웹스크레이핑을 폭넓게 활용하고 있다. 대부분의 웹스크레이핑은 특정 사이트의 공식적인 허락을 받지 않고, 통상적인 방법과는 다른 경 로로 데이터를 수집하게 된다. 이 때문에 원칙적으로는 해당 기관에 데이터 파일 제공을 직접 요 청하는 등 가능한 모든 수집방법을 시도해 본 다음 마지막 대안으로 사용 or 미리 해당 기관에 통 지하는 것이 바람직하다.
  • 12. 이해 데이터 수집의 6가지 방법 또 하나의 방법, 구글 고급검색 “F-35A” filetype:pdf site:gov 인터넷상에는 검색엔진의 레이더망에는 포착되지 않는 숨겨진 고급 정보도 무수히 많다. “보이지 않는 웹(Invisible Web)”이 그것이다. 프리즘 : 국내 각종 정부 용역 보고서 제인스 연감 : 해외 사이트에서 무기에 대한 상세한 정보 Lexisnexis : 기업 간의 소송에 대한 정보 *유료와 무료가 섞여 있으니 선별해서 사용! 언론진흥재단 등 탐사 보도 혹은 데이터 저널리즘 교육 프로그램의 강좌를 통 해 검색 노하우와 관련된 정보를 얻을 수 도 있다.
  • 13. 3.5
  • 14. 이해 야후 파이프 이용하기 야후파이브 작업창
  • 15. 이해 야후 파이프 이용하기 야후 파이프 모듈 구성화면
  • 16. 이해 야후 파이프 이용하기 야후파이프 필터 모튤
  • 17. 이해 야후 파이프 이용하기 RSS 피드 필터링정렬용 야후 파이프 모듈 구성
  • 18. 이해 야후 파이프 이용하기 모듈 실행 결과 RSS 피드 불러온 모습
  • 19. 3.6
  • 20. 이해 이제는 화석이 되어버린 데이터 PDF PDF는 공공기관에서 널리 사용되는 파일 형태 하지만, 데이터를 다루는 기 자의 입장에서는 기피대상 1호 → PDF 이미지파일은 오직 읽기만 가능, 수정 불가 ∴ 파일 속의 문자와 숫자는 화석화된 상태→ 2차 분석 여지가 없음.
  • 21. 이해 이제는 화석이 되어버린 데이터 PDF 해외 언론관련 단체들이 추천하는 PDF 파일 도구 3가지 1. COMETDOCS 2. ZAMZAR 3. PDF to Excel Converter → 모두 PDF파일을 업로드해 변환할 파일 형식. 엑셀 파일을 지정한 뒤, 자신의 이메일 주소를 입력하면 된다. 실행시키면, 변환 파일을 내려받을 수 있는 링크가 이메일에 담겨 즉시 날아온다. 아직 까지 무료도구 중에 PDF 파일을 완벽하게 엑셀 파일로 변환시켜주는 경우는 없다. → 변환된 파일을 수작업으로 정리할 필요 ∴ 자신의 상황과 데이터 특성에 맞춰 최적의 도구를 고르고 변환한 파일을 원본과 대조해 제대로 처리되었는지 꼼꼼히 따져보는 태도 필요
  • 22. 이해 이제는 화석이 되어버린 데이터 PDF 원본 PDF 파일
  • 23. 이해 이제는 화석이 되어버린 데이터 PDF COMETDOCS
  • 24. 이해 이제는 화석이 되어버린 데이터 PDF PDF to Excel Converter
  • 26. 1. 홈페이지(openrefine.org) 접속 2. 다운로드 3. Window kit 다운로드 4. (자바 프로그램이 깔려 있지 않으면 자바 프로그램 다운) Refine
  • 27. 5. (다운로드 후) 알집 풀기 6. 다이아 모양 google-refine 클릭 Refine
  • 28. 7. 파일 선택 클릭 8. 제3장 中 “서울시도로시설물” 클릭 Refine
  • 29. 9. NEXT 클릭. 10. Project name 설정 후 Create project 클릭 Refine
  • 30. Refine : Record -> rows 바꾸기
  • 31. 시설물명 -> Facet -> Text facet 클릭Refine
  • 32. Refine : name -> count 클릭
  • 33. : blank위에 마우스 올리면 “edit” , “include” 뜸Refine
  • 34. : (좌) “include” 클릭 : (우) “edit” 클릭 후 -> “이름없는 시설물” 작성 후 -> apply 클릭 Refine
  • 35. : (좌) exclude 클릭 : (우) 무명교 -> “edit” -> 이름없는 시설물로 변경 Refine
  • 36. : 이름없는 시설물 없애는 법 이름없는 시설물 -> edit -> (띄워쓰기 한번) Refine
  • 37. : 이름없는 시설물 없애는 법Refine (좌) 빈칸 우측의 “include” 클릭 (우) 시설물명 -> edit cells -> common transforms -> blank out cells
  • 38. : (좌) 소유자 -> facet -> text facel : (우) 같은 곳이지만 (“강북구청”=“강북구청장”) 다른 표기 발견 Refine
  • 39. : (좌) 강북구청에 마우스 커서 올린 뒤 -> edit 클릭 : (우) 강북구청 -> 강북구청장으로 변경(apply) Refine
  • 40. : 준공일(일반 데이터의 유형은 TEXT, 준공일의 유형은 시간(DATA)) : 우선 준공일 -> Edit cells -> common transforms -> to date 선택 Refine
  • 41. : (좌) 준공일 -> Facet -> Timeline facet : (우) (좌)의 결과 Refine
  • 42. : (좌) 1900년대 지어진 건물들이 많음(이상함) : (우) 그 이유를 알아보기 위해 범위를 줄임 Refine
  • 43. : 477개나 되는 건물이 1900년대 지어짐? -> 그 원인은 그 시대에 지어진 것이 아니라 준공 시점을 모르기 때문 Refine
  • 44. : 문제의 1900년 1월 1일의 표기 문제 해결 : 준공일 -> edit cells -> common transforms -> to text Refine
  • 45. : 문제의 1900년 1월 1일의 표기 문제 해결 : (좌) 준공일 -> facet-> text facet : (우) 그 결과, 1990년 1월 1일 준공된 시설물(408개) + 빈 셀(69개) Refine
  • 46. : 문제의 1900년 1월 1일의 표기 문제 해결 : 1990년 1월 1일 준공된 시설물(408개) + 빈 셀(69개) -> edit -> “준공일 미확인” 으로 적용 Refine
  • 47. : 준공일 미확인(477개)이 정해지면, 준공일 -> edit cells -> common transforms -> to number 선택 Refine
  • 48. • 오픈 리파인을 사용하는 이유 : 데이터를 정제하기 위해 • 파란색(검은색)은 문자, 녹색은 숫자나 시간 데이터를 나타냄 • 셀의 왼쪽에 붙어 표시되는 데이터는 문자 형태, 수치는 반드시 숫자 유형(to number)으로 형식을 바꿔줘야 제대로 된 계산 가능 Refine
  • 49. 정규표현식은 문자열의 배열에서 일정한 패턴을 찾아내 데이터 처리를 쉽게 만드는 수단 Refine
  • 50. Refine 문자열 사이의 공백을 기준으로 ‘위치’ 칼럼을 두개의 칼럼으로 분리하기
  • 51. “시”, “구”가 분리되어 있지 않음 Refine 문자열 사이의 공백을 기준으로 ‘위치’ 칼럼을 두개의 칼럼으로 분리하기
  • 52. value.replace("특별시","특별시 ").replace(" 광역시","광역시 ").replace("도","도 ").replace("영도 구","영도구") Refine 문자열 사이의 공백을 기준으로 ‘위치’ 칼럼을 두개의 칼럼으로 분리하기
  • 53. “시”,”구”가 분리되었음 Refine 문자열 사이의 공백을 기준으로 ‘위치’ 칼럼을 두개의 칼럼으로 분리하기
  • 54. Refine 특정 문자만 추출하기
  • 55. value.replace("특별시","특별시 ").replace(" 광역시","광역시 ").replace("도","도 ").replace("영도 구","영도구").split(" ")[0] 컴퓨터 언어는 순서를 셀 때 1부터 세는 것이 아니라 0부터 센다. Refine 특정 문자만 추출하기
  • 56. value.partiton(/^.{4}시|^.{2,}도/)[1] 을 입력했을때도 똑같이 첫번째 문자열인 ‘시’를 기준으로 나눠진다. Refine 특정 문자만 추출하기
  • 57. • / : 정규표현식의 시작을 알리는 기호 • ^: 첫 번째 나오는 문자열 • . : 아무 글자나 한 글자 • {4}: 앞 문자열이 4번 나타날 때 • | : 영어의 OR와 같은 이른바 blooean 연산자 • ^ : 첫 번째 나오는 문자 • {2,}: 앞 문자열이 2번 이상 나타날 때 • / : 정규표현식 마무리를 알리는 기호 Refine 특정 문자만 추출하기
  • 58. Refine 특정 문자만 추출하기
  • 59. value.replace("특별시","특별시 ").replace("광 역시","광역시 ").replace("도","도 ").replace(" 영도 구","영도구").split(" ")[0] Refine 특정 문자만 추출하기
  • 60. Refine 특정 문자만 추출하기
  • 62. • / : 정규 표현의 시작 • d : 숫자(digit) 한 개 혹은 여러 개 • - : 1-010처럼 숫자 사이에 위치한 – 기호 • d+ : 숫자가 한 개 혹은 여러 개 • / : 정규표현식 마무리 Refine 특정 문자만 추출하기
  • 63. Refine 특정 문자만 추출하기
  • 65. Split : 괄호안의 문자를 “.”로 처리 하라는 의미 value.split("|")[0]+"."+value.split("|")[1]+ value.split("|")[2] Refine 특정 문자만 추출하기
  • 68. 엑셀 스프레드 시트 Ctrl + end : 커서 위치를 데이터값이 입력된 영역의 오른편 아래쪽 끝단으로 이동한다. Ctrl + shift + end : 특정 셀을 기준으로 오른쪽 아래 방향으로 데이터 값이 입력된 영역의 끝단까지를 모 두 선택한다. Ctrl + 화살표키 : 데이터 값이 입력된 영역의 끝단으 로 커서를 옮긴다. Ctrl + shift + 화살표 키 : 데이터 값이 입력된 영역의 끝단으로 선택 범위를 확대.
  • 69. 필터링 : 내가 원하는 조건의 데이터만 뽑아내는 것 일정 조건에 해당하는 데이터만 걸러낼 수 있다. 원하는 셀 선택 후 데이터 – 필터로 가서 화살표 표시 클릭 – 걸러낼 셀 클릭 – ‘모두 선택’ – 걸러낼 셀 체크해서 필터링. 칼럼 여러 개를 선택하면 복수 필터 동시 사용 가 능 입력된 칼럼 - =,>,<와 같은 등호와 부등호를 사용 해 일정 값을 기준으로 초과, 미만, 이상, 이하의 데 이터만 추출 가능. 엑셀 스프레드 시트
  • 70. 엑셀 피벗테이블 피벗 테이블 – 특정 범주 데이터를 기준으로 다른 수치 데이터를 합산하고 평균을 내거나 비율을 계 산하고 정렬해 일목요연한 표로 정리한 것. 차트상 아무 셀이나 한 곳 클릭 – 상단메뉴의 삽입 – 핍업테이블 – 확인 – 오른편에는 피벗 테이블 필 드, 왼편에는 표 만들어짐 – drag and darg 방식 사용 – 원하는 데이터 칼럼의 네모난 빈 상자를 클 릭하거나 칼럼 명을 클릭한 뒤 원하는 곳으로 끌어 다놈 – 평균값으로 변환하기 위해 셀을 아무 곳이 나 클릭한 뒤 마우스 우 클릭 – 값요약 기준 – 평균 으로 조정 – 총합계는 제거한 뒤 마우스 우클릭해 필드 표시형식 메뉴에서 연봉 평균값을 소수점 1 자리로 표시.
  • 71. 몇 개씩 분포했는지 개수세기 ‘행’에 범주 데이터를 옮기고 ‘값’에도 동일한 범주 데이터를 넣으면, 각 항목별로 개수 세어준다. 퍼센트 비율로 나타내기 – 개수 칼럼에서 마우스 우클릭 뒤 값 요약 기준 – 기타 옵션 – 값 표시형식 – 설정 피벗테이블 셀 위에서 마우스 우클릭해 정렬 메뉴 를 선택하면 내림차순 혹은 올림차순으로 정렬 가 능 피벗테이블은 데이터의 분포를 요약하는데 탁월한 기능 엑셀 피벗테이블
  • 72. 몇 개씩 분포했는지 개수세기 ‘행’에 범주 데이터를 옮기고 ‘값’에도 동일한 범주 데이터를 넣으면, 각 항목별로 개수 세어준다. 퍼센트 비율로 나타내기 – 개수 칼럼에서 마우스 우클릭 뒤 값 요약 기준 – 기타 옵션 – 값 표시형식 – 설정 피벗테이블 셀 위에서 마우스 우클릭해 정렬 메뉴 를 선택하면 내림차순 혹은 올림차순으로 정렬 가 능 피벗테이블은 데이터의 분포를 요약하는데 탁월한 기능 엑셀 피벗테이블
  • 77. 엑셀 피벗테이블 소수 자리 첫 번째 까지 나타나도록 함
  • 81. 엑셀 피벗테이블 값 - 기관장 연봉 2013 범주 행, 값 – 경영평가등급 2013
  • 82. 엑셀 텍스트 분리 기능 : 메뉴 데이터 – 텍스트 분리 바꾸기 기능 : 홈 – 찾기 및 선택 – 바꾸기 Ex) ‘서울시 강북구 번동’ 셀이 있을 경우 ‘시’를 ‘특 별시’로 변동 가능 Concatenate(문자열, 문자열, …, 문자열) 문자가 입 력된 셀 합쳐주는 함수 Ex) A2셀에 서울시, B2셀에 강북구라고 입력돼 있 을 때, =concatenate(A2,””,B2)은 ‘서울시 강북구’라 는 셀을 발생 Concatenate함수와 같이 함수명이 긴 경우con만 입력해도 con으로 시작하는 여러 함수가 뜨기 때 문에 선택 가능, &로 문자열을 연결시켜도 concatenate와 동일한 효과 낼 수 있다. 가령 =A2&””&B2라고 입력해도 =concatenate(A2,””,B2)과 같은 결과를 낸다.
  • 83. Datevalue – 시간 데이터를 숫자로 변환 Today - 오늘의 연월일 날짜를 산출하는 함수 Leet(A2,5)는 셀A2의 문자열에서 왼쪽에서 다섯글 자를 추출 Mid(A2,7,3)은 A2의 왼편에서 7번째 자리부터 시 작해 세 글자를 뺌 Right(A2.3) A2의 오른쪽에서 세 글자를 추출 If(조건문, 결과값이 참인경우, 결과값이 거짓인 경 우) Ex) if(A2>70, “합격” , “불합격”) 엑셀
  • 84. 엑셀 쿼리 – sol을 사용해 원본데이터를 검색, 추가, 수 정, 삭제하는 질의문으로 dbms를 사용하여 데이터 베이스를 조작하는 것 이미 구축되어 있는 테이블로부터 데이터베이스를 분석하여 필요한 정보를 찾는 도구 폼이나 보고서의 원본데이터가 됨
  • 85. Secect - 필요한 칼럼 선택해 불러옴 Where - 조건에 맞는 행을 불러옴 Group by – 특정 칼럼을 기준으로 다른 칼럼 데이터를 집게해 보여준다. 피벗 테 이블의 ‘행’에 끌어 넣어주는 칼럼명이 바 로 이기준 칼럼 Pivot – 피벗 테이블의 ‘열’ 만듬 Order by – 올림차순 혹은 내림차순으로 정렬 Limit – 표시할 행수 설정 Label – 표시할 칼럼 이름 새로 지정 엑셀
  • 86. 엑셀 구글 가입 후 – 엑셀 스프레드시트 – 업로드 - 문서열기
  • 87. 엑셀 셀 313에 입력 : (=query(A1:E312,"select A,E order by E desc limit 10") 칼럼 A의 기관명과 칼럼 E의 2013년 기관장 연봉을 불러 와 연봉이가장 높은 기관부터 순서대로 열 기관 나열하라 는 명령
  • 90. 마무리 통계에 관한 몇 가지 기본 상식 통계학 • 기술 통계 : 자료의 특징을 간단히 설명 하는 통계 • 추리 통계 : 표본집단을 설정해 가설을 만든 후, 참과 거짓을 결정
  • 91. 마무리 통계에 관한 몇 가지 기본 상식 평균 = 자료 분포의 특성을 보여주는 대푯값 산술평균 : 전체 값을 모두 더한 뒤, 개수로 나눈 값 (outlier 발생 가능) 중앙값 : 표본 수치를 나열 했을 때 중앙값 (홀수면 정중앙 수치, 짝수면 중앙의 나란히 위치한 두 수의 평균값) 최빈값 : 표본 수치 중 가장 많이 등장하는 값 일반적으로는 산술평균을 사용하지만 분포가 쏠릴 경우, 중앙값 사용
  • 92. 마무리 통계에 관한 몇 가지 기본 상식 우리가 주목해야 하는 것, 데이터 간의 차이 범위 : 최댓값과 최솟값을 구한 차이 편차 : 각 데이터와 평균의 차이 (편차를 모두 더하면 0) 분산 : 각 편자의 제곱의 평균 표준편차 : 수치와 중심값과 거리를 가늠할 수 있는 수치 이러한 수치를 통해 정규 분포를 만들어 시각적으로 데이터를 볼 수 있다.
  • 93. 마무리 데이터에 대한 과신을 버려야 데이터 저널리즘이 산다. 데이터에 근접한 취재는 “객관적이고 입체적인 보도"가 목적이다. 따라서, 데이터 저널리즘은 데이터의 객관성과 정확성이 중요하다. 숫자는 의견이고, 요약이고, 추정치에 불과하다. 뉴욕타임즈 컴퓨터 활용보도(CAR) 에디터 사라코헨 수치 자료에서 가치와 효용성을 끌어내는 것은 전적으로 데이터를 적극 사용하는 사람의 몫인 것이다.