Amazon SageMaker와 Athena를 활용한 대용량 자연어 처리 및 머신러닝 기법 (김필호, AWS AI Specialist 솔루션즈 아키텍트) :: AWS DevDay 2018

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Amazon SageMaker 와 Athena 를 활용한
대용량 자연어 처리 및 머신 러닝 기법
김필호 AI Specialist 솔루션즈 아키텍트
AWS

오늘 가지고 놀 데이터입니다
아마존 고객 리뷰 데이터셋

• 아마존 고객 리뷰 데이터 (a.k.a. Product Reviews) 는 아마존의
중요한 자산입니다.
• Amazon.com 웹싸이트에 있는 제품에 대해 1995년 첫번째 고객
평가를 시작으로 20년 이상 수백 만명의 고객 분들이 일억 개 이상의
다양한 의견들과 사용 경험들을 공유해 주셨습니다.
• 현재 1억 3천 만개 이상의 고객 리뷰 자료가 연구 목적의 경우
자유로이 사용할 수 있게 공개되어 있습니다.
https://registry.opendata.aws/amazon-reviews/
아마존 고객 리뷰 데이터셋이란?

• Athena: S3에 저장된 데이터에 대해 SQL 질의를 수행할 수 있게 합니다.
• Part 1: Athena를 이용하여 ML 처리를 위한 데이터에 대한 이해도를
높일 수 있습니다.
• SageMaker: 비지도 방식의 데이터 분류와 지도 학습 방식의 고객 평가 점수
예측을 실습해 봅니다.
• Part 2: NTM과 K-Means 알고리즘을 활용하여 고객 평가 문을
자동으로 그룹별로 분류해 봅니다.
• Part 3: 주어진 고객 평가 문장으로부터 Comprehend 서비스처럼 리뷰
점수를 예측하는 ML 서비스를 개발해 봅니다.
이번 세션의 진행 순서

Amazon
Athena
Amazon
Reviews Dataset
Query
Results
SageMaker
Athena를 활용한
자유로운 데이터
검색
기계 학습을
위해 추출된
데이터 저장소
기계학습
본 세션에서의 데이터 흐름도

• Amazon S3에 저장된 데이터를 직접 분석하고 싶은 경우:
• ETL (Extract-Transform-Loading) 작업을 데이터 웨어하우스에서
하기 위해서는 방대한 양의 작업이 필요하기 때문입니다.
• 계층적 분석을 원하는 경우:
• 사용자는 종종 집합 처리된 데이터에만 접근하면 됩니다.
• 따라서 질의를 항상 전체 데이터에 대해서 할 필요는 없습니다.
• SQL을 사용하여 데이터에 대한 빠른 질의를 수행하고 싶은 경우:
• Hadoop 클 러 스 터 나 데 이 터 웨 어 하 우 스 관 리 는 전 문 성 이
필요합니다.
• 빅데이터에 익숙하지 않은 고객의 경우 복잡한 인프라를 직접 관리
할 필요가 없는 서비스가 필요합니다.
Amazon Athena 가 필요한 경우들

• 질의 전 미리 데이터를 읽어 들어야할 필요가 없습니다.
• 데이터 포멧 변형없이 질의를 수행할 수 있습니다:
• 지원되는 데이터 포멧: Text, CSV, TSV, JSON, weblogs, AWS
service logs, etc.
• 최적화된 ORC 또는 Parquet 포멧을 사용하시면 압축과 분할이
용이 합니다.
• ETL 작업이 필요 없습니다.
• Amazon S3 로부터 직접 데이터를 보낼 수 (Streaming) 있습니다.
• Amazon S3의 장점인 안정성과 가용성을 누릴 수 있습니다.
Athena를 활용해서 S3로부터 직접 질의수행하기

• AWS US East (N. Virginia) 리전의 amazon-reviews-pds S3 버킷에 저장되어
있습니다.
• https://s3.amazonaws.com/amazon-reviews-pds/readme.html
• 아래의 데이터 포멧들로 저장되어 있습니다:
• TSV (Tab separated text value): s3://amazon-reviews-pds/tsv/
• Parquet (Optimized columnar binary format): s3://amazon-reviews-
pds/parquet/
• Parquet 데이터셋은 S3 상에 product_category 별로 분할 (partition)
되어 있습니다.
• 따라서 질의 문의 WHERE 절에서 product_category 별로 데이터 검색
영역을 제한해서 질의할 수 있습니다.
아마존 고객 리뷰 데이터셋 포멧

Athena 상에 데이터 테이블 생성하기

Athena를 데이터 분석용으로 활용하기

Athena의 질의 결과는 S3에 저장할 수 있습니다

Amazon Athena Online Demo
Let’s See

Machine Learning
f(x)x y
Input OutputRelationship

Data의 중요성
알고리즘 선정보다 학습 데이터의 양이 더 중요
Scaling to Very Very Large Corpora for Natural Language
Disambiguation, Banko and Brill, Microsoft Research (2001) --
http://www.aclweb.org/anthology/P01-1005
“These results suggest that
we may want to reconsider
the trade-off between
spending time and money on
algorithm development
versus spending it on corpus
development.”

Time vs. Productivity in Machine Learning
Productivity
Time
Humans
Machines

End-to-End
Machine Learning
Platform
Zero setup Flexible Model
Training
Pay by the second
$
Build, train, and deploy machine learning models at scale
Amazon SageMaker

Amazon SageMaker
손쉬운 배포
자동 확장
완전 관리형
모델 호스팅
개발
사전 설치
노트북 인스턴스
배포
학습
고도로 최적화된
빌트인 알고리즘
클릭 한 번으로
ML, DL,
커스텀 알고리즘 학습
하이퍼파라미터 최적화
쉬운 학습

데이터 레이크 알고리즘
Amazon
SageMaker
Deep AR
BlazingText
Factorization Machine
K-Means
PCA
LDA
Image Classification
Seq2Seq
XGBoostLinear Learner
BYOA
Random Cut Forest
NTM
Object Detection
KNN

어떠한 규모의 워크로드도 지원 가능한 실전형 머신러닝
데이터 학습 예측
페타바이트 대용량 데이터
스트리밍 데이터
다양한 마이그레이션 도구
대규모 GPU 서버
병렬 트레이닝
고성능 알고리즘 제공
대규모 GPU/CPU 서버
자동 확장 서버 구축
서버리스
엣지 IoT 디바이스

SageMaker 노트북 인스턴스

SageMaker에서 Athena 와 S3 로의 접근 권한 설정

노트북에서 Python SDK로 Athena 테이블 생성

SageMaker 노트북에서 Athena 질의 수행

• Pandas 는 BSD-licensed 라이브러리로 Python 프로그래밍 시에 고성능의 사용하기
편한 데이터 구조와 분석 툴을 제공하는 공개 소프트웨어 입니다.
• 특히 수치 테이블 및 시 계열 데이터에 대한 데이터 구조 및 처리 함수들을 제공합니다.
Pandas를 활용한 데이터 분석

pd.read_csv
S3에 저장된 Athena 질의 결과를 노트북에서 읽기

Statistical Analysis on Amazon Review Data
Let’s See
https://github.com/aws-samples/aws-ai-ml-workshop-
kr/blob/master/contribution/pilhokim/AmazonReview-pilhokim.ipynb

• 토픽 모델은 통계 모델의 일종으로써 문서집합에서
주요 토픽 발견에 사용합니다.
• SageMaker 는 두 종 류 의 토 픽 모 델 링 방 식 을
지 원 합 니 다 : Latent Dirichlet Allocation (LDA) 과
Neural Topic Model (NTM).
• 토픽 계산을 위해 입력 텍스트를 숫자 (주로 벡터) 로
변환해야 합니다.
토픽 모델링

• 알고리즘에 사용될 학습 및 추론의 입력인 문서 데이터는 정수들의 벡터들로
표현되어야 합니다. 본 세션에서는 bag-of-words (BOW) 표현 방식을
이용합니다.
• 일반 텍스트 데이터를 BOW로 변환하기 위해 첫번째는 문서를 “tokenize”
해야 합니다. 이 과정은 각 단어들 에게 정수 ID 값들을 부여하는 절차입니다.
용어 빈도수 계산하기

• 형태소 분석을 통한 어간 추출 (Stemming) 과 표제어 추출 (lemmatization) 은 실제
사용될 단어의 갯수를 효과적으로 줄여서 훈련과 추론 계산시간을 향상시키게 됩니다.
• 이 작업은 학습된 토픽 단어들의 확률 예측 치 및 추론된 토픽 값들의 조합 결과들을
향상 시키는데 큰 도움이 됩니다.
• 예를 들면 "parliament", "parliaments", "parliamentary", "parliament's", 그리고
"parliamentarians" 모두는 본질적으로 같은 단어 ("parliament”) 를 표제어로 하고
있지만 다른 형태의 동사 변환들입니다.
• 따라서 목적에 따라 다를 수 있지만 예를 들어 "politics" 또는 "governments" 관련
토픽 검출이 목적이라면 상기 다섯 개의 단어들을 따로 분류하는 것이 더
효율적이라고 보기가 힘듭니다.
• 본세션에서는 사용 예로 nltk (https://www.nltk.org/ ) 패키지에서 제공하는 간단한
표제어 추출기와 scikit-learn 에 포함되어 있는 CountVectorizer를 활용해 토큰 계산을
하겠습니다.
Stemming and Lemmatization

용어 빈도수 계산하기: 데이터 준비 단계
Lemmatization

Token Counter

Output vectors

• Neural Topic Model (NTM)은 비지도 학습 알고리즘으로
발견된 데이터 셋을 별개의 카테고리의 조합으로 표현합니다.
• NTM은 말뭉치 안의 문서들 간에 공유되어 있는 사용자 지정
갯수 만큼의 토픽들을 발견하는데 주로 사용됩니다.
• 각 관찰된 내용들은 문서가 되고 특징들은 각 단어들의
존재를 의미하고 카테고리들은 토픽들이 됩니다.
• 토픽들은 각 문서에 존재하는 단어들 간의 분산된 확률을
학습해서 발견하게 됩니다. 각 문서들은 따라서 토픽들의
조합으로 표현됩니다.
Encoder: feedforward net
Input term counts vector
µ
z
Document
Posterior
Sampled Document
Representation
Decoder:
Softmax
Output term counts vector
NTM을 활용한 토픽 모델 구성법

Distribution of 20 topics on 10 sample documents
각 문서에 할당된 토픽 예

훈련된 토픽 모델로부터 Word Cloud 생성 예

• K-means는 비지도학습알고리즘으로 데이터를 지정한
유사도를 기준으로 각각의 그룹으로 분류합니다.
• SageMaker의 K-Means는 Web-scale k-means clustering
알고리즘을 수정하여 정확도를 향상시킨 버전입니다.
• extra_center_factor 를 설 정 하 면 num_clusters *
extra_center_factor 갯수만큼의 center가 초기에 생성이
되고 트레이닝이 진행 되면서 num_clusters 갯수만큼
줄어들게 됩니다.
K-means를 활용한 토픽 모델링
https://www.eecs.tufts.edu/~dsculley/papers/fastkmeans.pdf

• 문서들을 TFIDF 유사성에 따라 N개의 클러스터로 구분하는 기법입니다.
• TFIDF 또는 tf-idf 는 수치 통계 기법으로 어떤 단어가 문서집합내에서 얼마나
중요한지를 반영하는 방식입니다.
• TFIDF 는 정보 추출, 텍스트 마이닝, 그리고 사용자 모델링 기법의 검색
과정에서 가중치로 종종 사용됩니다.
Double normalization logarithmically scaled inverse fraction
Term Frequency-Inverse Document Frequency (TFIDF)

K-means를 활용한 토픽 모델링: 데이터 준비 과정

K-means를 활용한 토픽 모델링: 결과 예

Topic-based Unsupervised Grouping Demo
Let’s See

• 아마존 리뷰 점수는 별점 1점에서 5점까지 존재합니다.
• 1-2점 또는 4-5점 간의 차이는 예측 시에 노이즈가 많을 수
있습니다.
• 대신 아래와 같이 리뷰 점수를 구분해 봅니다:
• Low: 1-2 Stars
• Neutral: 3 Stars
• High: 4-5 Stars
고객 리뷰 점수 예측 (Sentiment Analysis)

고객 리뷰 점수 예측: 전처리 과정 (I)

• 이런 형태의 모델을 훈련할 때는 샘플데이터는 매우 잘 예측하나 새로운
데이터 예측 확률은 떨어지는 현상인 오버피팅 (Overfitting) 이 쉽게 일어날 수
있습니다.
• 따라서 데이터를 아래와 같이 70% / 30% 비율로 분류한 후 이중 30%를 최종
정확도를 계산하는데 사용합니다.
고객 리뷰 점수 예측: 전처리 과정 (II)

!" = $% + $'(" + )"
Dependent
Variable
Random
Error term
Population
Y intercept
Population
Slope coefficient
Independent
Variable
Logistic 추론 (Regression)
https://towardsdatascience.com/linear-regression-in-python-9a1f5f000606
https://seaborn.pydata.org/examples/multiple_regression.html

고객 리뷰 점수 예측 방법: 결과 예

Customer Review Rating Prediction Demo
Let’s See

• 본 세션 실험 노트북: https://github.com/aws-samples/aws-ai-ml-workshop-
• Amazon Customer Reviews Dataset:
• Homepage: https://registry.opendata.aws/amazon-reviews/
• Readme: https://s3.amazonaws.com/amazon-reviews-pds/readme.html
• Amazon SageMaker SDK:
• Documentation: https://sagemaker.readthedocs.io/en/latest/
• For Python: https://github.com/aws/sagemaker-python-sdk
• For Spark: https://github.com/aws/sagemaker-spark
• SageMaker 예제들:
• https://github.com/awslabs/amazon-sagemaker-examples
• https://github.com/aws-samples/aws-ai-ml-workshop-kr
References

Q&A
• 세션 후, 설문에 참여해 주시면 행사 후 소정의 선물을 드립니다.
• #AWSDevDay 해시 태그로 의견을 남겨주세요!

Amazon SageMaker와 Athena를 활용한 대용량 자연어 처리 및 머신러닝 기법 (김필호, AWS AI Specialist 솔루션즈 아키텍트) :: AWS DevDay 2018

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Amazon SageMaker와 Athena를 활용한 대용량 자연어 처리 및 머신러닝 기법 (김필호, AWS AI Specialist 솔루션즈 아키텍트) :: AWS DevDay 2018

Similaire à Amazon SageMaker와 Athena를 활용한 대용량 자연어 처리 및 머신러닝 기법 (김필호, AWS AI Specialist 솔루션즈 아키텍트) :: AWS DevDay 2018 (20)

Plus de Amazon Web Services Korea

Plus de Amazon Web Services Korea (20)

Amazon SageMaker와 Athena를 활용한 대용량 자연어 처리 및 머신러닝 기법 (김필호, AWS AI Specialist 솔루션즈 아키텍트) :: AWS DevDay 2018