자연어 처리 ML모델을 활용한 이커머스 문제 해결하기 - 진현두 (카카오스타일) :: AWS Community Day Online 2021
•
0 j'aime•245 vues
이커머스에서 가장 중요한 사용자 리뷰! 사용자 리뷰 내 특정 키워드 관련 표현을 스마트하게 찾고, 하이라이팅 정보를 제공하는 ML모델 개발하여 서비스에 반영하였습니다. 복잡한 전처리와 모델링전반의 프로세스를 Amazon SageMaker + Custom Docker 로 구현 방법을 소개합니다.
Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à 자연어 처리 ML모델을 활용한 이커머스 문제 해결하기 - 진현두 (카카오스타일) :: AWS Community Day Online 2021
Similaire à 자연어 처리 ML모델을 활용한 이커머스 문제 해결하기 - 진현두 (카카오스타일) :: AWS Community Day Online 2021 (20)
Plus de AWSKRUG - AWS한국사용자모임
Plus de AWSKRUG - AWS한국사용자모임 (20)
Dernier
Dernier (20)
자연어 처리 ML모델을 활용한 이커머스 문제 해결하기 - 진현두 (카카오스타일) :: AWS Community Day Online 2021
- 1. 자연어 처리 ML 모델을 활용한 이커머스 문제 해결하기 진현두 데이터 사이언티스트 카카오스타일
- 2. - 자연어 처리 분야 전공 - 카카오스타일 데이터사이언티스트 📧 : toona.jin@kakaostyle.com
- 3. 왜 Sagemaker를 써야 하는가?
- 4. - 데이터 적재 - 데이터 라벨링 - 데이터 전처리 - Task 정의 - 모델 선택 - 개발환경 구축 - (cuda, docker, venv 등) - 모델 배포 - 모니터링 - 파이프라인 운영 - 모델 학습 - 하이퍼파라미터 튜닝
- 5. - 데이터 적재 - 데이터 라벨링 - 데이터 전처리 - Task 정의 - 모델 선택 - 개발환경 구축 - (cuda, docker, venv 등) - 모델 배포 - 모니터링 - 파이프라인 관리 - 모델 학습 - 하이퍼파라미터 튜닝
- 7. Sagemaker를 활용한 복잡한 ML 파이프라인 구축
- 8. 직진배송 리뷰 중 특정 키워드와 관련하여 긍정적인 감정을 느낀 리뷰를 추출
- 9. 긍정적인 리뷰 추출 특정 키워드와 관련한 리뷰 추출 (가능하다면) 문장 내 하이라이트 리뷰 평점 사용하여 데이터셋 구축 Word Embedding 사용하여 키워드 유사도 계산 Classifier 및 Explainer를 사용하여 토큰 importance 계산
- 10. 전처리(Tokenization, text Cleaning) 유사 키워드 데이터셋 구축 키워드 분류 모델 학습 긍/부정 분류 모델 학습
- 11. Dataset Sample 전처리(Tokenization, text Cleaning) 유사 키워드 데이터셋 구축 키워드 분류 모델 학습 긍/부정 분류 모델 학습
- 12. 전처리(Tokenization, text Cleaning) 유사 키워드 데이터셋 구축 키워드 분류 모델 학습 긍/부정 분류 모델 학습
- 13. Additional Dataset Sample https://www.kaggle.com/junbumlee/kcbert-pretraining-corpus-korean-news-comments 전처리(Tokenization, text Cleaning) 유사 키워드 데이터셋 구축 키워드 분류 모델 학습 긍/부정 분류 모델 학습
- 14. Image Text 1) 2) 전처리(Tokenization, text Cleaning) 유사 키워드 데이터셋 구축 키워드 분류 모델 학습 긍/부정 분류 모델 학습 1) "Why Should I Trust You?": Explaining the Predictions of Any Classifier(Marco Tulio Ribeiro and Sameer Singh and Carlos Guestrin, 2016) 2) http://ndcreplay.nexon.com/NDC2018/sessions/NDC2018_0033.html classifier LIME Explainer
- 15. 전처리(Tokenization, text Cleaning) 유사 키워드 데이터셋 구축 키워드 분류 모델 학습 긍/부정 분류 모델 학습 뱃살 잘 가려주고 얇아서 시원해요. 배송도 진짜 빨라요 배송 진짜 하루만에 왔어요. 근데 린넨이라 접힌자국이 있네요 종류 다양하고 배송도 진짜 빠른데 가격은 좀 있는거같아요 목요일 밤에 주문했는데 진짜 금요일에 왔어요 석유냄새 좀 나는거 빼고는 만족해요 긍정 부정 부정 부정 Distilbert
- 16. 전처리(Tokenization, text Cleaning) 유사 키워드 데이터셋 구축 키워드 분류 모델 학습 긍/부정 분류 모델 학습 이 제품은 후기가 거의 없어서 반신반의하며 샀는데 대만족이에요!! 두께는 얇아서 겨울 제 외하고는 다 입기 좋을 것 같아요~~ 코튼 재질이라 보들보들하니 촉감도 좋고 무엇보다 저는 색상이 넘넘 맘에 듭니다. 배송만 좀 더 빠르면 좋을 것 같아요~ 이 제품은 후기가 거의 없어서 반신반의하며 샀는데 대만족이에요!! 두께는 얇아서 겨울 제외하고는 다 입기 좋을 것 같아요~~ 코튼 재질이라 보들보들하니 촉감도 좋고 무엇보다 저는 색상이 넘넘 맘에 듭니다. 배송만 좀 더 빠르면 좋을 것 같아요~
- 17. Preprocessing Sentence Split Model Training & Inference 두 가지 모델 학습 / 관리 대용량의 GPU로 학습, 비교적 작은 용량의 GPU로 배포 Train / Inference 시 동일한 pipeline을 통한 전처리 배포 시 발생하는 Error 처리 및 모델 버전 관리
- 18. Preprocessing Sentence Split Model Training & Inference
- 20. Docker 구성
- 25. https://aws.amazon.com/ko/blogs/korea/train-and-host-scikit-learn-models-in-amazon-sagemaker-by-building-a-scikit-docker-container/ 복잡한 개발환경 더 복잡한 파이프라인 모델 버전 관리 생각지 못한 버그들
- 26. 감 사 합 니 다