Deview RecoPick팀 AWS에서 추쳔 구현하기
•
84 j'aime•11,410 vues
AWS에서 추천을 구현한 노하우와, 각종 구현 팁들, 추천 적용 팁들을 공유 합니다. 발표에 대한 후기는 아래 블로그를 참조 하시기 바랍니다. http://blog.recopick.com/19
Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
En vedette
En vedette (20)
Similaire à Deview RecoPick팀 AWS에서 추쳔 구현하기
Similaire à Deview RecoPick팀 AWS에서 추쳔 구현하기 (20)
Deview RecoPick팀 AWS에서 추쳔 구현하기
- 1. AWS에서 추천 구현하기 http://recopick.com SK planet 이채현
- 2. 빅데이터 선행기술
- 3. 빅데이터 선행기술
- 4. 빅데이터 선행기술
- 5. x2.98
- 6. 이채현 Haptics
- 7. 추천 AWS Tips
- 8. Amazon 추천
- 9. Best Practice - Amazon 추천 함께 구매한 상품 이 상품을 본 다음 구매한 상품
- 11. Netflix 추천 당신의 취향에 맞게 추천
- 12. 효과는? • 아마존 매출의 30%는 추천을 통해 발생 by The Economist “Building with big data” http://www.economist.com/node/18741392/ • 약 75%의 사용자들이 추천 서비스를 통해 영화를 선택 by Nextflix “Netflix Recommendations” http://techblog.netflix.com/2012/04/netflixrecommendations-beyond-5-stars.html
- 13. 배워 봅시다
- 15. 데이터수집 데이터변환 추천계산 로그 포맷? 서버 연동? 추가 개발? 추천결과제공 방화벽 오픈?
- 16. 데이터수집 데이터변환 • 스크립트 기반 수집 추천계산 추천결과제공
- 17. 데이터수집 데이터변환 모바일 단말 페이지 로딩 완료 추천결과제공 추천계산 이동통신망 웹서버 로그 전송 무선 구간 인터넷
- 18. 데이터수집 데이터변환 모바일 단말 페이지 로딩 완료 추천결과제공 추천계산 이동통신망 웹서버 로그 전송 무선 구간 cookie 기반 UID 생성 item id 추출 action id (view, order, basket) 인터넷
- 19. 데이터수집 데이터변환 추천계산 모바일 단말 페이지 로딩 완료 추천결과제공 이동통신망 웹서버 로그 전송 무선 구간 인터넷
- 20. 스크립트 기반 수집 • 장점 – 간편하다 – 서버 부하 감소 • 단점 – 일부 데이터 손실 가능
- 22. 데이터수집 ELB 데이터변환 Auto Scaling 추천계산 추천결과제공 • Collector는 NodeJS로 구현 • NodeJS가 익숙하기 때문 • redis로 불의의 사 고를 대비하자 • Auto Scaling으로 비 용 절감
- 24. 데이터수집 데이터변환 추천계산 추천결과제공 • 데이터의 임시 저장소 • Amazon RDS 사용 • 설정, 튜닝, 이중화 를 몰라도 된다 • Multi-AZ Deployments 사용 • 실시간 통계에 유용
- 26. 데이터수집 데이터변환 추천계산 추천결과제공 1380956434257(uid) 3482724(item_id) 1(action) 2013-10-05 07:00:34 (time) http://m.11st.co.kr/MW/MyPage /todayProductList.tmall (referrer)
- 27. 데이터 수집완료
- 28. 추천의 종류 • user to item 추천 • item to item 추천
- 29. user to item 추천 • Collaborative filtering
- 30. user to item 추천 • Too many! Minhash based filtering
- 31. user to item 추천 • Matrix factorization 1 5 1 4 4 = 5 2 5 x
- 32. item to item 추천 • Jaccard Coefficient 상품 A 상품 B 상품 관련성
- 33. 데이터수집 데이터변환 추천계산 가장 쉬운 방법 • http://mahout.apache.org 추천결과제공
- 34. Item to Item recommendation with Mahout • • • • wget http://apache.mirror.cdnetworks.com/mahout/0.8/mahout-distribution-0.8.tar.gz tar –xvzf mahout-distribution-0.8.tar.gz export MAHOUT_HOME=mahout-distribution-0.8 mahout itemsimilarity -s SIMILARITY_TANIMOTO_COEFFICIENT --maxSimilaritiesPerItem 10 --maxPrefsPerUser 10000 --minPrefsPerUser 3 --booleanData true -i parsed_input -o result --tempDir /tmp
- 35. mahout
- 36. Item to Item recommendation with Mahout mahout
- 37. 이걸로 끝?
- 38. 한계
- 39. 추가적인 feature
- 40. 데이터수집 데이터변환 추천계산 추천결과제공 전환 페이지에 따라 사용자A 사용자A 사용자B 사용자B 사용자C 사용자C 이 페이지의 가중치를 낮춥니다. 이 페이지의 가중치를 높입니다.
- 44. 추천 클릭률의 변화 5.7 % 4.2 % 기존 개선
- 46. 한계2
- 47. 실제 사례 ▼ 관련기사
- 48. Keyword Semantics Model (KSM) 0.6
- 53. 데이터수집 데이터변환 추천계산 추천결과제공 • 추천 결과는 Json으로 저장 – 결과에 대한 Hash 생성 (RecoHash) 1 [{"id":“10", "score":0.29,"method":"4"}, {"id":“11,"score":0.15,"method":"4"},{"id":“13","score":0.14, "method":"4"},{"id":“17","score":0.14,"method":"4"}] – MD5(“10/11/13/17”) = 7ff3949e2d0e0d1a – 어차피 추천 리스트가 자주 변하지는 않는다. – DB에 불필요한 update를 줄이자. – 실제로 평균 10~20% 정도만 리스트가 변경됨
- 55. 추천 구현 끝
- 57. AWS • 사용한 인스턴스 c1.medium X2, 5ECU 1.7 GiB • mapred.tasktracker.map.tasks.maximum=4 • mapred.tasktracker.reduce.tasks.maximum=1
- 59. AWS – 자체 클러스터를 운영하는 경우
- 60. AWS – 자체 클러스터를 운영하는 경우
- 61. AWS – 자체 클러스터를 운영하는 경우 10.1.2.10 54.25.1.12 무료 유료 10.1.2.11 54.23.233.16
- 62. CDH • Hadoop만 설치할 거라면 apache 버전도 할만함 • HBase, oozie 등을 함께 쓴다면? – CDH가 100만 배 정도 편함 – 덤으로 모니터링도 – 대수 제한도 없어졌음 • CDH manager 4.6에 버그 있음 – 장비 추가 안됨 (API 사용 or 4.7 버전 업)
- 63. HDFS로 Data를 저장하는 경우 • 디렉토리로 파일 관리하기 귀찮음 – map task 파편화(?)를 막기 위한 file merge – 오래된 파일 삭제 – 로그 포맷이 변경되면? – 1주일/1달/5달 데이터를 쓰고 싶어요 -_-;
- 64. HBase • HBase를 쓰면 – file merge 따위 ㅋ – TTL을 이용해서 자동 삭제 – 컬럼 추가 및 삭제가 쉬움. NoSQL ㅋ – 설정으로 time filtering을 한 번에
- 65. HBase – parsed_log table 구성 row key service_id item_id column family timestamp uid action_id price referrer category
- 66. parsed_log sid=1 7월 8월 9월 Region Server #1 Region Server #2 Region Server #3 7월 sid=2 Region Server #4 8월 Region Server #5 9월
- 67. Region Server #1 Region Server #2 Region Server #3 Region Server #4 Region Server #5 2013년 7월 2013년 7월 2013년 8월 2013년 8월 2013년 9월 MR
- 69. Scan s = new Scan() s.setFilter(new RowFilter(start, stop)); sid=1 7월 map map 8월 map map 9월 7월 sid=2 8월 9월 map map map map sid=1, 8월~9월
- 70. Scan s = new Scan() s.setFilter(new RowFilter(start, stop)); sid=1 Scan s = new Scan(start, stop); sid=1, 8월~9월 7월 8월 map map 9월 7월 sid=2 8월 9월 map
- 71. Scan s = new Scan(start, stop); Scan s = new Scan() s.setFilter(new RowFilter(start, stop)); sid=1 sid=1, 8월~9월 sid=2, 9월 7월 8월 map map 9월 7월 sid=2 8월 9월 map map map map
- 72. new Scan(start, stop) multi-scan sid=1 sid=1, 8월~9월 sid=2, 9월 7월 8월 map map 9월 map 7월 sid=2 8월 9월 map https://github.com/ christianrichter/ hbase_multisegment
- 75. 모니터링 및 알람 • 장비 모니터링 및 alarm 시스템이 없었음 • 처음부터 만들려면 어려움 – open source customizing도 귀찮다 • aws 에서 제공되는 tool 을 사용하자 – Cloudwatch – SES (Simple Email Service) – SNS (Simple Notification Service)
- 76. 모니터링 및 알람 (cloudwatch) • 아래 코드 한 줄이면…
- 77. 모니터링 및 알람 (cloudwatch)
- 78. 모니터링 및 알람 (ses) • 아래 코드 한 줄이면…
- 79. 모니터링 및 알람 (ses) 받은 편지함
- 80. 기획자 여러분!
- 81. 추천 노출 위치에 따른 클릭률 변화 추 천 5.3% 2.3% 4.8%
- 82. 추천 아이템 수에 따른 클릭률 변화
- 83. 추천 아이템 수에 따른 클릭률 변화 5.3% 1 page (5개) 6.0% 2 page (10개)
- 84. 추가 정보 제공에 따른 클릭률 변화
- 85. 추가 정보 제공에 따른 클릭률 변화 2.3% ?
- 86. 인당 평균 PV 전체 사용자 추천 클릭 사용자
- 87. 구매전환율 전체 사용자 추천 클릭 사용자
- 88. 평균 구매건수 전체 사용자 추천 클릭 사용자
- 89. 개발자가 바빠요..
- 90. 개발자가 바빠요..
- 92. 스크립트 삽입
- 93. Admin Dashboard
- 94. 로그 수집 현황을 확인할 수 있습니다.
- 95. 상품 검색을 통해
- 96. 어떤 상품이 추천 되는지 확인할 수 있습니다.
- 97. 추천을 적용하고 싶어요!
- 98. 두 줄만 복사 하세요 • Script 한 줄 • 태그 한 줄
- 99. 이렇게 적용됩니다!
- 100. 간단하게 디자인 변경
- 101. 추천을 적용한 뒤에는..
- 102. 추천 성능 확인
- 104. PV와 매출의 증가를 직접 경험 해 보세요.
- 105. 끝내기 전에..
- 106. 정량화된 목표가 필요하지 않을까요?
- 109. 감사 합니다.