[224]네이버 검색과 개인화

1. 네이버 검색과 개인화
이름 : 최재걸
소속 : 네이버/통합검색

2. PERSONALIZED
SEARCH

3. 심리적 거부감
감히 네이버가?

4. The Filter Bubble
뭔가 빠트리고 보는 건 아닌가..

5. Benefits
그럼에도 개인화를 하는 이유

6. 다른 검색 엔진은..
GOOGLE 약 10%, BING 약 15% 개인화 결과인 것으로 추정
From 2017 WWW , Measuring Presoanalization of web search

7. 1.
검색의 목표

8. 검색이 이루고자 하는 목적
검색의도에 맞는 검색결과를 제공한다.

9. 질의 의도에 맞는 검색 결과 제공

10. 최대 다수의 최대 만족
자동차 외관 - 33%
자동차 연비 - 5%
자동차 가격 - 16%
자동차 리뷰 – 27%
자동차 비교 – 2%
- 수 백여개의 질의 의도
최대한 많은 사람을 만족 시킬 수 있는 결과물 구성
- 모두에게 동일한 결과를 제공함
From 2017 DEVIEW ‘네이버검색사용자를만족시켜라’

11. 다양한 검색 의도
‘펜타곤’

12. 2.
개인화가 필요한 경우

13. 다양한 검색 의도
‘아이돌 펜타곤’을 선택
?>
‘펜타곤’

14. 검색의도에 맞는 결과를 준다는 점에서.
최대 다수의 최대 만족  개인의 최대 만족
[ 일반 검색결과 ] [ 맞춤형 검색결과 ]

15. 검색의도에 맞는 결과를 준다는 점에서.
뜻이 하나인 질의어도 여러 의도가 있을 수 있다.
이미지
검색의도
[ 일반 검색결과 ] [ 맞춤형 검색결과 ]

16. 개인화 검색 적용
네이버 사용자의 1%가 개인 맞춤 검색을 경험하고 있음

17. 개인화가 필요한 경우
지난 10년간 많은 연구가 있었음.
“검색의도가 여러 개 일 때 개인화가 의미있다” - 2007 KDD, Investigatingthe value of personalizing web search
“검색의도가 여러 개인 것은 클릭엔트로피, 개인화잠재점수가 높다” - 2008, 2011 WSDM, to personalizeor not to persoanlize
“클릭엔트로피보다 유저엔트로피가 더 좋은 Measure이다” - 2010 HLT, Query Ambiguity Revisited
“잘못된 개인화는 검색결과를 품질 저하를 가져온다” - 2014 IJCSIT,A survey of personalizedweb search in current techniques
“현재까지의 모든 개인화를 평가해 보면 긍정적이다” - 2017 WWW, Measuringpersonalizationof web search

18. 개인화가 필요한 경우
- 확신할 수 있는 수준의 방법이 필요하다!
- Click Entropy
Precision이 80%넘지못함.
- Potential curve for personalization
- User Entropy
40%
30%
10%
1.38 0.15
90% +
일상
여행
일상

19. 개인화가 필요한 경우
3-Level Query Ambiguity
QUERY 디오
Entity 1 Entity 2 Entity n…
Property 1 Property k…
가수디오
Document 1 Document m…
가수디오사진
(전신)가수디오사진
Entity Level Ambiguity
Property Level Ambiguity
Document Level Ambiguity
CRITICAL
Precision 95% +

20. 개인화 검색 적용
Entity Level, Property Level 예제
Property
Level
Entity
Level
Precision 95%+

21. 개인화 검색 적용
Document Level – Not Yet
Document
Level
Precision 70%-
의도 : 정해인 ( ) 사진
FILTER BUBBLE
추측으로만 가능할때 Document level
미소짓는
Precision으로 확신할 수
있어야 함.

22. 개인 맞춤 검색을 위한 선결 조건
개인의 검색의도를 잘 파악할 수 있는가?

23. 3.
개인 검색의도 파악

24. 개인의 검색 의도
검색의도는 사용자의 마음속에..

25. 사람의 기억은 장기 기억과 단기기억으로 나뉜다.
개인의 의도 파악
아는사람 xxx 의 사고
encode
아는사람
voiceepisode
face
attention
출처 - https://www.mindtools.com/pages/article/cognitive-load-theory.htm

26. 사람의 기억 방식을 모방하여 3개의 계층으로 구성
개인의 의도 파악
Long Term
Memory
Working
Memory
Immediate
Memory
HuMM ( Human Memory Mirror )
네이버를 이용하는
각각의 행동
의미를 가지고
연속되는 일련의 행동
사용자의 행동 패턴

27. 사람의 기억 방식을 모방하여 3개의 계층으로 구성
개인의 의도 파악 - HuMM
Long Term
Memory
Working
Memory
HuMM ( Human Memory Mirror )
User
Action
Immediate

28. 사람의 기억 방식을 모방하여 3개의 계층으로 구성
개인의 의도 파악 - HuMM
Long Term
Memory
HuMM ( Human Memory Mirror )
User
Action
Immediate
forgotten
Working

29. 사람의 기억 방식을 모방하여 3개의 계층으로 구성
개인의 의도 파악 - HuMM
Long Term Memory가 User의 기본적인 Character를 나타낸다.
User
Action
Immediate
forgotten
Working
HuMM ( Human Memory Mirror )
forgotten
Long Term

30. 장기,단기가 각각 판정하며 이들을 종합하여 결정한다.
개인의 의도 파악 – HuMM 동작예제
Ex) ‘디오’ 질의의 HUMM 동작
‘디오’
주식회사 디오판단보류가수
‘가수 디오’를 검색의도로 판단하여 가수 관련 페이지를 제공한다.
‘삼성전자 주가’
가수
Long Term
Memory
Working
Memory
Immediate
Memory
주식회사 디오 주식회사 디오
HuMM ( Human Memory Mirror )

31. 클릭 비율 증가하였고, 원하는 정보를 찾기위한 스크롤은 감소하였음
적절한 유저에게 개인화 적용 - 효과
이미지 클릭비율
2배 증가
스크롤
없어짐
스크롤필요
Ex)이미지 사용자 맞춤 검색 Ex)웹툰 사용자 맞춤 검색

32. 개인의 의도 파악 – 어려운 점
데이터가 SPARSE 하다.
네이버 검색 사용자의 평균 검색회수 …
Session 내의 평균 검색회수 …

33. 4.
개인화 검색 확장

34. - Precision 을 담보하는 방향으로 확장
개인화 검색 확장
1. User Group 으로의 확장 - 2007 WWW, 2011 WSDM 등등 user profile 을 이용한 유사 유서 group으로의 확장
2. Query Group으로의 확장 - 2008 SIGIR, 2017 Europe Conf 등등 query를 topic으로 확장하여 개인화 확장
Precison이 담보되는 경우

35. Long Term Memory 의 결합을 이용
검색의도 파악의 확장 – User Group
Long Term
Memory
Working
Memory
Immediate
Memory
Long Term
Memory
Long Term
Memory
Long Term
Memory
Long Term
Memory
Long Term
Memory

36. 특정 질의에 대한 선호가 없어도 다른 LongTerm Memory 를 참조하여 결정함
검색의도 파악 확장의 예제
Long Term Memory - B
Topic, Entity
<연예인, 설현, 이미지, (설현키,설현나이..) >
<topic, entity, intention, querys >
…
Long Term Memory - A
Topic, Entity
<주식, 디오, 주가확인, (디오주가, 디오..) >
<topic, entity, intention, querys >
…
<연예인, 설현, 이미지, (설현연기,설현..) > <주식, 디오, 주가확인, (디오, 디오주가..) >
Ex) ‘디오’를 가수가 아닌 기업 ‘디오’로 판단하는 근거가 된다.

37. ‘디오’에 대해 주가로 그린 결과
의도파악 확장의 예제 및 결과
일반 검색결과 맞춤형 검색결과
유사한 Long Term 메모리로부터
추정하여 사용한다.

38. Query 의 Topic 을 이용
검색의도 파악의 확장 – Query Group
Long Term Memory - B
Topic, Entity
<연예인, 설현, 이미지, (설현키,설현나이..) >
<topic, entity, intention, querys >
…
<주식, 디오, 주가확인, (디오, 디오주가..) >
‘지민’
방탄소년단 지민이 유명하지만,
혹시 ‘AOA 지민’ 을 찾는건 아닐까?

39. - Precision 을 담보하는 방향으로 확장
개인화 검색 확장
1. User Group 으로의 확장
2. Query Group으로의 확장

40. 검색요구를 좀더 반영한다.
개인화 2019.

41. 1. 개인화가 필요한 경우를 3-level ambiguity를 이용해서 정의함
2. HuMM을 통해 개인의 검색의도를 파악함
3. 특화된 개인화 서비스를 만들려고 함
정리

42. 사용자의 검색 요구 만족
검색이 이루고자 하는 목적
개인의 요구에 맞게 전달하기 위해 노력

43. Q & A

44. 질문은 Slido에 남겨주세요.
sli.do
#deview
TRACK 2

45. Thank you