Vortrag im Rahmen des SearchLab-Austauschs im WiSe 2017/18

1. ENTWICKLUNG EINES NUTZERMODELLS
ZUR RELEVANZBEWERTUNG VON
SURROGATEN IM AKADEMISCHEN
KONTEXT
Vortrag im Rahmen des Search Lab-Austauschs
Christiane Behnert
12. Januar 2018

2. DEPARTMENT INFORMATION
Christiane Behnert
GLIEDERUNG
1. Projekt Relevance Clues
2. „Relevanzmodelle“
2.1. Wangs kognitives Modell zur Dokumentenauswahl
2.2. Riehs Modell der Bewertung der Informationsqualität und kognitiven Autorität
3. Entwurf eines Nutzermodells zur Relevanzbewertung von Surrogaten
4. Konzeptidee zur experimentellen Überprüfung des Modells
4.1. Variablen
4.2. Design
5. Quellen
1

3. DEPARTMENT INFORMATION
Christiane Behnert
1. PROJEKT „RELEVANCE CLUES“ 1/2
Forschungsfragen (Stand Exposé):
I. Auf Grundlage welcher Merkmale des Surrogats bewerten informationssuchende
Personen die Relevanz eines Suchergebnisses?
II. Welche Merkmale beeinflussen die Relevanzentscheidung in welchem Maße?
III. Welchen Einfluss hat die Nutzungssituation (Standort der Person, Zeitdruck) auf die
Relevanzbewertung?
IV. Welche Relevanzkriterien lassen sich nach Beantwortung der Forschungsfragen I bis
III ableiten und wie sind diese gegeneinander gewichtet?
2

4. DEPARTMENT INFORMATION
Christiane Behnert
1. PROJEKT „RELEVANCE CLUES“ 2/2
Methodik:
Literaturschau
Entwurf eines Nutzermodells
Online-Experimente
Statistische Datenauswertung
Überarbeitung des Nutzermodells
3

5. DEPARTMENT INFORMATION
Christiane Behnert
2. „RELEVANZMODELLE“
5 Kategorien von Modellen im Relevanzkontext:
a) Modelle, die den Prozess der Bewertung von Dokumenten darstellen (siehe z.B. Cole,
Beheshti, & Abuhimed, 2017; Cook, 1971);
b) Modelle, die Einflussfaktoren, Kriterien, Merkmale visualisieren (z.B. Park, 1993;
Watson, 2014; Y. (Calvin) Xu & Chen, 2006);
c) Modelle, die sowohl den Bewertungsprozess darstellen als auch Relevanzeinflüsse
berücksichtigen, d.h. eine Kombination aus Modellkategorie (a) und (b) sind (z.B.
Greisdorf, 2003; Rieh, 2002; Wang, 1994; Wathen & Burkell, 2002);
d) Modelle, die Eigenschaften von Relevanz, z.B. Multidimensionalität, beschreiben (z.B.
Li, Zhang, Song, & Wu, 2017; Mizzaro, 1997; Saracevic, 1997);
e) Modelle, die einzelne Parameter des Relevanzrankings formalisieren (siehe z.B.
Plassmeier, 2016).
4

6. DEPARTMENT INFORMATION
Christiane Behnert
2. „RELEVANZMODELLE“
2.1. Wangs kognitives Modell zur Dokumentenauswahl 1/2
Explorative Studie:
Think-aloud, Interviews
(n=25)
5
Quelle: Wang & Soergel, 1998, S. 118
Document selection
model for academic
users in Agricultural
Economics (Wang, 1994)

7. DEPARTMENT INFORMATION
Christiane Behnert
2. „RELEVANZMODELLE“
2.1. Wangs kognitives Modell zur Dokumentenauswahl 2/2
Consumer Choice Theory
Gleichsetzung Konsumgut mit Informationsgut (Informationsobjekt)
“[…] human rationality is very limited […] In real life, individual decision problems are very
specific matters rather than comprehensive choices. The individual is unlikely to work out
the detailed scenarios, conditions for alternatives, probability distributions. On the contrary,
the individual is more likely to focus on some aspects and on some values while neglecting
the others.” (Wang, 1994, S. 32)
6

8. DEPARTMENT INFORMATION
Christiane Behnert
2. „RELEVANZMODELLE“
2.2. Riehs Modell der Bewertung der Informationsqualität und kognitiven Autorität 1/2
Explorative Studie:
Think-aloud, Logs,
Interviews
(n=16)
7
Quelle: Rieh, 2002, S. 158.
Model of judgment of
information quality and
cognitive authority
Research | Travel
Medicine | Computer

9. DEPARTMENT INFORMATION
Christiane Behnert
2. „RELEVANZMODELLE“
2.2. Riehs Modell der Bewertung der Informationsqualität und kognitiven Autorität 2/2
Heterogenität der Aufgaben(typen):
(1) For the research project in which you are currently engaged, you would like to find
some good papers which are new to you, which you think will be useful (research task).
(2) You are planning for the next conference that you are going to attend, and would like to
find useful information about hotels, restaurants, and features of interest in that city (travel
task).
(3) A friend of yours has just been diagnosed as having schistosomiasis, and you want to
find credible information about the disease itself, and the best methods of treatment
(medicine task).
(4) You’ve decided that you want to buy a new computer to use at home, and now you
need to find the best price for it (computer task).
(Rieh, 2002, S. 149; Unterstreichungen im Original nicht vorhanden)
8

10. DEPARTMENT INFORMATION
Christiane Behnert
3. ENTWURF EINES NUTZERMODELLS ZUR
RELEVANZBEWERTUNG VON SURROGATEN 1/4
Das Ziel der Arbeit ist die Entwicklung eines Modells, welches
(1) auf den Komponenten der vorhandenen Modelle des Interactive Information Retrieval
basiert,
(2) das Bewerten von Suchergebnissen als expliziten Bestandteil des interaktiven
Informationssuchprozesses aufnimmt,
(3) die den Relevanzentscheidungen zugrunde liegenden Kriterien integriert und
(4) den Kontext der informationssuchenden Person miteinbezieht. (Stand Exposé)
Ein wichtiger Aspekt dabei ist die Gewichtung der Kriterien: Das Modell soll aufzeigen,
welche Parameter neben der thematischen Relevanz stärker oder schwächer durch die
suchende Person berücksichtigt werden.
9

11. DEPARTMENT INFORMATION
Christiane Behnert
3. ENTWURF EINES NUTZERMODELLS ZUR
RELEVANZBEWERTUNG VON SURROGATEN 2/4
Grundannahmen:
• Relevanz: „Something (A) is relevant to a task (T) if it increases the likelihood of
accomplishing the goal (G), which is implied by T“ (Hjørland & Christensen; 2002, S. 964)
 Task relevance / situational relevance
• Relevanzbewertung als Teil der Dokumentenauswahl (Wang, 1994)
• 2 Arten von Relevanzbewertungen: predictive und evaluative (Rieh, 2002)
• Diverse Kriterien und Faktoren beeinflussen Relevanzbewertungen
 Thematische Relevanz (topicality) als Basis
10

12. DEPARTMENT INFORMATION
Christiane Behnert
3. ENTWURF EINES NUTZERMODELLS ZUR
RELEVANZBEWERTUNG VON SURROGATEN 3/4
11

13. DEPARTMENT INFORMATION
Christiane Behnert
3. ENTWURF EINES NUTZERMODELLS ZUR
RELEVANZBEWERTUNG VON SURROGATEN 4/4
Forschungsfragen, neu gedacht:
I. Auf Grundlage welcher Merkmale des Surrogats bewerten informationssuchende
Personen die Relevanz eines Suchergebnisses?
II. Welche Merkmale beeinflussen die Relevanzentscheidung in welchem Maße?
III. Welchen Einfluss hat die Nutzungssituation (Standort der Person, Zeitdruck) auf die
Relevanzbewertung?
IV. Welche Relevanzkriterien lassen sich nach Beantwortung der Forschungsfragen I bis
III ableiten und wie sind diese gegeneinander gewichtet?
I. Welche dynamischen Merkmale des Surrogats beeinflussen, wie
informationssuchende Personen die Relevanz eines Suchergebnisses bewerten?
II. Welche dieser Merkmale beeinflussen die Relevanzentscheidung in welchem Maße?
III. Wie sind die sich aus den dynamischen Merkmalen ableitenden Kriterien
gegeneinander gewichtet?
12

14. DEPARTMENT INFORMATION
Christiane Behnert
4. KONZEPTIDEE ZUR EXPERIMENTELLEN ÜBERPRÜFUNG
DES MODELLS
4.1. Variablen
Abhängige Variable (AV):
Voraussagende Relevanzbewertung (predictive judgement) des Surrogates als Ergebnis zu
einer Suchaufgabe (Wert von 0 bis 100 Punkten)
Unabhängige Variablen (UV):
13
Nr. UV
Ausprägung
A
Ausprägung
B
Ausprägung
C
1 Anzahl Zitationen (Werk) Geringe Anzahl Hohe Anzahl Keine Angabe
2 Anzahl Zitationen (Autor) Geringe Anzahl Hohe Anzahl Keine Angabe
3 H-Index Geringe Zahl Hohe Zahl Keine Angabe
4
Anzahl
Downloads/Ausleihen
Geringe Anzahl Hohe Anzahl Keine Angabe

15. DEPARTMENT INFORMATION
Christiane Behnert
4. KONZEPTIDEE ZUR EXPERIMENTELLEN ÜBERPRÜFUNG
DES MODELLS
4.2. Design
• Mehrfaktorielles Within subjects-Design
- Vergleich innerhalb der Stichprobe
- Eine Versuchsperson wird nacheinander in randomisierter Reihenfolge allen
Bedingungen ausgesetzt
 4 UV mit je 3 Ausprägungen
 3x3x3x3 = 81 experimentelle Bedingungen
• Auswahl der Bedingungen für 1 VP: Lateinisches Quadrat
14

16. DEPARTMENT INFORMATION
Christiane Behnert
5. QUELLEN
Cole, C., Beheshti, J., & Abuhimed, D. (2017). A relevance model for middle school students seeking information for an inquiry-
based class history project. Information Processing & Management, 53(2), 530–546.
Cook, K. H. (1971). A predictive model of human relevance decisions. Syracuse University; Department of Mass Communications.
Greisdorf, H. (2003). Relevance thresholds: A multi-stage predictive model of how users evaluate information. Information
Processing & Management, 39(3), 403–423.
Hjørland, B., & Christensen, F. S. (2002). Work tasks and socio-cognitive relevance: A specific example. Journal of the American
Society for Information Science and Technology, 53(11), 960–965.
Li, J., Zhang, P., Song, D., & Wu, Y. (2017). Understanding an enriched multidimensional user relevance model by analyzing query
logs. Journal of the Association for Information Science and Technology, 68(12), 2743–2754.
Mizzaro, S. (1997). Relevance: The whole history. Journal of the American Society for Information Science, 48(9), 810–832.
Park, T. K. (1993). The nature of relevance in Information Retrieval: An empirical study. The Library Quarterly, 63(3), 318–351.
Plassmeier, K. (2016). Relevance model. Working paper. Abgerufen von http://www.librank.info/wp-
content/uploads/2016/10/AP3_Relevanzmodell.pdf
Rieh, S. Y. (2002). Judgment of information quality and cognitive authority in the Web. Journal of the American Society for
Information Science and Technology, 53(2), 145–161.
Saracevic, T. (1997). The stratified model of information retrieval interaction: Extension and applications. In Proceedings of the
American Society for Information Science and Technology (Bd. 34, S. 313–327).
Wang, P. (1994). A cognitive model of document selection of real users of information retrieval systems. University of Maryland;
College of Library and Information Science.
Wang, P., & Soergel, D. (1998). A cognitive model of document use during a research project. Study I. Document selection. Journal
of the American Society for Information Science, 49(2), 115–133.
Wathen, C. N., & Burkell, J. (2002). Believe it or not: Factors influencing credibility on the Web. Journal of the American Society for
Information Science and Technology, 53(2), 134–144.
Watson, C. (2014). An exploratory study of secondary students’ judgments of the relevance and reliability of information. Journal of
the Association for Information Science and Technology, 65(7), 1385–1408.
Xu, Y. (Calvin), & Chen, Z. (2006). Relevance judgment: What do information users consider beyond topicality? Journal of the
American Society for Information Science and Technology, 57(7), 961–973.
15

17. VIELEN DANK FÜR EURE AUFMERKSAMKEIT!