Relevanzkriterien: Forschungsstand und erste Ideen des Nutzermodells im Rahmen des Promotionsprojekts Relevance Clues

RELEVANZKRITERIEN
Forschungsstand und erste Ideen für das Nutzermodell
im Rahmen des Promotionsprojektes Relevance Clues
Christiane Behnert
Hochschule für Angewandte Wissenschaften Hamburg
28.04.2017

Department Information
Christiane Behnert, M.A.
GLIEDERUNG
1. Forschungsziel & Forschungsfragen
2. Vorgehensweise
3. Faktoren, Kriterien, Merkmale
4. Relevanzmodelle
5. Fazit
6. Quellen
1

1. FORSCHUNGSZIEL UND FORSCHUNGSFRAGEN
Ziel: Aussagekräftige Erkenntnisse über die Kriterien, anhand derer Nutzerinnen und
Nutzer entscheiden, inwieweit Informationen für sie relevant sind, zu gewinnen
 Nutzermodell zur Relevanzbewertung
Forschungsfragen:
I. Auf Grundlage welcher Merkmale des Surrogats bewerten informationssuchende
Personen die Relevanz eines Suchergebnisses?
II. Welche Merkmale beeinflussen die Relevanzentscheidung in welchem Maße?
III. Welchen Einfluss hat die Nutzungssituation (Standort der Person, Zeitdruck)
auf die Relevanzbewertung?
IV. Welche Relevanzkriterien lassen sich nach Beantwortung der Forschungsfragen I
bis III ableiten und wie sind diese gegeneinander gewichtet?
2

2. VORGEHENSWEISE
Literaturschau
Nutzermodell
Hypothesen
Experimente
Ergebnisse
Anpassung des Nutzermodells
3

3. FAKTOREN, KRITERIEN, MERKMALE
3.1. Begriffe
Relevanz
• Relation zwischen Entitäten zweier Gruppen (Mizzaro, 1997)
• Intuitiv verstandenes Konzept (Saracevic, 1996)
• Systemorientierte vs. nutzerorientierte Sicht
- Eindimensional vs. multidimensional
- Statisch vs. dynamisch
- Binär vs. nicht-binär
- Objektiv vs. subjektiv
- Kontextunabhängig vs. kontextabhängig
4

3.1. Begriffe
Relevanz
• Relation zwischen Entitäten zweier Gruppen (Mizzaro, 1997)
• Intuitiv verstandenes Konzept (Saracevic, 1996)
• Systemorientierte vs. nutzerorientierte Sicht
- Eindimensional vs. multidimensional
- Statisch vs. dynamisch
- Binär vs. nicht-binär
- Objektiv vs. subjektiv
- Kontextunabhängig vs. kontextabhängig
5
All the algorithms in all the
systems in the world are trying
to approximate, with various
degrees of success, the
human notion of relevance.
(Saracevic, 2012, S. 49)

3.1. Begriffe
Relevanzbewertungen
"A relevance judgment is an assignment of a value of relevance […] by a judge
at a certain point of time." (Mizzaro, 1997, S. 812)
• Evaluierung der Effektivität von Information Retrieval-Systemen
• Im Prozess der Dokumentenauswahl eingebettet (Wang, 1994)
• „Predictive judgment“ (vor Zugang zum Volltext) vs.
„evaluative judgment“ (nach Zugang zum Volltext) (Rieh, 2002)
• Zahlreiche Einflussgrößen
 Faktoren (factors), Kriterien (criteria), Merkmale (clues/cues)
6

3.2. Relevanzfaktoren
7
Quelle: Schamber (1994, S. 11)

3.2. Relevanzfaktoren nach Saracevic (2016)
Juroren:
• Erfahrung mit thematisch-relevanten Fragen
• Kenntnis über und Interesse an einem Thema
• Fachwissen
• Sprache
Relevanzbewertungen:
• Position des Treffers in der Ergebnisliste
• Rangfolge der Treffer
• Design, Usability
• Art der Suchaufgabe/-ergebnisse (Schwierigkeitsgrad, Informationen)
• Art der Bewertung (Skala)
8
Relevance is affected by a host
of factors and, in turn, it affects
a host of factors as well.
(Saracevic, 2016, S. 61)

3.3. Relevanzkriterien
9
Kategorie Relevanzkriterien Interaktion
zwischen…
Content Topic, quality, depth, scope, currency,
treatment, clarity
Information (or
object)
characteristicsObject Characteristics of information objects,
e.g., type, organization,
representation, format, availability,
accessibility, costs
Validity Accuracy of information provided,
authority, trustworthiness of sources,
verifiability, reliability
Usefulness or
situational match
Appropriateness to situation, or tasks,
usability, urgency; value in use
Individual (or
human)
characteristics
Cognitive match Understanding, novelty, mental effort,
Link to previous knowledge
Affective match Emotional responses to information,
fun, frustration, uncertainty
Belief match Personal credence given to
information, confidence
Quelle:
Saracevic (2016, S. 57 ff.)

• Begriffe Faktor und Kriterium häufig synonym verwendet
• Keine klare Abgrenzung der Begriffe, keine Aufteilung (möglich?)
Analyse von Studien zu Relevanzkriterien:
- Inhaltlich (Zahl und Art der Kriterien, Clustering, Berücksichtigung der Domäne?)
- Historisch (Veränderungen durch Digitalisierung?)
- Methodisch (Art und Umfang der Forschungsdesigns?)
10
Meine Tabelle mit mehr als 50 Studien

Kontext Websuche:
• Layout, Struktur von Webseiten (Tombros, Ruthven, & Jose, 2005)
• Vertrauens- und Glaubwürdigkeit (Rieh, 2002; Wathen & Burkell, 2002)
• Kognitive Autorität (cognitive authority) (Wilson, 1983)
• Reputation und erreichte Leistung eines Autors zur subjektiven Bewertung der
kognitiven Autorität (Rieh, 2009)
11

Methodische Ansätze:
• Fragenbogen, Interviews
• Think-aloud-Protokolle
• Auswertung von Klickdaten
• Messen von Augenbewegungen (Eye-Tracking)
• Experimente
12

3.4. Relevanzmerkmale
Relevance clues:
• Document Information Elements (DIEs): "DIEs are seen as the basic units that
collectively represent a document to provide clues to the users’ criteria" (Wang &
Soergel, 1998, S. 124)
13

14
Quelle:
Wang & Soergel, 1998, S. 125.

Popularitätsdaten im akademischen Kontext (Plassmeier et al., 2015):
• Zitationszahl (z.B. Google Scholar)
• Zahl der Downloads (z.B. ACM Digital Library)
• Ausleihzahlen
• Zahl der Exemplare in einer Bibliothek
15

3.5. Zusammenfassung
• Relevanzbewertungen sind subjektiv, situationsabhängig, dynamisch, inkonsistent,
nicht binär, immer im Kontext zu betrachten
• Eine Vielzahl an Faktoren und Kriterien beeinflussen Relevanzentscheidungen
• Keine eindeutige Definition von Faktor und Kriterium
• Thematische Relevanz als Basis
• Nutzerverhalten im Webkontext durch Vertrauens- und Glaubwürdigkeit geprägt
• Popularitätsdaten in Ergebnispräsentation integriert
16

4. RELEVANZMODELLE
4.1. Bestehende Modelle
"All IR and human information behavior models have relevance at their base either
explicitly or as an invisible hand – in effect they are relevance models.“ (Saracevic, 2016,
S. 40)
17
Quelle: Ingwersen, P., & Järvelin, K. (2005). The turn:
Integration of information seeking and retrieval in context
(Bd. 18). Berlin; Heidelberg: Springer. S. 274
Quelle:Saracevic,2016,S.34.

4. RELEVANZMODELLE
• Kognitives Modell zur Auswahl von Dokumenten (Wang, 1994; Wang & Soergel, 1998)
4.1. Bestehende Modelle - Wang
18
Quelle: Wang & Soergel, 1998, S. 118
Cognitive
Model of
Document
Selection
Document
Selection
Model for
Academic
Users in
Agricultural
Economics

4. RELEVANZMODELLE
4.1. Bestehende Modelle - Rieh
19Quelle:
Rieh, 2002, S.
158.
Model of judgment of
information quality and
cognitive authority

4. RELEVANZMODELLE
4.2. Erste Ideen für mein Nutzermodell
Aufbauen auf vorhandenen Modellen in Hinblick auf:
• Merkmale von Surrogaten (Modelle von Wang und Rieh)
• Levels von Relevanz (Saracevics Modell)
• Zeitpunkt/Objekt der Relevanzbewertung (Modelle von Wang und Rieh)
• Prozessablauf (Modelle von Wang und Rieh)
• Autorität, Qualität (Riehs Modell)
20

5. FAZIT
Literaturschau zu Kriterien:
 Lösungsvorschlag zum Definitionsproblem:
Faktoren beeinflussen Relevanzbewertungen; Kriterien werden vom Nutzer zugrunde
gelegt
 Eindeutige Definition / Gegenüberstellung(?) wichtig für Operationalisierung (Variablen
im Experiment) (?)
Entwicklung des Nutzermodells:
 Bewertungsprozess als Teil des Informationssuchprozesses
(Merkmale -> Kriterien -> Bewertung)
 Entscheidungstheorie für Relevanzbewertung (entscheiden vs. bewerten)?
21

6. QUELLEN
Mizzaro, S. (1997). Relevance: The whole history. Journal of the American Society for Information Science, 48(9), 810–832.
Plassmeier, K., Borst, T., Behnert, C., & Lewandowski, D. (2015). Evaluating popularity data for relevance ranking in
library information systems. In Proceedings of the 78th ASIS&T Annual Meeting (Bd. 51).
Rieh, S. Y. (2002). Judgment of information quality and cognitive authority in the Web. Journal of the American Society for
Information Science and Technology, 53(2), 145–161. https://doi.org/10.1002/asi.10017
Rieh, S. Y. (2009). Credibility and cognitive authority of information. In Encyclopedia of Library and Information Sciences
(Third ed., S. 1337–1344). CRC Press.
Saracevic, T. (1996). Relevance reconsidered. In P. Ingwersen & N. O. Pors (Hrsg.), Information science: Integration in
perspectives. Proceedings of the Second Conference on Conceptions of Library and Information Science (CoLIS 2) (S. 201–
218). Copenhagen: Royal School of Librarianship.
Saracevic, T. (2012). Research on relevance in information science: A historical perspective. In T. Carbo & T. Bellardo Hahn
(Hrsg.), Proceedings of the American Society for Information Science and Technology (ASIS&T) 2012 Pre-conference on the
History of ASIS&T and Information Science and Technology (S. 49–60). Medford, New Jersey: Information Today.
Saracevic, T. (2016). The Notion of Relevance in Information Science: Everybody knows what relevance is. But, what is it
really? Synthesis Lectures on Information Concepts, Retrieval, and Services, 8(3), i-109.
Schamber, L. (1994). Relevance and information behavior. Annual Review of Information Science and Technology, 29, 3–48.
Tombros, A., Ruthven, I., & Jose, J. M. (2005). How users assess Web pages for information seeking. Journal of the
American Society for Information Science and Technology, 56(4), 327–344. http://doi.org/10.1002/asi.20106
Wang, P., & Soergel, D. (1998). A cognitive model of document use during a research project. Study I. Document selection.
Journal of the American Society for Information Science, 49(2), 115–133.
Wathen, C. N., & Burkell, J. (2002). Believe it or not: Factors influencing credibility on the Web. Journal of the American
Society for Information Science and Technology, 53(2), 134–144.
Wilson, P. (1983). Second-hand knowledge: An inquiry into cognitive authority. Westport, Conn.; London, UK: Greenwood
Press. 22

VIELEN DANK FÜR EURE
AUFMERKSAMKEIT!
Ich freue mich über Fragen (und Antworten), Anregungen und Hinweise!

Relevanzkriterien: Forschungsstand und erste Ideen des Nutzermodells im Rahmen des Promotionsprojekts Relevance Clues

Recommandé

Recommandé

Contenu connexe

Similaire à Relevanzkriterien: Forschungsstand und erste Ideen des Nutzermodells im Rahmen des Promotionsprojekts Relevance Clues

Similaire à Relevanzkriterien: Forschungsstand und erste Ideen des Nutzermodells im Rahmen des Promotionsprojekts Relevance Clues (20)

Relevanzkriterien: Forschungsstand und erste Ideen des Nutzermodells im Rahmen des Promotionsprojekts Relevance Clues