1. 1Web
Information
Verborgen schatten
langs de digitale snelweg
Dr Cynthia C. S. Liem MMus
Multimedia Computing Group, afdeling Intelligent Systems
Faculteit Elektrotechniek, Wiskunde en Informatica
Technische Universiteit Delft
6. 6Web
Information
Op de rand van de opnametechniek…
• Bellini: La Sonnambula, Ah Non Credea Mirarti
• Adelina Patti (1906) https://www.youtube.com/watch?v=lfQYMLTvSnY
8. 8Web
Information
• We indexeren misschien niet de juiste informatie
• Te weinig mensen weten van het bestaan af
• Historische data ≠ hedendaagse data
Veel van deze bronnen zijn publiek en
digitaal toegankelijk!
Maar…slecht vindbaar
18. 18Web
Information
Zit de informatie in de noten?
• Mozart, Don Giovanni
Don Giovanni, Zurich 2001, Rodney Gilfry, Liliana Nikiteanu, Nikolaus HarnoncourtDon Giovanni, Johannes Weisser, Sunhae Im, René Jacobs
https://www.youtube.com/watch?v=fWDmXYR_KPA&t=40m23s
https://www.youtube.com/watch?v=f9qkvL6Dc5c&t=39m7s
21. 21Web
Information
Zit de informatie in de noten?
[Liem, Hanjalic & Sapp, AES, 2011; Liem & Hanjalic, ISMIR, 2011; Liem & Hanjalic, ISMIR, 2015; Peperkamp,
Hildebrandt & Liem, ISMIR 2017]
22. 22Web
Information
Zit de informatie in de noten?
Player’s hand positions correspond to
played pitches.
SPECTROGRAM
OF RECORDED
AUDIO SIGNAL
VIDEO
RECORDING OF
PERFORMING
MUSICIANS
SCORE OF
PERFORMED
MUSIC
Bowing movement
affects violinist’s
sound-forming, e.g.
causing subtle onset
entrances and
subsequent tone
development.
Piano sounds have strong
onsets with subsequent sound
decays. The pianist’s way of
making impacts on the piano
keys affect loudness and
timbre of the sound.
Violinist’s hand
movement produces
vibrato frequency
fluctuations. String
choices affect timbre.
A
B
C
A
B
C
28. 28Web
Information
Vergeten bronnen, onverwachte ingangen
• 400 jaar aan
gedigitaliseerde
kranten (delpher.nl):
> 12 miljoen pagina’s
• Alle muziek die ooit in
Nederland
is uitgebracht:
> 500.000 CDs delpher.nl/nl/kranten
49. 49Web
Information
Aanbevelingen
• Aangestuurd door onze digital tweelingen
• Optimaliseert onmiddellijke transactie (klik / ’vind-ik-leuk’)
• Moet ‘dat wat velen nu leuk vinden’ het criterium zijn?
User 1 ☆ ☆☆ ☆
User 2 ☆☆☆☆ ☆☆☆☆ ☆☆☆☆☆
Alice ☆☆☆☆ ☆☆☆☆ ???
50. 50Web
Information
De ontwikkeling van smaak
• Wat betekent een klik?
• Kunnen we de klik zien als een teken van een
ontwikkelingsproces?
• Selectie-algoritmen als ontwikkelingscuratoren
53. 53Web
Information
• Begeleiding van andere activiteiten
• ‘Music as a technology of the self’
[DeNora, 1999]
Muziek als Technologie
[Iren, Liem, Yang & Bozzon, WebSci, 2016]
[Yadati, Liem, Larson & Hanjalic, ICMR, 2017]
54. 54Web
Information
• Van wat muziek is naar wat
muziek doet
• Nuttige of belangrijke muziek is
niet noodzakelijk favoriet
• …en heeft misschien ook niet
onze volle aandacht, maar wel
fysiek effect
Muziek als Technologie
57. 57Web
Information
We hadden niet alleen indexering,
maar ook een bibliothecaris
Gosford Library circulation desk, December 1951
CC BY-NC 2.0,
https://www.flickr.com/photos/gostalgia/6514399173/in/photostream/
59. 59Web
Information
Verborgen schatten langs de digitale
snelweg: wat moeten we doen?
• Rijkere beschrijvingen van informatie in/rond objecten
• Schaalbaardere technieken voor monitoren datakwaliteit
• Beter begrip van gebruiksfunctie van objecten
• Alternatieve, genuanceerdere succescriteria
• Ondersteuning, context en interactie om ‘het onbekende’ te
kunnen bereiken