01 информационный поиск

Информационный поиск Лидия Михайловна Пивоварова Системы понимания текста

Введение ,[object Object],[object Object]

Содержание ,[object Object],[object Object],[object Object],[object Object]

Индексирование ,[object Object],[object Object],[object Object]

Структура индекса

Процесс индексирования ,[object Object],[object Object],[object Object],[object Object],[object Object]

Взвешивание ,[object Object],[object Object]

Закон Ципфа (Zipf) Произведение частоты термина f на его ранг r остается примерно постоянной величиной f = C / r , C ≈ N /10

Принцип Луна ( Luhn ) Самые часто встречающиеся слова – не самые значимые!

Классический метод взвешивания: tf - idf ,[object Object],[object Object],Вес слова в документе: В современных поисковых системах используются более сложные варианты взвешивания.

Булева модель ,[object Object],[object Object],[object Object]

Векторная модель ,[object Object],[object Object],[object Object],[object Object],[object Object]

Векторная модель ,[object Object]

[object Object],[object Object],[object Object],[object Object],Вероятностные модели

Вероятностные модели ,[object Object]

Оценка информационного поиска ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Оценка требует большой коллекции размеченных документов, т.е. огромного труда асессоров. Большое продвижение дают конференции-соревнования: TREC , РОМИП и т.д. tn fn Ненайденные fp tp Найденные Нерелевантные Релевантные

Уровни анализа языка ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Источники ,[object Object],[object Object],[object Object]

01 информационный поиск

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (19)

Similaire à 01 информационный поиск

Similaire à 01 информационный поиск (20)

Plus de Lidia Pivovarova

Plus de Lidia Pivovarova (20)

01 информационный поиск