- Главная
- Разное
- Дизайн
- Бизнес и предпринимательство
- Аналитика
- Образование
- Развлечения
- Красота и здоровье
- Финансы
- Государство
- Путешествия
- Спорт
- Недвижимость
- Армия
- Графика
- Культурология
- Еда и кулинария
- Лингвистика
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Детские презентации
- Информатика
- История
- Литература
- Маркетинг
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
Извлечение объектов из поисковых запросов презентация
Содержание
- 1. Извлечение объектов из поисковых запросов
- 2. Что такое объекты? Названия организаций Имена людей
- 3. Справочники Парсер запросов детский нафтизин инструкция
- 4. Для чего нужны объекты? Классификация поисковых запросов Вопросно-ответные задачи Переформулировки Индексация Обогащение поисковых запросов …
- 5. Задача Индексация Парсинг запросов *NEX – Named Entity eXtraction
- 6. Какие решения существуют? Машинное обучение Классификаторы (Naïve
- 7. Особенности поисковых запросов Малая длина (в среднем
- 8. Основные предположения Объекты одного типа встречаются в одинаковых контекстах Объект является самостоятельным поисковым запросом
- 9. Общая структура метода
- 10. Фаза извлечения шаблонов
- 11. Фаза извлечения шаблонов Исходные данные: Лог поисковых
- 12. Шаг 1:извлечение начальных объектов Для каждого запроса
- 13. Шаг 2: извлечение кандидатов Для каждого начального
- 14. Шаг 3: Взвешивание кандидатов Рассчитываем вес для
- 15. сериал (.+) \d+ сезон смотреть онлайн бесплатно:0.95
- 16. Фаза извлечения объектов
- 17. Фаза извлечения объектов Исходные данные: Лог поисковых
- 18. Шаг 1: извлечение кандидатов Для каждого шаблона
- 19. Шаг 2: Взвешивание объектов Рассчитываем вес для
- 21. Метод оценки результата Точность первых N объектов (10, 50, 100 …) Точность случайной выборки (100)
- 22. Результаты:
- 23. Достоинства и недостатки Достоинства Простая реализация Масштабируемость
- 24. СПАСИБО! ВОПРОСЫ? Михаил Обухов obuhov@corp.mail.ru Михаил Долинин dolinin@corp.mail.ru
Что такое объекты? Названия организаций Имена людей Названия должностей Адреса Названия программ и т.д. ООО «Мэйл.Ру» 15-18 февраля 2012 г. ГОСТ 2.001-93 ISBN: 978-1405187848 Яхрома
Слайд 2Что такое объекты?
Названия организаций
Имена людей
Названия должностей
Адреса
Названия программ
и т.д.
ООО «Мэйл.Ру»
15-18 февраля 2012
г.
ГОСТ 2.001-93
ISBN: 978-1405187848
Яхрома
Слайд 4Для чего нужны объекты?
Классификация поисковых запросов
Вопросно-ответные задачи
Переформулировки
Индексация
Обогащение поисковых запросов
…
Слайд 6Какие решения существуют?
Машинное обучение
Классификаторы (Naïve Bayes, ME Models, …)
Последовательные модели (HMM,
CRF, …)
Системы основанные на правилах
Ручное составление
Автоматическое
Использование онтологий
Wikipedia, DbPedia
Imdb
Системы основанные на правилах
Ручное составление
Автоматическое
Использование онтологий
Wikipedia, DbPedia
Imdb
Слайд 7Особенности поисковых запросов
Малая длина (в среднем 3 слова)
Слабая грамматическая структура
Не являются
текстом на ЕЯ
Отражают потребности пользователей
Отражают потребности пользователей
Слайд 8Основные предположения
Объекты одного типа встречаются в одинаковых контекстах
Объект является самостоятельным поисковым
запросом
Слайд 11Фаза извлечения шаблонов
Исходные данные:
Лог поисковых запросов
Начальный список шаблонов (1-2 шаблона)
Результат: список
шаблонов с весами
Слайд 12Шаг 1:извлечение начальных объектов
Для каждого запроса из лога
Пробуем извлечь объект
Если получилось,
сохраняем
Очистка извлеченных объектов
Не встречающихся как самостоятельный запрос
Очистка извлеченных объектов
Не встречающихся как самостоятельный запрос
смотреть <название>
смотреть сериал <название> \d+ сезон \d+ серия онлайн бесплатно в хорошем качестве
Начальные шаблоны должны быть точными!
Слайд 13Шаг 2: извлечение кандидатов
Для каждого начального объекта
Из каждого запроса, где он
встречается
Создаем шаблон
Создаем шаблон
смотреть сериал счастливы вместе онлайн серия 2
смотреть сериал <название> онлайн серия \d+
Слайд 14Шаг 3: Взвешивание кандидатов
Рассчитываем вес для каждого кандидата
Удаляем кандидатов имеющих низкий
вес
*Доверенный – объект извлеченный N и более различными шаблонами
Слайд 15сериал (.+) \d+ сезон смотреть онлайн бесплатно:0.95
сериал (.+) \d+ сезон \d+
серия смотреть онлайн:0.93
(.+) \d+ сезон смотреть онлайн:0.90
…
(.+) смотреть:0.07
скачать (.+):0.03
…
(.+) \d+ сезон смотреть онлайн:0.90
…
(.+) смотреть:0.07
скачать (.+):0.03
…
Слайд 17Фаза извлечения объектов
Исходные данные:
Лог поисковых запросов
Список шаблонов (полученный ранее)
Результат: список объектов
с весами
Слайд 18Шаг 1: извлечение кандидатов
Для каждого шаблона из списка
Сохраняем все объекты, которые
он может извлечь
Очистка извлеченных объектов
Не встречающихся как самостоятельный запрос
Не частотные объекты
Содержащие слова из списка шаблонов
Очистка извлеченных объектов
Не встречающихся как самостоятельный запрос
Не частотные объекты
Содержащие слова из списка шаблонов
Слайд 19Шаг 2: Взвешивание объектов
Рассчитываем вес для каждого объекта в списке
Удаляем объекты
имеющие низкий вес
Слайд 21Метод оценки результата
Точность первых N объектов (10, 50, 100 …)
Точность случайной
выборки (100)
Слайд 23Достоинства и недостатки
Достоинства
Простая реализация
Масштабируемость
Хорошая точность
Недостатки
Требует ручного вмешательства (начальный список шаблонов)
Требует задания
порогов
