Математико-механический факультет СПбГУ
Научный руководитель: к. ф.-м. н. Грауэр Л.В.
ООО «Яндекс»
- Главная
- Разное
- Дизайн
- Бизнес и предпринимательство
- Аналитика
- Образование
- Развлечения
- Красота и здоровье
- Финансы
- Государство
- Путешествия
- Спорт
- Недвижимость
- Армия
- Графика
- Культурология
- Еда и кулинария
- Лингвистика
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Детские презентации
- Информатика
- История
- Литература
- Маркетинг
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
Алгоритм построенияоценок весов интентов для многозначных запросов презентация
Содержание
- 1. Алгоритм построенияоценок весов интентов для многозначных запросов
- 2. Предметная область Многозначный запрос – запрос, по
- 3. Сейчас: Расчёт весов для IA-метрик производится вручную.
- 4. Алгоритм Формирование множества связанных запросов Кластеризация
- 5. Построение графа Вершины – запросы (Q)
- 6. Результаты Разработан алгоритм 65% наборов интентов
- 7. Дальнейшая работа Создание полуавтоматической системы проверки
Предметная область Многозначный запрос – запрос, по которому возможны несколько пользовательских интентов (намерений пользователя). Примеры: ягуар, наполеон, титаник… IA-метрики (intent-aware) – метрики качества поиска, учитывающие различные интенты по многозначным запросам.
Слайд 1Алгоритм построения
оценок весов интентов
для многозначных запросов
Артём Григорьев
445-ая группа
Кафедра Системного
программирования
Математико-механический факультет СПбГУ
Математико-механический факультет СПбГУ
Слайд 2Предметная область
Многозначный запрос – запрос, по которому возможны несколько пользовательских интентов
(намерений пользователя).
Примеры: ягуар, наполеон, титаник…
IA-метрики (intent-aware) – метрики качества поиска, учитывающие различные интенты по многозначным запросам.
Примеры: ягуар, наполеон, титаник…
IA-метрики (intent-aware) – метрики качества поиска, учитывающие различные интенты по многозначным запросам.
Слайд 3Сейчас: Расчёт весов для IA-метрик производится вручную. Асессоры получают небольшой набор
случайных сессий, должны определить по сессии интент. Доля сессий с данным интентом = вес.
Минусы: ограниченные возможности асессоров, => малое количество сессий по запросу, редкие обновления.
Задача: Придумать и реализовать алгоритм, вычисляющий по заданному на вход запросу набор пользовательских интентов и оценки их весов.
Минусы: ограниченные возможности асессоров, => малое количество сессий по запросу, редкие обновления.
Задача: Придумать и реализовать алгоритм, вычисляющий по заданному на вход запросу набор пользовательских интентов и оценки их весов.
Постановка задачи
Слайд 4Алгоритм
Формирование множества связанных запросов
Кластеризация
Построение графа запросов и документов
Случайное блуждание по графу
Кластеризация
по векторам предельных вероятностей документов
Распределение сессий по кластерам и расчёт весов
Распределение сессий по кластерам и расчёт весов
Слайд 5Построение графа
Вершины – запросы (Q) и документы (D)
Рёбра:
Q1 -> Q2 (вес
= вероятность переформулировки)
Q -> D (вес = вероятность клика)
Петли D -> D (вес = 1)
Полученный граф – марковская цепь
Документы – конечные состояния
Q -> D (вес = вероятность клика)
Петли D -> D (вес = 1)
Полученный граф – марковская цепь
Документы – конечные состояния
Слайд 6Результаты
Разработан алгоритм
65% наборов интентов найдено полностью
94% без одного интента
Ошибки в точности
в среднем <= 0.17
Создан веб-инструмент для запуска и анализа результатов
Утилита для расчёта данных по переформулировкам на кластере MapReduce
Создан веб-инструмент для запуска и анализа результатов
Утилита для расчёта данных по переформулировкам на кластере MapReduce
Слайд 7Дальнейшая работа
Создание полуавтоматической системы проверки точности и полноты
«Правильная» фильтрация «мусорных» данных
Использование
лингвистических данных при распределении сессий по кластерам
Определение интентов из коротких, малоинформативных сессий
Другие алгоритмы кластеризации и функции сходства
Определение интентов из коротких, малоинформативных сессий
Другие алгоритмы кластеризации и функции сходства
