аналитики
- Главная
- Разное
- Дизайн
- Бизнес и предпринимательство
- Аналитика
- Образование
- Развлечения
- Красота и здоровье
- Финансы
- Государство
- Путешествия
- Спорт
- Недвижимость
- Армия
- Графика
- Культурология
- Еда и кулинария
- Лингвистика
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Детские презентации
- Информатика
- История
- Литература
- Маркетинг
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
Особенности регионального ранжирования Яндекса. Украинская формула презентация
Содержание
- 1. Особенности регионального ранжирования Яндекса. Украинская формула
- 2. ТЕКУЩИЙ АЛГОРИТМ. МАШИННОЕ ОБУЧЕНИЕ Обучающие данные Набор
- 3. ФАКТОРЫ РАНЖИРОВАНИЯ Набор факторов ранжирования F =
- 4. ПРИМЕРЫ ФАКТОРОВ РАНЖИРОВАНИЯ Запросные длина документа в
- 5. ПРИМЕРЫ ФАКТОРОВ РАНЖИРОВАНИЯ Ссылочные PageRank; логарифм количества
- 6. ФУНКЦИЯ РЕЛЕВАНТНОСТИ Числовое соответствие документа запросу Fr(q,
- 7. СХЕМА ОБУЧАЮЩЕГО АЛГОРИТМА Обучающие данные (q(i), dj(i)),
- 8. РЕГИОНАЛЬНЫЕ ФОРМУЛЫ Отдельные функции релевантности: 19
- 9. ИССЛЕДОВАНИЕ ФУНКЦИИ РЕЛЕВАНТНОСТИ Постановка эксперимента Выбор исследуемого
- 10. УКРАИНСКАЯ ФОРМУЛА Фактор: Количество употреблений термина запроса
- 11. Спасибо за внимание! Пожалуйста, задавайте вопросы
ТЕКУЩИЙ АЛГОРИТМ. МАШИННОЕ ОБУЧЕНИЕ Обучающие данные Набор запросов q(i) Набор документов dj(i) для каждого запроса q(i) Rel(q(i), dj(i)) - ручная оценка соответствия документа запросу Конкурс «Интернет-математика –
Слайд 1Особенности регионального ранжирования Яндекса. Украинская формула
Сергей ЛЮДКЕВИЧ, начальник отдела исследований и
Слайд 2ТЕКУЩИЙ АЛГОРИТМ. МАШИННОЕ ОБУЧЕНИЕ
Обучающие данные
Набор запросов q(i)
Набор документов dj(i) для
каждого запроса q(i)
Rel(q(i), dj(i)) - ручная оценка соответствия документа запросу
Конкурс «Интернет-математика – 2009»:
Rel(q, d) - значения из диапазона [0, 4]
(4 – «высокая релевантность»,…, 0 – «нерелевантно»)
Rel(q(i), dj(i)) - ручная оценка соответствия документа запросу
Конкурс «Интернет-математика – 2009»:
Rel(q, d) - значения из диапазона [0, 4]
(4 – «высокая релевантность»,…, 0 – «нерелевантно»)
Слайд 3ФАКТОРЫ РАНЖИРОВАНИЯ
Набор факторов ранжирования
F = (f1(q,d) , …, fN(q,d))
Конкурс «Интернет-математика –
2009»:
N=245
«Яндекс на РОМИП’2009»:
N=163
(коллекция BY.WEB);
N=69
(коллекция KM.RU, без ссылочных факторов)
N=245
«Яндекс на РОМИП’2009»:
N=163
(коллекция BY.WEB);
N=69
(коллекция KM.RU, без ссылочных факторов)
Слайд 4ПРИМЕРЫ ФАКТОРОВ РАНЖИРОВАНИЯ
Запросные
длина документа в словах;
язык запроса.
Текстовые
наличие точного вхождения запроса в
тексте документа;
наличие точного вхождения запроса в заголовке документа;
tf*idf;
различные модификации формулы Okapi_BM25.
наличие точного вхождения запроса в заголовке документа;
tf*idf;
различные модификации формулы Okapi_BM25.
Слайд 5ПРИМЕРЫ ФАКТОРОВ РАНЖИРОВАНИЯ
Ссылочные
PageRank;
логарифм количества ссылок на документ;
процент ссылок на документ,
содержащих точное вхождение запроса.
Географические
регион сайта;
язык документа.
Географические
регион сайта;
язык документа.
Слайд 6ФУНКЦИЯ РЕЛЕВАНТНОСТИ
Числовое соответствие документа запросу
Fr(q, d) = Fr(F(q,d)) = Fr(f1(q,d), …,
fN(q,d))
Построение функции релевантности с помощью генетических алгоритмов:
1. Выбор метрики
(«Яндекс на РОМИП’2009»: pfound – максимизация вероятности найти релевантный результат)
2. Подбор вида функции
(«Яндекс на РОМИП’2009»: полином ∑aIf1i1 f2i2… fNiN )
3. Подбор коэффициентов
Построение функции релевантности с помощью генетических алгоритмов:
1. Выбор метрики
(«Яндекс на РОМИП’2009»: pfound – максимизация вероятности найти релевантный результат)
2. Подбор вида функции
(«Яндекс на РОМИП’2009»: полином ∑aIf1i1 f2i2… fNiN )
3. Подбор коэффициентов
Слайд 7СХЕМА ОБУЧАЮЩЕГО АЛГОРИТМА
Обучающие данные
(q(i), dj(i)),
i=1,…,n;
j=1,…m(n).
Определение значений факторов
Асессоры
Обучающий алгоритм
Ранжирующий алгоритм
F(q(i), dj(i))
Rel(q(i), dj(i))
Fr(F(q,d))
Тестовые
данные
(q, dj),
j=1,…,m
(q, dj),
j=1,…,m
Fr(F(q, dj))
Определение значений факторов
F(q, dj)
Слайд 8РЕГИОНАЛЬНЫЕ ФОРМУЛЫ
Отдельные функции релевантности:
19 городов России: Москва, Санкт-Петербург, Екатеринбург, Новосибирск и
др.
Общероссийская
Украина
Белоруссия
Казахстан
Отличаться могут не только коэффициенты, но и сам вид функций!
Общероссийская
Украина
Белоруссия
Казахстан
Отличаться могут не только коэффициенты, но и сам вид функций!
Слайд 9ИССЛЕДОВАНИЕ ФУНКЦИИ РЕЛЕВАНТНОСТИ
Постановка эксперимента
Выбор исследуемого фактора
Генерация тестовых коллекций
Варьирование исследуемого фактора
Фиксация остальных
факторов
Индексация тестовых коллекций
Анализ результатов
Принятие решения о характере влияния исследуемого фактора на функцию релевантности
Индексация тестовых коллекций
Анализ результатов
Принятие решения о характере влияния исследуемого фактора на функцию релевантности
Слайд 10УКРАИНСКАЯ ФОРМУЛА
Фактор: Количество употреблений термина запроса (tf)
Характер зависимости: Прямая
Фактор: Длина документа
в словах
Характер зависимости: Обратная
Фактор: Количество употреблений самого частотного термина
Характер зависимости: Обратная
Характер зависимости: Обратная
Фактор: Количество употреблений самого частотного термина
Характер зависимости: Обратная
Слайд 11Спасибо за внимание!
Пожалуйста, задавайте вопросы
Для продолжения темы посетите
Корпорация РБС
115191, Россия, Москва,
ул.
Б. Тульская, д. 13, 4-й этаж ТЦ «Ереван Плаза»
Телефон: (495) 772-97-91 (многоканальный)
ICQ-консультант: 377-169-437
http://rbsgroup.ruhttp://rbsgroup.ru | http://bdbd.ruhttp://rbsgroup.ru | http://bdbd.ru | http://mediaguru.ruhttp://rbsgroup.ru | http://bdbd.ru | http://mediaguru.ru | http://webvisor.ru
Телефон: (495) 772-97-91 (многоканальный)
ICQ-консультант: 377-169-437
http://rbsgroup.ruhttp://rbsgroup.ru | http://bdbd.ruhttp://rbsgroup.ru | http://bdbd.ru | http://mediaguru.ruhttp://rbsgroup.ru | http://bdbd.ru | http://mediaguru.ru | http://webvisor.ru
