- Главная
- Разное
- Дизайн
- Бизнес и предпринимательство
- Аналитика
- Образование
- Развлечения
- Красота и здоровье
- Финансы
- Государство
- Путешествия
- Спорт
- Недвижимость
- Армия
- Графика
- Культурология
- Еда и кулинария
- Лингвистика
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Детские презентации
- Информатика
- История
- Литература
- Маркетинг
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
Ранжирование, спам и антиспам презентация
Содержание
- 1. Ранжирование, спам и антиспам
- 2. Что и для чего проходим? Апдейты ПС
- 3. Машинное обучение Тематическая классификация
- 4. Инструкция Алгоритмы Машинное обучение
- 5. F3
- 6. Асессоры
- 7. Асессоры
- 8. Асессоры
- 9. Классификация текстов и запросов
- 10. Тематическая классификация
- 11. Тематическая классификация
- 12. Тематическая классификация http://tag4site.ru/classify
- 13. Тематическая классификация
- 14. BM25
- 15. Okapi BM25 — функция ранжирования
- 16. Okapi BM25 — функция ранжирования
- 17. Модификации BM25 BM25F LinkBM25
- 18. Задача Посчитайте BM25 для анкор-листа
- 19. Апдейты ПС
- 20. Апдейты
- 21. Что и для чего проходим? Может произойти
- 22. Что и для чего проходим? tools.promosite.ru Виды апдейтов
- 23. Как определять апдейты По количеству изменений считается % шторма
- 24. Текстовый спам
- 25. Спам в тексте страниц — избыток ключевых
- 26. Спам в тексте ссылок — большое количество ссылок с одинаковыми анкорами, с коммерческими анкорами.
- 27. Спам в мета-тегах слишком длинные мета-теги,
- 28. Синонимайзинг, рерайт — создание новых текстов по
- 29. Автогенерация текстов — автоматическое создание текстов по заранее заданным параметрам/формулам.
- 30. Спам в коде страниц
- 31. Манипулирование HTML-тегами Description Keywords H1, H2, H3, H4, H5, H6 STRONG, B EM, I
- 32. Скрытие текста от посетителей Белый текст на
- 33. Скрытие текста от посетителей Белый текст на
- 34. SEO-тексты Рерайт текстов Разные методы «уникализации» текста Генерация SEO-текстов Множественное употребление слов в тексте
- 35. Как определяется спам в почте Задачка: придумайте
- 36. Дорвеи и редиректы
- 37. Дорвеи и редиреты — сайты, которые создаются
- 38. Клоакинг и свопинг
- 39. Свопинг — создание страницы, контент на которой
- 40. Клоакинг — показ разного контента роботу поисковой
- 41. Заимствование контента
- 42. Заимствование контента — показ чужого контента на своем сайте (автоматическое/ручное заимствование/iframe).
- 43. Аффилиаты
- 44. Разные сайты одной компании — попытка монополизировать
- 45. Сателлиты
- 46. Разные сайты одной компании
- 47. Ссылочный спам
- 48. Ссылочный спам факт размещения ссылки для накрутки
- 49. Ссылочный спам взлом сайтов, использование вирусов (продажа
- 50. Как идентифицировать ботов Задачка: придумайте самообучающийся алгоритм определения спама в комментариях для движка типа wordpress
- 51. Поведенческий спам
- 52. Поведенческий спам имитация действий пользователей на выдаче, имитация переходов по ссылке, имитация поведения внутри сайта.
- 53. Спам в рекламе
- 54. Спам в рекламе Pop-up реклама, Ссылки,
- 57. Парсинг
- 58. Парсинг сервисы подбора запросов, поисковая выдача:
- 59. Уведомления
- 60. Настройка уведомлений
- 61. Антиспам
- 62. Последствия спама для ПС мусорный контент, медленная работа серверов, ущерб качественным ресурсам, потеря аудитории
- 63. Что искать? контент, ссылки, поведение
- 64. Что искать? 86% спама можно вычислить на основе анализа контента страниц.
- 65. Как искать?
- 66. Как искать? Обнаружение спам страниц как задача
- 67. Как искать?
- 68. Как искать? Попытка №1
- 69. Как искать?
- 70. Как искать?
- 71. Как искать?
- 72. Как искать?
- 73. Как искать?
- 74. Как искать? Попытка №2
- 75. Как искать?
- 76. Как искать?
- 77. Как искать?
- 78. Как искать?
- 79. Как классифицировать сайт?
- 80. Как классифицировать сайт?
- 81. Как классифицировать сайт?
- 82. Как классифицировать сайт?
- 83. Как классифицировать?
- 84. Как классифицировать сайт?
- 85. Как классифицировать сайт?
- 86. Оценка качества поиска
- 87. Показатели качества поиска Полнота - отношение числа найденных
- 88. Домашнее задание Разработайте и опишите алгоритм генерации
Что и для чего проходим? Апдейты ПС Текстовый спам Спам в коде страниц Дорвеи и редиректы Клоакинг и свопинг Заимствование контента Аффилиаты Ссылочный
Слайд 2Что и для чего проходим?
Апдейты ПС
Текстовый спам
Спам в коде страниц
Дорвеи и
редиректы
Клоакинг и свопинг
Клоакинг и свопинг
Заимствование контента
Аффилиаты
Ссылочный спам
Поведенческий спам
Спам в рекламе
Парсинг
Слайд 21Что и для чего проходим?
Может произойти изменение позиций без изменений индекса,
т.е. вы обновили тексты, произошел апдейт, но тексты остались старыми
Проходит 107 дней до индексации ссылки
(по данным tools.promosite.ru)
Слайд 25Спам в тексте страниц
— избыток ключевых слов в тексте страницы, некачественные,
бесполезные тексты, размещенные для манипулирования позициями.
Слайд 26Спам в тексте ссылок
— большое количество ссылок с одинаковыми анкорами, с
коммерческими анкорами.
Слайд 27Спам в мета-тегах
слишком длинные мета-теги,
редкие n-граммы (купить детская каша, низкая
цена),
использование спецсимволов,
сгенерированные по одной простой формуле,
спам в содержимом микроразметки
использование спецсимволов,
сгенерированные по одной простой формуле,
спам в содержимом микроразметки
Слайд 28Синонимайзинг, рерайт
— создание новых текстов по образцу старых без добавления к
ним новой смысловой ценности путем изменения формы (переформулирования, замены слов на синонимы).
Слайд 29Автогенерация текстов
— автоматическое создание текстов по заранее заданным параметрам/формулам.
Слайд 32Скрытие текста от посетителей
Белый текст на белом фоне
1 пиксельный текст
Скрытие через
CSS (display:none)
Создание зон «текст в подвале»
Создание зон «текст в подвале»
Слайд 33Скрытие текста от посетителей
Белый текст на белом фоне
1 пиксельный текст
Скрытие через
CSS (display:none)
Создание зон «текст в подвале»
Создание зон «текст в подвале»
окна
окна
окна
окна
окна
Слайд 34SEO-тексты
Рерайт текстов
Разные методы «уникализации» текста
Генерация SEO-текстов
Множественное употребление слов в тексте
Слайд 35Как определяется спам в почте
Задачка: придумайте алгоритм определения спама в почте,
на основе только текстовых факторов
Слайд 37Дорвеи и редиреты
— сайты, которые создаются для манипулирования поисковыми системами, с
целью получения трафика и его перепродажи, за счет создания низкокачественного контента и перенаправления пользователя, часто, путем обмана (автогенерация доменов, страниц, автоматическое заимствование контента с долгоиндексируемого сайта).
Слайд 39Свопинг
— создание страницы, контент на которой меняется сразу после выхода в
ТОП, использовалось для продвижения запрещенных тематик в Google
Слайд 40Клоакинг
— показ разного контента роботу поисковой системы и пользователю (разные версии
страниц, скрытые блоки, спамные страницы в скрытой части сайта).
Слайд 42Заимствование контента
— показ чужого контента на своем сайте (автоматическое/ручное заимствование/iframe).
Слайд 44Разные сайты одной компании
— попытка монополизировать рынок через манипулирование поисковой выдачей.
совпадение
контактных данных,
один хостинг, один IP-адрес,
одинаковый дизайн,
одинаковый ассортимент, ценовое предложение,
адрес самовывоза,
владельца домена,
один аккаунт Вебмастера или Метрики,
оплата контекста с одного юр.лица
один хостинг, один IP-адрес,
одинаковый дизайн,
одинаковый ассортимент, ценовое предложение,
адрес самовывоза,
владельца домена,
один аккаунт Вебмастера или Метрики,
оплата контекста с одного юр.лица
Слайд 48Ссылочный спам
факт размещения ссылки для накрутки результатов ранжирования,
создание сайтов для продажи
ссылок (отдельные или сетки сателлитов):
наличие низкокачественного контента,
бесплатный дизайн и CMS,
размещение большого количество ссылок с главной страницы на внутренние,
прогон сайта по каталогам или низкокачественные ссылки,
молодой сайт без живого трафика,
появление ссылок на другие сайты в отсутствие трафика и позиций.
наличие низкокачественного контента,
бесплатный дизайн и CMS,
размещение большого количество ссылок с главной страницы на внутренние,
прогон сайта по каталогам или низкокачественные ссылки,
молодой сайт без живого трафика,
появление ссылок на другие сайты в отсутствие трафика и позиций.
Слайд 49Ссылочный спам
взлом сайтов, использование вирусов (продажа ссылок с display:none),
спам по форумам,
гостевым книгам, доскам объявлений, каталогам (бесплатные CMS без обновления),
покупка ссылок (ссылочный взрыв),
обмен ссылками,
публикация мусорных статей и ссылки из них.
покупка ссылок (ссылочный взрыв),
обмен ссылками,
публикация мусорных статей и ссылки из них.
Слайд 50Как идентифицировать ботов
Задачка: придумайте самообучающийся алгоритм определения спама в комментариях для
движка типа wordpress
Слайд 52Поведенческий спам
имитация действий пользователей на выдаче,
имитация переходов по ссылке,
имитация поведения внутри
сайта.
Слайд 54Спам в рекламе
Pop-up реклама,
Ссылки, ведущие на спамные сайты,
Ссылки или реклама
сайтов запрещенных тематик
Злоупотребление партнерскими программами
Отправь SMS, введи код, оплати доступ и т.п.
Злоупотребление партнерскими программами
Отправь SMS, введи код, оплати доступ и т.п.
Слайд 58Парсинг
сервисы подбора запросов,
поисковая выдача:
URL сайтов,
позиции,
сниппеты,
технические данные.
сохраненные копии
контекстная
реклама
Яндекс.Каталог
Яндекс.Каталог
Слайд 62Последствия спама для ПС
мусорный контент,
медленная работа серверов,
ущерб качественным ресурсам,
потеря аудитории
Слайд 66Как искать?
Обнаружение спам страниц как задача бинарной классификации:
1 – спам
0 –
не спам
Требуется:
Список признаков
Метод классификации
Требуется:
Список признаков
Метод классификации
Слайд 87Показатели качества поиска
Полнота - отношение числа найденных релевантных документов, к общему числу релевантных документов
в базе.
Точность - отношение числа релевантных документов, найденных ПС, к общему числу найденных документов.
Точность - отношение числа релевантных документов, найденных ПС, к общему числу найденных документов.
Слайд 88Домашнее задание
Разработайте и опишите алгоритм генерации текста для интернет-магазина, который невозможно отследить автоматически.
Почему это невозможно?
Опишите качества, по которым поисковая система может определить "спамность" ссылки. Предложите, какой должна быть ссылки, чтобы её невозможно было обнаружить по этим качествам.
Вы решили сделать сеть из 100 сателлитов. Придумайте такую схему ссылочных связей, которую невозможно определить в автоматическом режиме. Что может стать основой такого алгоритма? Как будет устроена такая система?
Опишите алгоритм накрутки поведенческих факторов, где поисковая система может 100% определить факт накрутки, но не может наложить санкции без риска забанить сайт, который накручивают конкуренты.
Определите, как работает сравнение поисковых систем по критерию "полнота и разнообразие" в сервисе http://analyzethis.ru/, разберитесь с алгоритмом и опишите его.
При выполнении домашнего задания пользуйтесь DataMining: ищите решения в интернете, изучайте статьи и публикации на эту тему, изучите решения, которые предлагаются для борьбы со спамом, чтобы лучше понимать механизмы. Публикации могут быть на таких сайтах, как РОМИП, HabraHabr, некоторые сообщества в ЖЖ, возможно видео-доклады сотрудников Яндекса.
Опишите качества, по которым поисковая система может определить "спамность" ссылки. Предложите, какой должна быть ссылки, чтобы её невозможно было обнаружить по этим качествам.
Вы решили сделать сеть из 100 сателлитов. Придумайте такую схему ссылочных связей, которую невозможно определить в автоматическом режиме. Что может стать основой такого алгоритма? Как будет устроена такая система?
Опишите алгоритм накрутки поведенческих факторов, где поисковая система может 100% определить факт накрутки, но не может наложить санкции без риска забанить сайт, который накручивают конкуренты.
Определите, как работает сравнение поисковых систем по критерию "полнота и разнообразие" в сервисе http://analyzethis.ru/, разберитесь с алгоритмом и опишите его.
При выполнении домашнего задания пользуйтесь DataMining: ищите решения в интернете, изучайте статьи и публикации на эту тему, изучите решения, которые предлагаются для борьбы со спамом, чтобы лучше понимать механизмы. Публикации могут быть на таких сайтах, как РОМИП, HabraHabr, некоторые сообщества в ЖЖ, возможно видео-доклады сотрудников Яндекса.
