Намиот Дмитрий Евгеньевич
dnamiot@abavanet.ru
- Главная
- Разное
- Дизайн
- Бизнес и предпринимательство
- Аналитика
- Образование
- Развлечения
- Красота и здоровье
- Финансы
- Государство
- Путешествия
- Спорт
- Недвижимость
- Армия
- Графика
- Культурология
- Еда и кулинария
- Лингвистика
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Детские презентации
- Информатика
- История
- Литература
- Маркетинг
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
Geocoding – методы получения гео-координат изновостных потоков презентация
Содержание
- 1. Geocoding – методы получения гео-координат изновостных потоков
- 2. Известные аналоги Яндекс.Новости Lenta.ru GeoNames.org База
- 3. Требования к системе Выявление описания гео-объектов в
- 4. Трудности реализации Сложность обработки данных большой размер
- 5. Исходные данные Нижний угол Верхний угол Центр
- 6. Архитектура Распределённая система База данных Гео-объекты, альтернативные
- 7. Реализация
- 8. Определение гео-объектов по маске Пример: Ключевые
- 9. Определение гео-объектов по словарю Пример с предлогом:
- 10. Заключение Реализована система, позволяющая: Определять около 90%
- 11. Спасибо за внимание! Ваши вопросы Денис Баклыков
Известные аналоги Яндекс.Новости Lenta.ru GeoNames.org База данных гео-объектов 8 миллионов записей Yahoo GeoPlanet Поиск гео-объектов по критериям Альтернативные названия
Слайд 1Geocoding – методы получения гео-координат из
новостных потоков
Выполнил: Баклыков Денис Григорьевич
denis.baklikov@gmail.com
Научный руководитель:
Слайд 2Известные аналоги
Яндекс.Новости
Lenta.ru
GeoNames.org
База данных гео-объектов
8 миллионов записей
Yahoo GeoPlanet
Поиск гео-объектов по критериям
Альтернативные названия
Слайд 3Требования к системе
Выявление описания гео-объектов в новостных потоках (RSS, Atom)
Прозрачная конвертация
RSS лент в GeoRSS
Обеспечение высокой производительности системы
Обеспечение высокой производительности системы
Слайд 4Трудности реализации
Сложность обработки данных
большой размер БД, нагрузка на сервер
Нет открытых
алгоритмов поиска гео-объектов
Поддержка множества подписчиков
Нет единой базы гео-объектов
Различные варианты названия гео-объектов
Поддержка множества подписчиков
Нет единой базы гео-объектов
Различные варианты названия гео-объектов
Слайд 6Архитектура
Распределённая система
База данных
Гео-объекты, альтернативные названия
Исторические данные новостных потоков
Кластеризация системы
Горизонтальная – дополнительные
«ноды»
Вертикальная – наращивание мощности сервера
Вертикальная – наращивание мощности сервера
Слайд 8Определение гео-объектов по маске
Пример:
Ключевые слова для поиска:
Маска:
Результат поиска:
В честь для факультета
ВМК, студенческий парад прошёл от метро Университет до улицы Лебедева
улица, площадь, проспект, набережная, бульвар, просек, переулок, шоссе, аллея, тупик, холм, проезд, район, метро
(.*?) (улиц*|ул\.) (.*?) = все словосочетания, в которых встречается слово «улица», либо «ул.»
Метро Университет, улица Лебедева
Слайд 9Определение гео-объектов по словарю
Пример с предлогом:
Без предлога:
Маска:
Результат:
Неглинная за последние 10 лет
очень сильно изменилась
([А-Я]{1}[а-я]*) = все слова, начинающиеся с заглавной буквы
На Тверской стояли десятки военных машин, ожидая команды начала парада
Тверской, Неглинная
Слайд 10Заключение
Реализована система, позволяющая:
Определять около 90% гео-объектов
Скорость обработки текста ~ 10KB/s (на
1 узле)
Адрес проекта: geo-rss-demo.appspot.com
Дальнейшее развитие
Поиск по области
История новостей в заданной области
Адрес проекта: geo-rss-demo.appspot.com
Дальнейшее развитие
Поиск по области
История новостей в заданной области
