Принцип разделения источника и канала
Роль кодирования канала:
Борьба с ошибками в канале для надежной передачи данных
- Главная
- Разное
- Дизайн
- Бизнес и предпринимательство
- Аналитика
- Образование
- Развлечения
- Красота и здоровье
- Финансы
- Государство
- Путешествия
- Спорт
- Недвижимость
- Армия
- Графика
- Культурология
- Еда и кулинария
- Лингвистика
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Детские презентации
- Информатика
- История
- Литература
- Маркетинг
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
Принцип разделения источника и канала. Проверка формулы Шеннона презентация
Содержание
- 1. Принцип разделения источника и канала. Проверка формулы Шеннона
- 2. Дискретный источник Дискретный источник характеризуется с помощью
- 3. Вычисление неопределенности события вероятность события x
- 4. Взвешенная информация простого события 0 1 0
- 5. p=1/e Максимум взвешенной информации
- 6. Формула Шеннона для энтропии источника H(X) – разумная мера ожидаемого количества информации
- 7. Пример (бернуллиевский источник) Бросание монеты с вероятностью выпадания орла p (0
- 8. Энтропия бернуллиевского источника
- 9. Некоторые свойства H(X) Неотрицательная Максимум достигается при равномерном распределении
- 10. Какая польза от H(X)? Первая теорема Шеннона
- 11. Избыточность кода источника Теоретическая граница Практическое значение
- 12. Проверка формулы Шеннона. Игра в числа
- 13. Проверка формулы Шеннона. Игра в «Морской бой» (упрощенная)
- 14. Лотерея с «неправильной» монетой Номера билетов: 0000…………….00
- 15. Литература для чтения М.Вернер. Основы кодирования. Глава 2, Глава 3.
Дискретный источник Дискретный источник характеризуется с помощью случайной переменной X, при этом задается алфавит A(возможные исходы) и вероятностное распределение P символов алфавита Примеры Бросание монеты: P(X=О)=P(X=Р)=1/2 Бросание кубика: P(X=k)=1/6, k=1,2,3,4,5,6 Раздача
Слайд 1Роль кодирования источника(сжатие данных):
Облегчение хранения и передачи путем устранения
избыточности
источника
Слайд 2Дискретный источник
Дискретный источник характеризуется с помощью случайной переменной X, при этом
задается алфавит A(возможные исходы) и вероятностное распределение P символов алфавита
Примеры
Бросание монеты: P(X=О)=P(X=Р)=1/2
Бросание кубика: P(X=k)=1/6, k=1,2,3,4,5,6
Раздача карт: P(X=П)=P(X=Ч)=P(X=Т)=P(X=Б)=1/4
Примеры
Бросание монеты: P(X=О)=P(X=Р)=1/2
Бросание кубика: P(X=k)=1/6, k=1,2,3,4,5,6
Раздача карт: P(X=П)=P(X=Ч)=P(X=Т)=P(X=Б)=1/4
Слайд 3Вычисление неопределенности события
вероятность события x
1
0
0
∞
примечания
должно произойти
(нет неопределнности)
навряд ли произойдет
(бесконечное
количество неопределенности)
Информация простого события
h(p)- разумная мера количества информации
Слайд 4Взвешенная информация простого события
0
1
0
∞
1/2
1
0
0
1/2
При возрастании p от 0 до 1, взвешенная
информация
Сначала возрастает, а затем убывает
Слайд 7Пример (бернуллиевский источник)
Бросание монеты с вероятностью выпадания орла p (0
случаи:
При p стремящемся к нулю, H(X) стремится к 0 бит → наибольшее сжатие
При p стремящемся к половине, H(X) стремится к 1 бит → никакое сжатие не поможет
Слайд 10Какая польза от H(X)?
Первая теорема Шеннона (Шеннона-Хартли)
Для дискретного источника без памяти
X, его
энтропия H(X) определяет минимальную среднюю
длину кода, необходимую для кодирования
источника
энтропия H(X) определяет минимальную среднюю
длину кода, необходимую для кодирования
источника
Грубая оценка: результаты N исходов источника могут быть сжаты до NH(X) бит
Слайд 14Лотерея с «неправильной» монетой
Номера билетов:
0000…………….00
0000…………….01
0000…………….10
…………………….
1111…………….11
Стоимость билетов –
100 руб.
Выигрышный номер определяется
подбрасыванием N=1000 раз «неправильной» монеты: p(x=орел)=0,1; p(x=решка)=0,9
Выигрыш – 100 000 000 000руб.
Выигрыш – 100 000 000 000руб.
Вопрос 1. Если Вам нужно выбрать только один билет,
который из номеров Вы выберете?
Вопрос 2. Чтобы гарантировать 99% успеха, сколько
билетов надо купить и какие из билетов?
