Слайд 1Количество информации как мера уменьшения неопределённости знания
19.09.14
Слайд 2Количество информации
За единицу количества информации принимается такое количество информации, которое содержится
в информационном сообщении, уменьшающем неопределенность знания в два раза. Такая единица названа бит.
Слайд 3Единицы измерения информации
Бит – минимальная единица измерения количества информации.
1 байт =
8 бит
1 кбайт = 210=1024 байт
1 Мбайт = 210=1024 кбайт
1 Гбайт = 210=1024 Мбайт
1 Тбайт = 210=1024 Гбайт
Байт – единица количества информации, являющаяся наименьшей единицей памяти компьютера и равная 8 битам.
Слайд 4Количество информации
Существует несколько подходов к измерению информации. Выделим два из них:
Алфавитный (технический) подход
Вероятностный подход
Слайд 5Алфавитный (технический) подход
В технике информацией считается любая последовательность символов или знаков.
Для
определения количества такой информации подсчитывают длину такой последовательности (сообщения) без учета ее содержательной части.
Слайд 6Алфавитный (технический) подход
Информационным объемом сообщения называется количество двоичных символов, которое используется
для кодирования этого сообщения.
Слайд 7Алфавитный (технический) подход
Пусть М – количество символов (мощность) алфавита, в котором
записано сообщение, N – количество символов в записи сообщения. Тогда информационный объем сообщения:
I=N*log2M
Слайд 8Алфавитный (технический) подход
Пример: Определите информационный объем слова «разряд», если считать, что
алфавит состоит из 10 букв.
Решение:
Длина сообщения = 6
Мощность алфавита равна = 10
По формуле находим I=6*log210
I=6*log216=6*4=24 бита.
Слайд 9Алфавитный (технический) подход
Пример 2: Какое количество информации необходимо для кодирования каждого
символа из 256 символов некоторого алфавита.
I=N*log2M
Слайд 10Кодирование информации
Кодирование – процесс представления информации из одной формы в другую,
с помощью условных знаков.
Код – формальные правила преобразования символов одного исходного алфавита в символы второго конечного алфавита.
Слайд 11Вероятностный подход
Количество информации можно рассматривать как меру уменьшения неопределенности знания при
получении информационных сообщений.
Если события равновероятны, то количество информации определяется по формуле:
или N=2i
N – количество информационных сообщений.
i – количество информации, которое несет полученное сообщение
Слайд 12Вероятностный подход
Пример 1: В корзине лежат 8 мячей разного цвета (красный,
синий, желтый, зеленый, оранжевый, фиолетовый, белый, коричневый). Какое количество информации несёт в себе сообщение о том, что из корзины будет вынут мяч красного цвета?
Слайд 13Вероятностный подход
Пусть N – общее число возможных исходов какого-то процесса, и
из них интересующее нас событие может пройти k раз. Тогда вероятность этого события равна K/N.
Количество информации для событий с различными вероятностями определяется по формуле:
i=-
i – количество информации, N – количество возможных событий; pi – вероятности отдельных событий.
Слайд 14Вероятностный подход
Пример 2: В корзине лежат 16 мячей разного цвета: 4
красных, 8 синих, 4 желтых. Какое количество информации несёт в себе сообщение о том, что из корзины извлечён один мяч?
Слайд 15Количество информации, содержащейся в алфавитном сообщении
Чтобы определить количество информации содержащейся в
сообщении, записанном в некотором алфавите, следует количество информации, которое несёт в себе один символ этого алфавита, умножить на число символов в сообщении.
N=2i
Слайд 16Количество информации, содержащейся в алфавитном сообщении
Пример 3: Известно, что объем сообщения
составляет 3 Кб. Определите мощность алфавита, с помощью которого записано это сообщение, если известно, что оно содержит 3072 символа.
N=2i (1)
Решение:
Объём сообщения равен 3 Кб=3*1024*8 бит=34576 бит.
Тогда 1 символ равен 24576/3072=3.
Находим кол-во символов по формуле 1: N=23=8
Слайд 17Домашнее задание:
Сколько бит информации несёт сообщение о том, что из колоды,
содержащей 32 карты, достали даму треф?
Какое количество информации несёт сообщение о том, что при бросании двух игральных кубиков в сумме выпало 3?
1.Log2 36 2. log2 18 3. log2 12 4. log2 9