Истоком этого определения явился знаменитый тест, предложенный британским математиком и одним из первых исследователей в области компьютерных наук Аланом Тьюрингом. В данном тесте экспериментатор пытается определить, является ли человеком или компьютерной программой то "лицо", с которым он обменивается сообщениями с помощью дистанционной клавиатуры.
Искусственный интеллект
MNIST - Mixed National Institute of
Standards and Technology
https://en.wikipedia.org/wiki/MNIST_database
http://yann.lecun.com/exdb/mnist/
Нейронные сети
Нейронные сети
Простая задача распознавания
Нейронные сети
x1
x2
x3
y
w1
w2
w3
y =
0 если X W + b ≤ 0
1 если X W + b > 0
x1
x2
x3
y
w1
w2
w3
b
.
.
x1
x2
-2
3
-2
00 0x(-2) + 0x(-2) + 3 = 3 > 0 y = 1
01 0x(-2) + 1x(-2) + 3 = 1 > 0 y = 1
10 1x(-2) + 0x(-2) + 3 = 1 > 0 y = 1
11 1x(-2) + 1x(-2) + 3 = -1 < 0 y = 0
y
http://neuralnetworksanddeeplearning.com/movies/create_step_function.mp4
Нейронные сети
Мозг
http://habrahabr.ru/post/108483/
Нейронные сети
Нейрон
float s = 0;
for(int i = 0; i < n; i++) {
s += x[i]*w[i];
}
Состояние нейрона
Нейрон
Чаще всего, используется логистическая функция или функция S-образного вида (сигмоид):
Одна из причин, по которой сигмоид используется в нейронных сетях, это простое выражение его производной через саму функцию (которое позволило существенно сократить вычислительную сложность метода обратного распространения ошибки, сделав его применимым на практике):
f '(s) = f(s)x(1 – f(s))
f(s) = 1/(1 + e-as)
Нейрон
Классический пример задачи, которая не по зубам однослойному перцептрону — исключающее ИЛИ (XOR или сумма по mod2)
TRUE
FALSE
AND
OR
XOR
Нейрон
Персептрон
Три фазы работы нейронной сети при обучении:
Работа нейронной сети
Работа нейронной сети
Методы факторного анализа:
метод главных компонент;
корреляционный анализ;
метод максимального правдоподобия.
Факторный анализ
min
Карл Пирсон - 1901 год
Даны точки Pi на плоскости,
рi – расстояние от точки Pi
до прямой АВ.
Отыскать прямую АВ, чтобы:
Факторный анализ
http://www.ievbras.ru/ecostat/Kiril/Library/Book1/Content375/Content375.htm
∈
⊂
Усреднение значений дает математическое ожидание случайной величины X, обозначаемое, как E(X). Если мы отцентрируем данные так, чтобы E(X)=0, то облако точек будет сконцентрировано вокруг начала координат.
Главная компонента определяется единичным вектором, выходящим из начала координат и совпадающим с направлением, вдоль которого дисперсия данных будет максимальной.
Фактор L0
Факторный анализ
1,2
1,3
1,6
3,4
5,2
5,6
Кандидаты
на главные компоненты
Факторный анализ
http://habrahabr.ru/post/139899/
Факторный анализ изображений
Факторный анализ
Среда разработки RStudio. Пакет neuralnet.
Пособие «Моделирование нейронных сетей на R»
X1 = (00100011000010000100001000010001110)
Цель: добиться надежного распознавания искаженных цифр.
Практика
Персептроны
Сверточные
сети
Сети
Кохонена
Сети
RBF
Соревновательные сети
Сети
Хопфильда
ART
сети
Package ‘darch’
This package is for generating neural networks with many layers (deep architectures) and train them.
Implement some deep learning architectures and neural network algorithms, including BP,RBM,DBN,Deep autoencoder and so on.
R scripting functionality for H2O, the open source
math engine for big data that computes parallel distributed machine learning algorithms such as generalized linear models, gradient boosting machines, random forests, and neural networks (deep learning) within various cluster environments.
Package ‘deepnet’
Package ‘h2o’
Нейронные сети
Var1 Var2 Var3 AND OR
1 0 0 0 0 0
2 1 0 0 0 1
3 0 1 0 0 1
4 1 1 0 0 1
5 0 0 1 0 1
6 1 0 1 0 1
7 0 1 1 0 1
8 1 1 1 1 1
Нейронные сети
Нейронные сети
Нейронные сети
Пакет предоставляет средства визуализации и анализа, чтобы помочь в интерпретации нейросетевых моделей. Функции пакета позволяют строить графики, давать количественную оценку важности входных переменных, проводит анализ чувствительности, а также получать простой список весов модели.
wts_in <- c(13.12, 1.49, 0.16, -0.11, -0.19, -0.16, 0.56, -0.52, 0.81)
struct <- c(2, 2, 1) #two inputs, two hidden, one output
garson(wts_in, struct)
Нейронные сети
CNN
Сверточная нейронная сеть
CNN
CNN
Каждый нейрон локального рецептивного региона связывается с одним нейроном скрытого слоя. Набор весовых коэффициентов образует фильтр.
Локальные рецептивные поля
Сверточная нейронная сеть
фильтрация
Входные нейроны
Входные нейроны
Скрытые нейроны
CNN
Карта признаков
Исходное изображение
(или карта признаков)
Сверточные
признаки
(convolved features)
x1
x0
x1
x0
x1
x0
x1
x0
x1
Фильтр
CNN
stride length
длина шага = 1
Сверточная нейронная сеть
формирование карты признаков
Входные нейроны
Входные нейроны
Первый скрытый слой
Первый скрытый слой
Фильтр не сканирует!
Фильтр – это связи с весами рецептивного региона анализируемого слоя с нейроном сверточного признака скрытого слоя.
Каждый элемент (признак) карты признаков сформирован своим единым для карты фильтром.
Рецептивный регион
Сверточный признак
Карта признаков
CNN
Сверточная нейронная сеть
формирование карт признаков
28 х 28 входных нейронов
Первый скрытый слой: 3 х 24 х 24 нейронов
CNN
Большое преимущество использования фиксированного набора весовых коэффициентов – существенное снижение числа параметров CNN.
Например, для каждой карты признаков имеем:
5 х 5 = 25
20 х 25 = 500
параметров сверточного слоя.
Сравним, полносвязный входной слой:
28 х 28 = 784
20 х 784 = 15680
число параметров больше чем в 30 раз.
Сверточная нейронная сеть
пример карты признаков
CNN
CNN
Поскольку сверточный слой включает 24×24 нейрона, после операции max-pooling получится 12×12 нейронов объединяющего слоя.
Сверточная нейронная сеть
метод max pooling
CNN
Max pool с фильтром 2х2
и шагом 2
В методе L2 pooling вместо используется квадратный корень из суммы квадратов активностей нейронов 2×2 региона. На практике широко используются оба метода.
Сверточная нейронная сеть
метод max pooling и L2 pooling
CNN
L2 pool с фильтром 2х2
и шагом 2
11.5
4.2
5.1
7.9
MNIST
Простейшая CNN
фильтрация + уплотнение + распознавание
0
1
2
3
4
5
6
7
8
9
выходные
нейроны
CNN
CNN
ILSVRC - ImageNet Large Scale Visual Recognition Challenge
задача распознавания (классификации)
задача обнаружения
http://www.image-net.org/challenges/LSVRC/ - 2010, 2011, 2012, 2013, 2014, 2015
ILSVRC
Практика CNN
Ученые из Ратгерского университета (США, штат Нью-Джерси) научили нейронную сеть классифицировать произведения мирового искусства по жанрам, стилям и художникам.
Практика CNN
"Это стало воплощением нашего видения проекта DARPA SyNAPSE, соединившим в себе нанотехнологии, нейробиологию и суперкомпьютеры для создания основы новой когнитивной компьютерной архитектуры, которая дополнит существующие сегодня фон-Неймановские машины"
"Вычисления (нейроны), память (синапсы) и сообщения (аксоны, дендриты), математически абстрагированы от биологических подробностей, для достижения максимизации функциональности (практичность, применяемость) и минимизации расходов (энергия, пространство, простой)"
Искусственный интеллект
Оценка производительности
Каждый чип содержит 256 нейронов, 1024 аксона и 256х1024 синапса. В рекордной симуляции была смоделирована работа 2084 миллиардов таких ядер.
http://habrahabr.ru/company/ibm/blog/159365/
Нейросемантическое ядро
Если не удалось найти и скачать презентацию, Вы можете заказать его на нашем сайте. Мы постараемся найти нужный Вам материал и отправим по электронной почте. Не стесняйтесь обращаться к нам, если у вас возникли вопросы или пожелания:
Email: Нажмите что бы посмотреть