ИСКУССТВЕННЫЕ

НЕЙРОННЫЕ СЕТИ

ARTIFICIAL NEURAL

NETWORKS

ПРИНЦИП РАБОТЫ.

МАШИННОЕ ОБУЧЕНИЕ

ПРИМЕНЕНИЕ ИСКУССТВЕННЫХ

НЕЙРОННЫХ СЕТЕЙ

НЕРВНАЯ СИСТЕМА

БИОЛОГИЧЕСКИЙ

НЕЙРОН

Дендриты (dendrites) – принимают

сигналы;

Аксон (axon) – передаёт сигнал;

Синапс (synapse) – место

соединения двух нейронов.

ХИМИЧЕСКИЙ СИНАПС (CHEMICAL SYNAPSE)

ИСКУССТВЕННАЯ НЕЙРОННАЯ СЕТЬ

СХЕМАТИЧНОЕ ИЗОБРАЖЕНИЕ ИСКУССТВЕННОГО

НЕЙРОНА (ЭЛЕМЕНТА ИНС)

Input data

Output data

ВХОДНОЙ НЕЙРОН (INPUT NEURON)

НЕЙРОН СКРЫТОГО СЛОЯ

(HIDDEN NEURON)

МАТЕМАТИЧЕСКАЯ МОДЕЛЬ ИСКУССТВЕННОГО

НЕЙРОНА (ЭЛЕМЕНТА ИНС)

Уоррен Мак-Каллок

Уолтер Питтс







m

j

kj

kj

k

x

v

1



)

(

k

k

k

b

v

y







МАТРИЦА ВЕСОВ.

СТРУКТУРА СВЯЗЕЙ

Каждый элемент в матрице

представляет величину

весового коэффициента для

связи, идущей от элемента к

элементу .





































0

,

0

5

,

1

0

,

1

2

,

0

7

,

0

8

,

0

0

,

0

6

,

0

3

,

1

0

,

0

0

,

0

1

,

2

0

,

0

1

,

3

8

,

1

0

,

0

3

,

1

24





МНОГОСЛОЙНАЯ ИНС































1

,

0

.........

.......

.......

..........

..........

.......

..........

..........

6

,

0

5

,

2

3

,

1

1

W

















4

,

0

0

,

2

......

.......

2

W

ФУНКЦИЯ АКТИВАЦИИ (ACTIVATION

FUNCTION). ТОЖДЕСТВЕННАЯ ФУНКЦИЯ

ПОРОГОВАЯ ФУНКЦИЯ

















k

k

k

v

если

v

если

v

f

,

0

,

1

)

(

СИГМОИДАЛЬНАЯ ФУНКЦИЯ

)

exp(

1

1

)

(

k

k

v

v

f







2,71828



e

ТИПЫ НЕЙРОННЫХ СЕТЕЙ

(a)Рекуррентная нейронная сеть

(b) Сеть с прямым распространением сигнала

РЕКУРРЕНТНАЯ НЕЙРОННАЯ СЕТЬ ВО

ВРЕМЕНИ

СЕТЬ С ПРЯМЫМ РАСПРОСТРАНЕНИЕМ, РАЗВЁРНУТАЯ ВО ВРЕМЕНИ

ОБУЧЕНИЕ НЕЙРОННОЙ СЕТИ



это подбор весов , соответствующих входам,

для того, чтобы сеть решала поставленную задачу.



ВИДЫ ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ



С учителем (Supervised machine learning): заранее

имеется набор сигналов, подаваемых на вход

нейронной сети, для которых известен

правильный ответ;



Без учителя (Unsupervised machine learning):

правильный ответ неизвестен, используется для

выявления структурных различий в данных;



Обучение с подкреплением (Reinforcement

machine learning): нейронная сеть (агент)

обучается взаимодействуя с какой-либо средой.

ПЕРЦЕПТРОН

Frank Rosenblatt (1928 – 1971)

ОБРАТНОЕ РАСПРОСТРАНЕНИЕ ОШИБКИ

(BACKPROPAGATION)

СРЕДНЕКВАДРАТИЧНАЯ МЕРА ОШИБКИ









M

j

j

j

y

v

1

2

)

(

2

1



МИНИМИЗАЦИЯ ЗНАЧЕНИЯ ОШИБКИ

МЕТОД ГРАДИЕНТНОГО СПУСКА

– параметр

скорости

обучения

.

Изменение весов (дельта-парвило)

E – error (ошибка)











M

j

j

j

i

j

i

i

y

v

x

1

)

(









ОБРАТНОЕ РАСПРОСТРАНЕНИЕ ОШИБКИ





hm

m

i

h

i







РЕАЛИЗАЦИЯ НЕЙРОННЫХ СЕТЕЙ

БИБЛИОТЕКИ ОБУЧЕНИЯ

ДИСТРИБУТИВ ДЛЯ PYTHON

РАСПОЗНАВАНИЕ РУКОПИСНЫХ ЦИФР

Набор данных MNIST

ANACONDA PROMPT