Neural Network - Python

신경망(neural network)에서 backpropagation을 이용해서 학습 하는것은 input을 이용해서 output을 예측하려는 것이다.

Inputs			Output
0	0	1	0
1	1	1	1
1	0	1	1
0	1	1	0

3개열의 input을 이용해서 output을 예측하는 것을 이용해 보자.

2 Layer Neural Network:

import numpy as np

def sigmo(x, deriv=False):
    if(deriv == True):
        return x*(1-x)
    return 1/(1+np.exp(-x))


X = np.array([[0,0,1],

             [1,1,1],

             [1,0,1],

             [0,1,1]])


y = np.array([[0,1,1,0]]).T

np.random.seed(1)

syn0 = np.random.random_sample((3,1))
for itr in xrange(10000):

    l0 = X
    l1 = sigmo(np.dot(l0, syn0))

    l1_error = y - l1

    l1_delta = l1_error * sigmo(l1,True)

    syn0 += np.dot(l0.T,l1_delta)

print "Output after training :"

print l1

Output after training :

[[ 0.00966449]
 [ 0.99211957]
 [ 0.99358898]
 [ 0.00786506]]

Variable	Definition
X	input dataset 행렬
y	Output dataset 행렬
l0	첫번째 Layer, input data에 해당
l1	두번째 Layer, hidden layer라고 부르는 것
syn0	시냅스0, weights값의 첫번째 Layer, l0과 l1을 연결시켜 줌
*	두 벡터 사이즈가 동일하다면, 벡터의 원소들 간에서 1대1 연산을 하여 결과값도 동일한 벡터 사이즈를 갖는 곱셈 연산
-	두 벡터 사이즈가 동일하다면, 벡터의 원소들 간에서 1대1 연산을 하여 결과값도 동일한 벡터 사이즈를 갖는 뺄셈 연산
x.dot(y)	x와 y가 벡터라면, 벡터의 곱연산. 만약 둘다 행렬이라면, 행렬의 곱. 만약 하나만 행렬이라면, 벡터와 행렬의 곱

위의 결과 "Output after training"을 보면, 뭔가 작동하여 결과가 나왔다. 아래의 설명을 보기 전에 직관적으로 코드가 어떻게 구성되어 있는지, 사이사이의 값들은 어떻게 변하는지 직접 실행해 보길 바란다.

예를 들어,

print y 

print syn0

print l1

print l1_error 

등의 값을 확인해 보기 바란다. xrange(1), xrange(10) 등의 값으로 반복 횟수를 줄여서도 확인해 보기 바란다.

code 설명 : 

def sigmo(x, deriv=False):  

--> sigmoid 함수를 정의한다. Sigmoid 함수는 0과 1사이의 값이다. 이 값은 확률값을 구하는데 사용된다. (누적확률분포(여기서는 Sigmoid 함수)와 uniform 분표(여기서는 y 값(0~1사이)을 이용하면 확률 분포를 컴퓨터를 이용하여 구현할 수 있다. )

if(deriv == True):

    return x*(1-x)
--> sigmoid 를 미분하면 나오는 값 (deviv == True 일때)

return 1/(1+np.exp(-x))
--> sigmoid 함수 값

X = np.array([[0,0,1],  
                 [1,1,1],     
                 [1,0,1],
                 [0,1,1]]) 

--> 3개의 input nodes가 있는, 4개의 training 샘플을 초기화, 행렬의 형태로 보면, 4 X 3 행렬

y = np.array([[0,1,1,0]]).T  
--> output. numpy의 transpose(행렬 변환)를 이용하여, 1 X 4 행렬(벡터)를 4 X 1 행렬(벡터)로 변환 시킴.
input과 output을 연결시켜줄 스냅시스는 3 X 4 행렬이어야 하는 것을 알 수 있다.

np.random.seed(1)
--> Rnadom number 생성을 위한 seed를 1로 고정 시킴. seed값을 변경하지 않으면, 항상 동일한 Random number가 성생됨. (컴퓨터의 Random number는 일정한 수식에 의해서 생성된다. 이 수식에 입력되는 초기 값을 seed라고 한다. 즉 seed 값이 같으면, 동일한 Random number가 생성되는 것이다.)

syn0 = np.random.random_sample((3,1))
--> random 함수는 [0.0, 1.0)의 범위에서 생성되는 uniform 분포이다. 그 값을 3 X 1 형태의 array 에 넣어 준다. 이것은 weight matrix이다. 우리의 간단한 예제는 3개의 input과 1개의 output이 있다. 또한 4X3(input)행렬과 4X1(output)행렬의 연결시켜 주기 위해서는 3X1(syn0)이 필요한 것이다. 우리는 이것을 시냅스0라고 부를 것이다.
이 간단한 예제에서 neural network은 syn0이다. l0(layer0), l1(layer1)은 input과 output값이고, syn0만 hidden layer로써, 모든 learning이 저장된다. (참고, backpropagation)

 l1 = sigmo(np.dot(l0, syn0)) 
--> for 반복문 안에서, 먼저 l0와 syn0 를 행렬 dot 연산을 한다. 위에서 살펴본 것처럼, l0 = X이므로, np.dot(l0, syn0)의 결과는  (4X3) X (3X1) 형태의 형렬 연상이다. 결과는 4X1 형태의 행렬이 된다. 즉 4X1형태의 연산 결과가 sigmo 함수로 전달되고, 그 결과가 l1에 저장된다. sigmo함수 선언에서 deriv==False로 줘놨기 때문에 기본적으로 False값이 전달된다.

l1_error = y - l1
--> y(4X1)와 l1(4X1)을 동일한 형식을 갖고 있으므로, 행렬의 뺄셈을 할 수 있다. 그 차이값(y와 l1의 차이)을 l1_error로 저장하였고, 그 값다 4X1 행렬 형태이다. learning(예측)결과와 output(실제) 값을 비교하여 error값을 계산한다.

l1_delta = l1_error * sigmo(l1,True)
syn0 += np.dot(l0.T,l1_delta)

--> 아래 결과를 보면, for 반복문이 진행되면서, l1, l1_error, sigmo(l1, True), l1_delta 값이 어떻게 변해 가는지 확인할 수 있다.

0 -l1 : 예측값 (for문의 0번째 iteration)
[[ 0.50002859]
 [ 0.75721315]
 [ 0.60279781]
 [ 0.67270365]]
l1_error : (y - l1)의 결과, 실제값과 예측값의 차이
[[-0.50002859]
 [ 0.24278685]
 [ 0.39720219]
 [-0.67270365]]
sigmo(l1,True) :  위의 l1에서의 sigmoid 함수의 기울기
[[ 0.25      ]
 [ 0.1838414 ]
 [ 0.23943261]
 [ 0.22017345]]
l1_delta : l1_error에  sigmo(l1,True) 를 곱한 값
[[-0.12500715]
 [ 0.04463427]
 [ 0.09510316]
 [-0.14811148]]
syn0 :
[[ 0.55675944]
 [ 0.61684728]
 [-0.13326682]]
1 -l1 : (for문의 1번째 iteration)
[[ 0.46673252]
 [ 0.73891558]
 [ 0.6043187 ]
 [ 0.61859299]]
l1_error
[[-0.46673252]
 [ 0.26108442]
 [ 0.3956813 ]
 [-0.61859299]]
sigmo(l1,True) :
[[ 0.24889327]
 [ 0.19291934]
 [ 0.23911761]
 [ 0.2359357 ]]
l1_delta
[[-0.11616658]
 [ 0.05036823]
 [ 0.09461437]
 [-0.14594817]]
syn0
[[ 0.70174204]
 [ 0.52126735]
 [-0.25039898]]
2 -l1
[[ 0.4377253 ]
 [ 0.7256395 ]
 [ 0.61095851]
 [ 0.56730608]]
l1_error
[[-0.4377253 ]
 [ 0.2743605 ]
 [ 0.38904149]
 [-0.56730608]]
sigmo(l1,True) :
[[ 0.24612186]
 [ 0.19908682]
 [ 0.23768821]
 [ 0.24546989]]
l1_delta
[[-0.10773377]
 [ 0.05462156]
 [ 0.09247057]
 [-0.13925656]]
syn0
[[ 0.84883417]
 [ 0.43663234]
 [-0.35029717]]
3 -l1
[[ 0.41331036]
 [ 0.71812285]
 [ 0.62211546]
 [ 0.5215704 ]]
l1_error
[[-0.41331036]
 [ 0.28187715]
 [ 0.37788454]
 [-0.5215704 ]]
sigmo(l1,True) :
[[ 0.24248491]
 [ 0.20242242]
 [ 0.23508781]
 [ 0.24953472]]
l1_delta
[[-0.10022152]
 [ 0.05705825]
 [ 0.08883605]
 [-0.13014992]]
syn0
[[ 0.99472848]
 [ 0.36354068]
 [-0.43477431]]

작성중,
참고 : https://iamtrask.github.io/2015/07/12/basic-python-network/