[ 딥러닝 ] 활성화 함수

1. 활성화 함수(Activation Functions)

• 신경망의 성능을 향상시키기 위해 사용
• 선형 함수는 입력값과 가중치를 곱한 결과를 그대로 출력하기 때문에 신경망에서 여러 개의 선형 활성화 함수를 사용한다면 최종 출력값은 입력값과 가중치의 선형 조합으로 표현되므로 이는 입력 데이터의 비선형 관계를 표현할 수 없음
• 신경망이 입력 데이터의 비선형 관계를 잘 학습할 수 있도록 하기 위해서 비선형 활성화 함수를 사용

import numpy as np
import matplotlib.pyplot as plt

1-1. 시그모이드

def sigmoid(x):
  return 1/(1+np.exp(-x))

x= np.arange(-5.0,5.0,0.1)
y=sigmoid(x)

plt.plot(x,y)
plt.plot([0,0],[1.0,0.0],':') #가운데 점선 추가
plt.title('Sigmoid Function')
plt.show()

# 결과

1-2. 하이퍼볼릭탄젠트

x = np.arange(-5.0, 5.0, 0.1)
y = np.tanh(x)
plt.plot(x, y)
plt.plot([0,0], [1.0, -1.0], ':') # 가운데 점선 추가
plt.axhline(y=0, color='orange', linestyle='--')
plt.title('Tanh Function')
plt.show()

# 결과

1-3. 렐루(Relu)

def relu(x):
    return np.maximum(0, x)
x = np.arange(-5.0, 5.0, 0.1)
y = relu(x)
plt.plot(x, y)
plt.plot([0,0], [5.0, 0.0], ':') # 가운데 점선 추가
plt.title('Relu Function')
plt.show()

# 결과

1-4. 소프트맥스(SoftMax)

x = np.arange(-5.0, 5.0, 0.1)
y = np.exp(x)/np.sum(np.exp(x))

plt.plot(x, y)
plt.title('Softmax Function')
plt.show()

# 결과