밑시딥 - 시그모이드 함수(Sigmoid function)

 

 

 

exp(-x)는 e에 마이너스 x 제곱을 의미합니다. e는 자연상수입니다.

 

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

 

그래프는 엄청 복잡해보이지만 막상 코드로는 별로 복잡하진 않습니다.

 

x = np.arrange(-5.0, 5.0, 0.1)
y = sigmoid(x)

plt.plot(x, y)
plt.ylim(-0.1, 1.1)
plt.show()

 

x축은 -5부터 5까지 0.1 단위로 표시하고  y축은 -0.1부터 1.1까지 표시합니다.

책에서 시그모이드 함수와 계단 함수를 비교하면서 설명하고 있습니다.

 

1. 우선 매끈함에 있어 차이가 있습니다.

 

계단 함수는 0 혹은 1의 값만 출력하는 반면 시그모이드 함수는 실수(0.731, 0.880 등등)를 돌려줍니다.

 

이 부분은 신경망 학습에서 매우 중요한 역할을 하게 됩니다.

 

2. 둘 다 입력이 작을때는 출력이 0에 가깝고 커지면 출력이 1에 가까워집니다.(계단 함수는 1이 된다.)

 

이 특성으로 인해 두 함수의 출력은 0 -1 사이의 값만 가집니다.

 

3. 둘다 비선형 함수로 신경망을 깊게 할 수 있습니다.

 

선형 함수를 사용하면 신경망 층을 깊게 하는 의미가 사라집니다.

 

왜 일까요?

 

간단히 설명하면 선형 함수를 이용하게 되면 아무리 층을 깊게 쌓더라도 한 층을 쌓은 것과 같은 의미를 가지게 되기 때문입니다.

 

y =  cx 나 y  = c * c * c * x나 사실상 동일하게 표현할 수 있기 때문입니다.

 

 

+

 

선형 함수 : 출력이 입력의 상수배만큼 변하는 함수, y = ax + b 형태(결국 직선)

 

+

reniew.github.io/12/

딥러닝에서 사용하는 활성화함수

시그모이드에 대한 책 이상의 내용을 담고 있는 글입니다.

 

다른 활성화 함수도 있으니 한번 참고해보시면 좋을 것 같습니다.

 

www.youtube.com/watch?v=ELArhsyt4MA

 

그냥 자연상수가 무엇인가 궁금해서 검색해보다가 찾은 영상입니다. 굉장히 쉽게 설명해줍니다.

 

m.blog.naver.com/PostView.nhn?blogId=jamduino&logNo=220957358584&proxyReferer=https:%2F%2Fwww.google.com%2F

[기초 지식] 자연로그의 e란? (자연로그, 자연상수 e의 정의)

영상과 비슷한 예시를 들며 설명해줍니다.

 

자연상수 자체가 엄청 중요한 내용은 아니지만 알아두면 좋을 것 같아 찾아봤습니다.

 

 

gsmesie692.tistory.com/94

컴퓨터에서의 실수 표현: 고정소수점 vs 부동소수점

전부터 궁금하던 내용인데 아직도 이해를 못했습니다.

 

이해하고 싶으신 분들은 한번 참고해보면 좋을것 같습니다.