[DL] 순방향 신경망(Feedforward Neural Network)

순방향 신경망

순방향 신경망은 가장 기본적인 형태의 인공 신경망이다. 입력층, 은닉층, 출력층으로 구분되며 입, 출력층은 각각 하나씩 존재하지만 입력층과 출력층 사이에 있는 은닉층은 문제의 복잡도에 따라 가변적으로 구성된다. 계층이 2~3개 정도로 구성되어 있으면 얕은 신경망(Shallow Neural Network), 그 이상인 경우에는 깊은 신경망(Deep Neural Network, DNN)이라고 한다.

 

1. 입력층 : 외부로부터 입력 데이터를 받아들임.

2. 은닉층 : 데이터의 특징을 추출.

3. 출력층 : 추출된 특징을 기반으로 추론한 최종 결과 출력.

 

순방향 신경망은 모든 계층이 완전 연결 계층(Fully Connected Layer)로 구성된다. 각 계층에 속한 모든 뉴런들이 이전 계층의 모든 뉴런과 연결되어 있는 구조를 의미하고, 이러한 구조로 인해 같은 입력 데이터로부터 각 뉴런에서는 다른 특징을 추출하는 것이 가능하다. 그러므로, 특징이 많은 데이터일수록 뉴런의 개수가 충분해야 데이터에 포함되어 있는 특징들을 모두 추출할 수 있다.

 

데이터에 내제된 특징을 추출하기 위해서는 가중 합산과 활성화 함수의 두 단계를 거치게 된다.

가중 합산은 추출할 특징에 중요한 영향을 미치는 데이터를 선택하는 과정이고, 특징 추출에 영향이 큰 데이터일수록 큰 가중치 값을 가지고, 반대의 경우에는 작은 가중치 값을 가진다.

활성화 함수는 원하는 형태로 특징을 추론하기 위해 데이터를 비선형적으로 변환하는 과정이다(ReLU 등).