[DL] 범용 근사 정리(Universal Approximation Theorem)

범용 근사 정리

인공 신경망이 충분한 수의 뉴런을 가진 은닉층을 하나만 가지고 있더라도, 어떤 연속적인 함수든 원하는 수준의 정확도로 근사할 수 있다는 것을 의미하는 이론이다.

 

하나의 은닉층을 가진 순방향 신경망이 비선형 활성화 함수를 사용한다면, 이 신경망은 임의의 연속 함수를 임의의 정확도로 근사할 수 있다. 이는 신경망의 뉴런 수가 충분히 많을 때 가능하다.

 

이론적으로, 단일 은닉층을 가진 신경망도 충분한 뉴런을 가지고 있다면 매우 복잡한 함수도 근사할 수 있다. 하지만, 실제로는 여러 층을 가진 심층 신경망(Deep Neural Network)을 사용하는 것이 학습과 일반화 측면에서 더 효율적이다.

너무 많은 뉴런을 사용하면 계산 복잡도가 증가하고, 과적합 문제가 발생할 수 있다. 따라서, 신경망의 깊이와 너비는 실용적인 측면에서 최적화되어야 한다.