Hello COCOBALL!

이진 분류입력값에 따라 모델이 분류한 카테고리가 두 가지인 분류 알고리즘을 의미한다. True/false 를 분류하는 데 사용된다.이진 분류는 베르누이 분포에 의해서 정의된다. 로지스틱 회귀(Logistic Regression)로지스틱 회귀는 이진 분류 알고리즘 중에서 가장 대표적인 알고리즘이다.로지스틱 회귀는 선형 방정식을 기반으로 하되, 그 결과를 시그모이드 함수를 통해 0과 1 사이의 확률 값으로 변환하여 이진 분류를 수행한다. 일반적으로 입력 변수 X와 가중치 β를 사용하여 다음과 같이 예측을 수행한다.z는 선형 결합을 나타내고, 이 값을 시그모이드 함수에 적용하여 클래스 1 에 속할 확률을 계산한다.시그모이드 함수(Sigmoid Function)시그모이드 함수에 대해 알아보기 전, 오즈 비(od..

베르누이 분포베르누이 분포는 확률 이론과 통계학에서 가장 간단한 이산 확률 분포 중 하나이다. 베르누이 분포는 두 가지 가능한 결과를 가지는 시행의 확률 분포를 나타내고, 일반적으로 두 가지 결과는 성공, 실패로 정의된다.또한, 두 가지의 결과만을 가지는 시행을 베르누이 시행이라고 한다. 베르누이 분포의 정의베르누이 분포는 매개변수 p(성공 확률)로 정의된다.X를 베르누이 분포를 따르는 이산 확률 변수라고 하면, X는 1, 0의 값을 가질 수 있다.X=1일 확률은 p이고, X=0일 확률은 1-p이다.이를 수식으로 나타내면 다음과 같다. 확률 질량 함수(Probability Mass Function, PMF)(확률 질량 함수는 이산 확률 변수가 특정 값을 가질 확률을 나타내는 함수) 베르누이 분포의 확률 ..

경사 하강법최적화 알고리즘 중 하나로, 함수의 값이 낮아지는 방향으로 독립변수들의 값을 변형시키면서 함수의 최소값을 갖는 독립변수의 값을 탐색하기 위해 사용된다. 주로 기계 학습 및 딥러닝 모델의 학습 과정에서 비용 함수를 최소화하는 데 사용된다. 경사 하강법의 기본 아이디어는 함수의 기울기를 활용하여 함수 값이 가장 작은 지점으로 이동하는 것이다. 최소값을 찾기 위해 손실 함수를 미분하여 미분계수가 0인 지점을 찾는 방법을 사용할 수 있지만, 일반적으로 사용되는 함수들은 간단한 함수가 아니라 대부분 복잡하고 비선형적인 패턴을 가지는 함수이기 때문에 미분을 통해 최소값을 찾기가 어려운 경우가 많아 손실 함수의 최소값을 찾을 때 경사 하강법을 주로 사용한다.특정 위치에서의 기울기가 양수인 경우 x를 음의 ..

데이터셋의 구성 학습 데이터셋(Training Dataset)모델을 학습시키는 데 사용된다. 모델이 입력과 출력 간의 관계를 학습하여 예측을 할 수 있도록 한다. 전체 데이터셋의 대부분을 차지하며, 다양한 패턴과 예시를 포함하고 있다.검증 데이터셋(Validation Dataset)모델의 성능을 평가하고, 과대적합/과소적합 방지, 하이퍼파라미터 튜닝 및 모델 선택에 사용된다. 학습 과정 중에 모델이 얼마나 잘 일반화되고 있는지 평가하기 위해 사용된다.테스트 데이터셋(Test Dataset)목적: 최종 모델의 성능을 평가하는 데 사용된다. 모델의 일반화 성능을 평가하여 실제 상황에서 얼마나 잘 작동할지를 판단한다. 학습과 검증 데이터와 독립적이며, 모델 학습 및 튜닝 과정에서는 사용되지 않는다.데이터셋의 ..

손실 함수손실 함수는 지도학습 시 모델의 예측값과 실제값 간의 차이를 측정하고, 학습중에 알고리즘이 얼마나 잘못 예측했는지 그 정도를 확인하기 위한 함수이다.손실함수의 함수값을 최소화할 수 있는 가중치와 편향을 찾는 것이 딥러닝 학습의 목표이다. 손실 함수의 종류평균 제곱 오차(Mean Squared Error, MSE)실제값과 예측값 간의 오차의 제곱을 평균하여 계산한다.MSE는 오차가 커질수록 손실 함수값이 빠르게 증가하는 특징이 있다.회귀 문제에서 주로 사용된다.​평균 절대 오차(Mean Absolute Error, MAE)오차의 절댓값을 평균하여 계산한다.MSE와는 다르게 손실 함수가 오차와 비례하여 일정하게 커진다.회귀 문제에서 주로 사용된다.

범용 근사 정리인공 신경망이 충분한 수의 뉴런을 가진 은닉층을 하나만 가지고 있더라도, 어떤 연속적인 함수든 원하는 수준의 정확도로 근사할 수 있다는 것을 의미하는 이론이다. 하나의 은닉층을 가진 순방향 신경망이 비선형 활성화 함수를 사용한다면, 이 신경망은 임의의 연속 함수를 임의의 정확도로 근사할 수 있다. 이는 신경망의 뉴런 수가 충분히 많을 때 가능하다. 이론적으로, 단일 은닉층을 가진 신경망도 충분한 뉴런을 가지고 있다면 매우 복잡한 함수도 근사할 수 있다. 하지만, 실제로는 여러 층을 가진 심층 신경망(Deep Neural Network)을 사용하는 것이 학습과 일반화 측면에서 더 효율적이다.너무 많은 뉴런을 사용하면 계산 복잡도가 증가하고, 과적합 문제가 발생할 수 있다. 따라서, 신경망의 ..

회귀(Regression)회귀는 연속적인 실수 값을 예측하는 문제이고, 예측 결과가 연속성(연속하는 값)을 지닌다. 예를 들어, 주택 및 주식 가격, 온도, 매출량, 거래량 등을 예측할 수 있다.다시 말하자면, 실수형 변수값을 통해 예측하고, 예측 결과가 연속성을 지니는 경우에는 회귀 문제라고 할 수 있다. 분류(Classification)주어진 데이터를 두 개 이상의 범주 중 하나로 분류하는 문제이다. 예측하고자 하는 타겟값이 범주형 변수인 경우에 해당되며, 회귀와 다르게 예측 결과가 연속성을 지니지 않고 이산적인 특징을 가지고 있다. 1. 이진 분류 (Binary Classification)정의: 데이터를 두 개의 클래스로 분류하는 문제.예시: 스팸 이메일 분류(스팸/비스팸), 질병 진단(질병 있음/..

순방향 신경망순방향 신경망은 가장 기본적인 형태의 인공 신경망이다. 입력층, 은닉층, 출력층으로 구분되며 입, 출력층은 각각 하나씩 존재하지만 입력층과 출력층 사이에 있는 은닉층은 문제의 복잡도에 따라 가변적으로 구성된다. 계층이 2~3개 정도로 구성되어 있으면 얕은 신경망(Shallow Neural Network), 그 이상인 경우에는 깊은 신경망(Deep Neural Network, DNN)이라고 한다. 1. 입력층 : 외부로부터 입력 데이터를 받아들임.2. 은닉층 : 데이터의 특징을 추출.3. 출력층 : 추출된 특징을 기반으로 추론한 최종 결과 출력. 순방향 신경망은 모든 계층이 완전 연결 계층(Fully Connected Layer)로 구성된다. 각 계층에 속한 모든 뉴런들이 이전 계층의 모든 뉴..

손실 함수손실 함수는 지도학습 시 모델의 예측값과 실제값 간의 차이를 측정하고, 학습중에 알고리즘이 얼마나 잘못 예측했는지 그 정도를 확인하기 위한 함수이다.손실함수의 함수값을 최소화할 수 있는 가중치와 편향을 찾는 것이 딥러닝 학습의 목표이다. 손실 함수의 종류평균 제곱 오차(Mean Squared Error, MSE)실제값과 예측값 간의 오차의 제곱을 평균하여 계산한다.MSE는 오차가 커질수록 손실 함수값이 빠르게 증가하는 특징이 있다.회귀 문제에서 주로 사용된다.​평균 절대 오차(Mean Absolute Error, MAE)오차의 절댓값을 평균하여 계산한다.MSE와는 다르게 손실 함수가 오차와 비례하여 일정하게 커진다.회귀 문제에서 주로 사용된다.

기울기 소실딥러닝에서 은닉층을 많이 추가할수록 학습이 더 잘 될 것 같지만, 실제로는 기울기 소실 문제때문에 그렇지 않다. 기울기 소실은 역전파(backpropagation) 과정에서 발생하는 문제로, 출력층에서부터 멀어지면 멀어질수록 기울기(gradient)가 점점 작아져서 결국 거의 0에 가까워지는 현상을 의미한다. 이렇게 되면 가중치가 업데이트 되지 않아 학습이 매우 느리거나 멈추게 된다. 기울기 소실 문제의 원인기울기 소실 문제는 주로 다음과 같은 이유로 발생한다. 1. 활성화 함수Sigmoid나 tanh와 같은 활성화 함수는 입력 값이 매우 크거나 작을 때 출력의 변화가 매우 작다. 예를 들어 Sigmoid의 도함수는 아래와 같다.여기서 σ(x)가 0 또는 1에 가까워지면 도함수가 0에 가까워진..