Hello COCOBALL!

이진 분류입력값에 따라 모델이 분류한 카테고리가 두 가지인 분류 알고리즘을 의미한다. True/false 를 분류하는 데 사용된다.이진 분류는 베르누이 분포에 의해서 정의된다. 로지스틱 회귀(Logistic Regression)로지스틱 회귀는 이진 분류 알고리즘 중에서 가장 대표적인 알고리즘이다.로지스틱 회귀는 선형 방정식을 기반으로 하되, 그 결과를 시그모이드 함수를 통해 0과 1 사이의 확률 값으로 변환하여 이진 분류를 수행한다. 일반적으로 입력 변수 X와 가중치 β를 사용하여 다음과 같이 예측을 수행한다.z는 선형 결합을 나타내고, 이 값을 시그모이드 함수에 적용하여 클래스 1 에 속할 확률을 계산한다.시그모이드 함수(Sigmoid Function)시그모이드 함수에 대해 알아보기 전, 오즈 비(od..

베르누이 분포베르누이 분포는 확률 이론과 통계학에서 가장 간단한 이산 확률 분포 중 하나이다. 베르누이 분포는 두 가지 가능한 결과를 가지는 시행의 확률 분포를 나타내고, 일반적으로 두 가지 결과는 성공, 실패로 정의된다.또한, 두 가지의 결과만을 가지는 시행을 베르누이 시행이라고 한다. 베르누이 분포의 정의베르누이 분포는 매개변수 p(성공 확률)로 정의된다.X를 베르누이 분포를 따르는 이산 확률 변수라고 하면, X는 1, 0의 값을 가질 수 있다.X=1일 확률은 p이고, X=0일 확률은 1-p이다.이를 수식으로 나타내면 다음과 같다. 확률 질량 함수(Probability Mass Function, PMF)(확률 질량 함수는 이산 확률 변수가 특정 값을 가질 확률을 나타내는 함수) 베르누이 분포의 확률 ..

경사 하강법최적화 알고리즘 중 하나로, 함수의 값이 낮아지는 방향으로 독립변수들의 값을 변형시키면서 함수의 최소값을 갖는 독립변수의 값을 탐색하기 위해 사용된다. 주로 기계 학습 및 딥러닝 모델의 학습 과정에서 비용 함수를 최소화하는 데 사용된다. 경사 하강법의 기본 아이디어는 함수의 기울기를 활용하여 함수 값이 가장 작은 지점으로 이동하는 것이다. 최소값을 찾기 위해 손실 함수를 미분하여 미분계수가 0인 지점을 찾는 방법을 사용할 수 있지만, 일반적으로 사용되는 함수들은 간단한 함수가 아니라 대부분 복잡하고 비선형적인 패턴을 가지는 함수이기 때문에 미분을 통해 최소값을 찾기가 어려운 경우가 많아 손실 함수의 최소값을 찾을 때 경사 하강법을 주로 사용한다.특정 위치에서의 기울기가 양수인 경우 x를 음의 ..

범용 근사 정리인공 신경망이 충분한 수의 뉴런을 가진 은닉층을 하나만 가지고 있더라도, 어떤 연속적인 함수든 원하는 수준의 정확도로 근사할 수 있다는 것을 의미하는 이론이다. 하나의 은닉층을 가진 순방향 신경망이 비선형 활성화 함수를 사용한다면, 이 신경망은 임의의 연속 함수를 임의의 정확도로 근사할 수 있다. 이는 신경망의 뉴런 수가 충분히 많을 때 가능하다. 이론적으로, 단일 은닉층을 가진 신경망도 충분한 뉴런을 가지고 있다면 매우 복잡한 함수도 근사할 수 있다. 하지만, 실제로는 여러 층을 가진 심층 신경망(Deep Neural Network)을 사용하는 것이 학습과 일반화 측면에서 더 효율적이다.너무 많은 뉴런을 사용하면 계산 복잡도가 증가하고, 과적합 문제가 발생할 수 있다. 따라서, 신경망의 ..

회귀(Regression)회귀는 연속적인 실수 값을 예측하는 문제이고, 예측 결과가 연속성(연속하는 값)을 지닌다. 예를 들어, 주택 및 주식 가격, 온도, 매출량, 거래량 등을 예측할 수 있다.다시 말하자면, 실수형 변수값을 통해 예측하고, 예측 결과가 연속성을 지니는 경우에는 회귀 문제라고 할 수 있다. 분류(Classification)주어진 데이터를 두 개 이상의 범주 중 하나로 분류하는 문제이다. 예측하고자 하는 타겟값이 범주형 변수인 경우에 해당되며, 회귀와 다르게 예측 결과가 연속성을 지니지 않고 이산적인 특징을 가지고 있다. 1. 이진 분류 (Binary Classification)정의: 데이터를 두 개의 클래스로 분류하는 문제.예시: 스팸 이메일 분류(스팸/비스팸), 질병 진단(질병 있음/..

순방향 신경망순방향 신경망은 가장 기본적인 형태의 인공 신경망이다. 입력층, 은닉층, 출력층으로 구분되며 입, 출력층은 각각 하나씩 존재하지만 입력층과 출력층 사이에 있는 은닉층은 문제의 복잡도에 따라 가변적으로 구성된다. 계층이 2~3개 정도로 구성되어 있으면 얕은 신경망(Shallow Neural Network), 그 이상인 경우에는 깊은 신경망(Deep Neural Network, DNN)이라고 한다. 1. 입력층 : 외부로부터 입력 데이터를 받아들임.2. 은닉층 : 데이터의 특징을 추출.3. 출력층 : 추출된 특징을 기반으로 추론한 최종 결과 출력. 순방향 신경망은 모든 계층이 완전 연결 계층(Fully Connected Layer)로 구성된다. 각 계층에 속한 모든 뉴런들이 이전 계층의 모든 뉴..

Overfitting모델이 학습 데이터에 너무 맞추어져서 새로운 데이터에 대해 일반화되지 않는 현상을 의미한다. 모델이 학습 데이터의 노이즈와 세부 사항까지 학습하여 복잡하고 불필요한 패턴을 인식하게 되는데, 이는 학습 데이터에 대한 성능은 높지만 테스트 데이터나 실제 데이터에 대한 성능은 낮아지는 결과를 초래한다.학습 데이터가 부족하거나, 데이터의 특성에 비해 모델이 너무 복잡한 경우에 발생한다.(학습 데이터보다 모델의 파라미터 개수가 더 많은 경우)Train dataset에 대한 loss는 계속 떨어지는 반면 test dataset에 대한 loss는 감소하다가 다시 증가하는 추세를 보인다. 원인모델이 너무 복잡하여 많은 매개변수를 가지고 있을 때(Model Capacity : 파라미터의 개수, 모델이..

머신러닝(Machine Learning)컴퓨터가 명시적인 프로그래밍 없이 데이터를 분석하고 패턴을 학습하여 새로운 데이터를 예측하거나 분류, 의사결정을 내릴 수 있도록 하는 기술이다. 머신러닝 주요 개념1. 지도학습(Supervised Learning)입력 데이터와 그에 상응하는 출력 데이터(정답, label)이 주어지는 학습 방식이다. 모델은 이 데이터를 기반으로 입력과 출력 간의 관계를 학습하고, 이러한 방법을 통해 새로운 데이터가 주어진 경우 상응하는 출력 데이터를 예측하는 것이 가능하다.지도학습 알고리즘 : 선형 회귀, 로지스틱 회귀, 서포트 벡터 머신(SVM), 결정 트리, 랜덤 포레스트, 신경망 등예시 : 이미지 분류, 스팸 메일 필터링, 질병 예측 등 2. 비지도학습(Unsupervised ..