Logit과 Sigmoid함수와 로지스틱회귀

Odds (오즈)

오즈는 어떤 사건이 발생할 확률과 발생하지 않을 확률의 비율을 나타내는 개념입니다. 수식으로 표현하면 다음과 같습니다.

Odds

여기서  P(Event)는 해당 사건이 발생할 확률을 나타내며, P(Not Event)는 해당 사건이 발생하지 않을 확률을 나타냅니다.

이진 분류에서는 "C1"이 일어날 확률을 p로 표기하고, "C2"가 일어날 확률은 1−p로 표기합니다.
만약 "C1"이 발생할 확률 p가 0.5보다 크다면, "C1"이 더 가능성이 높아져 "Odds" 값이 1보다 크게 됩니다.

Logit (로그 오즈)

로짓은 오즈의 로그 변환을 의미합니다. 로그 오즈는 확률의 범위를 무한대의 실수 범위로 변환하여 선형적으로 다룰 수 있도록 합니다. 수식으로 표현하면 다음과 같습니다.

Logit

로짓은 주로 로지스틱 회귀와 같은 통계 모델에서 사용되며, 확률을 선형 예측값과 연관짓는 데 유용합니다.

"Logit"은 확률을 -∞에서 +∞ 범위의 값으로 변환합니다.
이진 분류에서 "C1"에 대한 로짓 값은 
​

로짓 값

로 표현됩니다.
"Logit"이 0보다 크다면, "C1"에 대한 확률이 0.5보다 크다는 의미입니다.

Odds, Logit 종합

"Odds"가 1보다 크다면, "C1"에 대한 확률이 0.5보다 큽니다.
"Logit"이 0보다 크다면, "C1"에 대한 확률이 0.5보다 큽니다.
이는 이진 분류 모델에서 "C1" 클래스에 대한 선호도가 높을 때를 나타내는 중요한 지표입니다.
요약하자면, "Odds"와 "Logit"은 확률을 다른 방식으로 표현하는 도구로, 이진 분류 모델에서 어떤 클래스에 대한 선호도를 이해하는 데 도움을 줍니다. "Odds"가 1보다 크거나 "Logit"이 0보다 크다면, 해당 클래스에 대한 확률이 0.5보다 크다는 것을 의미합니다.

Sigmoid 함수

시그모이드 함수는 로짓 값을 확률 값으로 변환하는 함수로, 주로 로지스틱 회귀와 같은 모델의 출력을 확률로 변환하는 데 사용됩니다. 시그모이드 함수는 S 모양의 곡선을 가지며, 입력값을 0에서 1 사이의 확률 값으로 매핑합니다. 수식으로 표현하면 다음과 같습니다.

Sigmoid

여기서 x는 입력값이며, 시그모이드 함수를 통해 얻은 값은 0과 1 사이의 확률 값입니다.

Logit함수와 Sigmoid함수의 관계

로짓 함수를 시그모이드 함수의 역함수로 표현하면:

따라서 로짓 함수는 시그모이드 함수의 역함수입니다.

시그모이드 함수를 로짓 함수의 역함수로 표현하면:

따라서 시그모이드 함수는 로짓 함수의 역함수입니다.

로지스틱 회귀

로지스틱 회귀는 분류 문제에 사용되는 통계적 모델로, 데이터 포인트를 두 개 이상의 클래스 중 하나로 분류하는데 사용됩니다. 이 모델은 선형 회귀와는 달리 이진 분류 문제에서 더 효과적으로 작동하며, 확률을 사용하여 예측을 수행합니다. 로지스틱 회귀의 계산 과정을 간단히 설명해보겠습니다.

로지스틱 회귀의 계산 과정

로지스틱 회귀의 주요 구성 요소는 선형 부분과 로지스틱 함수입니다. 선형 부분은 입력 특성들의 가중치 합과 편향을 통해 계산됩니다. 이 선형 조합을 로지스틱 함수에 통과시켜서 최종 예측 확률을 얻습니다.

선형 부분 계산

로지스틱 회귀의 입력은 여러 개의 특성(features)로 이루어진 데이터 포인트입니다. 각 특성은 가중치(weight)와 곱해져서 합산되며, 이에 편향(bias)이 더해집니다. 이렇게 계산된 값은 선형 부분(linear component) 또는 z 값이라고 부릅니다. 수식으로 나타내면 다음과 같습니다.

선형부분 수식

로지스틱 함수 (시그모이드 함수)

로지스틱 회귀의 선형 부분을 계산한 후, 이 값을 0과 1 사이의 확률값으로 변환하기 위해 로지스틱 함수를 사용합니다. 로지스틱 함수는 일반적으로 시그모이드 함수로 표현되며, 다음과 같이 정의됩니다.

여기서 z는 선형 부분의 값입니다. 시그모이드 함수는 z가 커질수록 1에 수렴하며, z가 작아질수록 0에 수렴합니다. 이렇게 변환된 확률값은 데이터 포인트가 어떤 클래스에 속할 확률을 나타냅니다.

Sigmoid함수와 Logit함수는 역함수 관계이기 때문에 아래의 식이 성립합니다.
Sigmoid(z) = p, Logit(p) = z

결과 해석 및 결정 경계

로지스틱 함수를 통과한 확률값은 보통 0과 1 사이에 위치하며, 이를 어떤 클래스에 할당할지 결정하기 위해 임계값을 사용합니다. 일반적으로 0.5를 임계값으로 사용하여 확률값이 0.5보다 크면 하나의 클래스로 분류하고, 그렇지 않으면 다른 클래스로 분류합니다. 결정 경계는 확률값이 0.5인 지점으로 형성됩니다.

모델 학습과 파라미터 조정

로지스틱 회귀 모델은 데이터에 대해 최적화된 가중치 w와 편향 b를 찾는 것이 중요합니다. 이를 위해 일반적으로 로그-우도(로그-likelihood)를 최대화하는 방향으로 학습됩니다. 최적화 알고리즘(예: 경사 하강법)을 사용하여 가중치와 편향을 조정하면서 로그-우도를 최대화하려고 합니다. 이렇게 학습된 모델은 주어진 특성에 대해 새로운 데이터를 분류하거나 예측할 수 있습니다.

모델 평가

학습된 로지스틱 회귀 모델의 성능을 평가하기 위해 일반적으로 정확도, 정밀도, 재현율, F1 스코어 등과 같은 평가 지표를 사용합니다. 이 평가 지표는 모델이 얼마나 잘 분류하는지를 나타내며, 특히 이진 분류 문제에서 중요합니다.

이상으로 로지스틱 회귀의 계산 과정을 설명드렸습니다. 이 모델은 선형 분류 문제에서 유용하게 사용되며, 이를 확장하여 다중 클래스 분류 문제로도 활용할 수 있습니다.

해당 게시글은 ChatGPT의 도움을 받아 작성되었습니다.