수학쟁이의 공부 이야기

2.7 Homogeneous linear differential equations with constant coefficients 다음 그림처럼 용수철에 질량이 $m$ 인 물체가 달려있고 처음 물체를 $y$ 축 음의 방향으로 $s$ 만큼 당겼다고 가정하자. $(y(0) = -s)$ 시간의 따른 물체의 위치를 $y(t)$ 라고 정의한다면 Newton's law 에 의해 물체에 작용하는 알짜힘 $F(t)$ 는 다음과 같다. $$F(t) = my''(t)$$ 또한, 초기 물체가 매달려 있기 전 용수철 아래 끝 부분의 $y$ 좌표를 $d$ 라 정의하면 물체에 작용하는 알짜힘 $F(t)$ 는 Hooke's law 에 의해 다음과 같다. $$F(t) = k(d-y(t)) - mg$$ 평형상태 일 때 알짜힘이 $0$..

xgboost, lightgbm과 같은 트리 기반 앙상블 모델은 크게 classification(분류), regression(회귀)의 문제로 나뉜다. 각각의 경우 어떻게 앙상블 모델의 feature importance를 구하는지 알아보겠다. 그리고 더 나아가 기존의 built in feature importance의 단점을 보완한 permutation importance에 대해서도 다뤄보겠다. classification(분류)를 위한 트리 기반 앙상블 모델 우리가 위의 그림처럼 이진분류를 한다고 가정해보자. 분류가 한쪽으로 몰릴수록 잘 분류된 것이므로 impurity(불순도)라는 개념을 도입한다. 1에서 비율의 제곱합들을 빼주는데 (0.5,0.5) 비율로 나눠질 때 가장 큰 값을 가지고 (1,0) 비율로..

2.6 Dual spaces linear transformation 이 vector space $V$ 에서 field $F$ 로 가는 함수로 정의될 때 우리는 linear functional on $V$ 라고 정의한다. linear functional 의 예시 $\beta = \{x_1,x_2,\cdots,x_n\}$ 가 finite-dimensional vector space $V$ 의 ordered basis 라 하자. $$[x]_{\beta} = \begin{pmatrix} a_1 \\ a_2 \\ \vdots \\ a_n \end{pmatrix}$$ 일 때 $f_{i}(x) = a_i \,(1 \leq i \leq n)$ 으로 정의하자. 그럴 때 linear functional on $V$ 인 $..