-
Scikit-learn
LightGBM 정리
개념 LightGBM은 기존 GBDT (Gradient Boosting Decision Tree)의 한계를 극복하기 위해 만들어진 모델로, 같은 accuracy를 유지하면서 계산 속도는 더 빠르고 메모리 사용량은 더 적은 GBDT이다. GBDT (Gradient Boosting Decision Tree)란? GBDT에서 gradient는 손실 함수의 그래디언트(gradient)가 아니라 예측값과 실제 타깃값의 잔차(residual)를 의미 GBDT는 손실 함수를 최소화하는 모델을 만들기 위해 이러한 잔차를 줄이는 방향으로 모델을 학습 각 트리는 이전 트리가 만든 잔차에 대해 학습하며, 잔차에 대한 예측값의 그래디언트를 기반으로 합니다. cf) boosting은 약한 학습기(분류기/예측기)를 여러 개 연결..
-
TIL
Conv1D, Conv2D, Conv3D 차이
말 그대로다. 1차원 배열 데이터에는 Conv1D를, 2차원 배열 데이터에는 Conv2D를 사용한다. 아직까지 Conv3D를 사용해 본 적은 없지만 마찬가지로 3차원 배열 데이터에 사용한다. 즉, Conv1D, Conv2D, Conv3D 차이는 입력 데이터의 차원이다. 그런데 여기서 끝나면 의문이 생긴다. 코드를 보자. model = tf.keras.models.Sequential([ # Note the input shape is the desired size of the image 150x150 with 3 bytes color tf.keras.layers.Conv2D(64, (3,3), activation='relu', input_shape=(150, 150, 3)), tf.keras.layers.M..
-
TIL
include_top의 의미
The inception V3 has a fully-connected layer at the top. So by setting include_top to false, you're specifying that you want to ignore this and get straight to the convolutions. -> top에 fully-connected layer가 있는 경우 include_top=False를 하면 무시하고 바로 convolution으로 가게 해 줌. 근데 fully-connected layer는 보통 bottom에 있지 top에 없지 않나? Tensorflow 공식문서에서 include_top 매개변수 설명을 찾아보니 whether to include the fully-connec..
-
TIL
sigmoid보다 tanh를 쓰는 이유
1. sigmoid보다 tanh의 기울기가 더 크기 때문이다. 기울기가 더 크면 경사 하강법을 할때 더 큰 step으로 W와 b를 업데이트할 수 있으므로 더 빨리 cost를 0으로 만들 수 있다. cost는 0에 가까울수록 성능이 좋으므로 일반적으로 sigmoid보다 tanh가 성능이 더 좋은 것이다. 2. 기울기 편향을 피할 수 있다. 그래프를 보면 sigmoid는 (0,1)의 범위를 가지고 있고, tanh는 (-1,1)의 범위를 가진다. 모든 입력 벡터가 양수값을 가지고 있을때, 양의 값만을 가지는 sigmoid는 역전파를 할 때 모든 가중치가 같은 방향으로 움직이게 된다. 모두 증가하든지, 모두 감소하든지 말이다. 즉, 이동 방향이 편향될 수 있다는 단점이 있다. 하지만 tanh는 (-1,1) 범위..
-
Pytorch
[모두를 위한 딥러닝/시즌2] Lab-04-1 Multivariable Linear regression
Lab-04-1 Multivariable Linear regression 다음은 모두를 위한 딥러닝 시즌 2의 Lab-04-1 Multivariable Linear regression를 학습하고 요약정리한 내용입니다. 강의에서 말씀하시는 다항 선형 회귀(Multivariable/Multivariate Linear Regression)는 통계에서 다중 선형 회귀(Multiple Linear Regression)이므로 앞으로 '다항' 선형 회귀는 '다중' 선형 회귀로 표시하겠습니다. 그리고 Multivariable/Multivariate Linear Regression은 통계에서 '다변량' 선형 회귀라고 부르며 이는 '다중' 선형 회귀와 다른 것이므로, '다변량' 선형 회귀로 표시하겠습니다. 강의 내용을 기..
