본문 바로가기

분류 전체보기

 (51)
sigmoid보다 tanh를 쓰는 이유 1. sigmoid보다 tanh의 기울기가 더 크기 때문이다. 기울기가 더 크면 경사 하강법을 할때 더 큰 step으로 W와 b를 업데이트할 수 있으므로 더 빨리 cost를 0으로 만들 수 있다. cost는 0에 가까울수록 성능이 좋으므로 일반적으로 sigmoid보다 tanh가 성능이 더 좋은 것이다. 2. 기울기 편향을 피할 수 있다. 그래프를 보면 sigmoid는 (0,1)의 범위를 가지고 있고, tanh는 (-1,1)의 범위를 가진다. 모든 입력 벡터가 양수값을 가지고 있을때, 양의 값만을 가지는 sigmoid는 역전파를 할 때 모든 가중치가 같은 방향으로 움직이게 된다. 모두 증가하든지, 모두 감소하든지 말이다. 즉, 이동 방향이 편향될 수 있다는 단점이 있다. 하지만 tanh는 (-1,1) 범위..
[프로그래머스/레벨1] K번째수 풀이 과정 여러 코딩 테스트를 치르면서, 코딩 테스트 문제 푸는 방법을 정했다. 1. 문제를 정독하면서 메모(검은색으로 작성)한다. 주의해야 할 것은 ※으로 표시한다. 2. 알고리즘(분홍색으로 작성)을 떠올리고 적용하려고 노력한다. 3. 필요한 변수에 대해서는 변수명(하늘색으로 작성)을 작성한다. 4. 바로 문제 풀지 말고 주석을 달며 의사 코드를 작성한다. 5. 의사 코드에 맞춰 구현한다. 앞으로 이 순서대로 문제를 풀어볼 예정이다! 1. 문제를 정독하면서 메모한다. 주의해야 할 것은 ※으로 표시한다. 우선 문제 자체는 길지도 않고 어렵지도 않아서 메모할 것이 거의 없었다. 단, 인덱스가 0부터 시작한다는 점을 주의해야 했다. 문제에서 array의 2번째부터 5번째까지 자르면 [5, 2, 6, 3]이라..
[모두를 위한 딥러닝/시즌2] Lab-07-1 Tips Lab-07-1 Tips 다음은 모두를 위한 딥러닝 시즌 2의 Lab-07-1 Tips를 학습하고 요약정리한 내용입니다. 강의 내용을 기반으로 요약하되, 보충 설명이 필요한 경우 확률론 필기노트와 위키독스를 참고했습니다. 학습 목표 신경망과 관련된 여러가지 팁에 대해 알아본다. 핵심 키워드 최대 가능도 추정(Maximum Likelihood Estimation), 과적합(Overfitting), 규제(Regurlarization), 훈련 데이터셋과 테스트 데이터셋(Training and Test Dataset), 학습률(Learning Rate), 데이터 전처리(Data Preprocessing) 1. Reminder: Maximum Likelihood Estimation(최대 가능도 추정) Maximu..
데이터 팟캐스트 추천 데이터야놀자 뉴스레터에서 데이터 관련 팟캐스트를 처음 접하게 되었다. 현업자들의 이야기를 들을 수 있고 데이터 관련하여 궁금했던 것들을 알려주기도 하고 현재 데이터 트렌드도 알 수 있어 좋았다. 그래서 내가 들어본 데이터 팟캐스트를 추천하려고 한다(근데 아마 데이터 팟캐스트는 이게 다인 듯?) 공부 관련 유튜브는 잘 안 보게 되는 나에게 팟캐스트는 딱 잠자기 전 틀어놓고 잠을 청하기 좋은 매체이다^_^ 특히 라디오는 듣기만 하면 되니까 멀티가 가능하다는 점에서 추천하고 싶다. 1. 데이터홀릭 • 방송 URL: www.podbbang.com/ch/1771386 • 방송 소개: 모두가 궁금해하는 데이터의 모든 것을 알려드립니다. 데이터에 미쳐있는 사람들과 함께하는 데이터홀릭! 지금 시작합니다! 데이터 팟캐스..
[머신러닝 야학/2기] Tensorflow 이미지 분류 - CNN (python) 수업 정리 Tensorflow 이미지 분류 - CNN (python) 다음은 머신러닝 야학에서 텐서플로우 심화 강의인 을 학습하고 요약정리한 내용입니다. 강의 내용을 기반으로 요약하되, 보충 설명이 필요한 경우 이라는 책과 Stanford 대학의 강의를 참고했습니다. 오리엔테이션 이전 기초 수업에서는 "표" 형태의 데이터를 다뤘다면 이번 심화 수업에서는 "이미지" 형태의 데이터를 다룰 예정입니다. 데이터와 차원 데이터에 대해 차원은 두 가지 의미를 가집니다. • "차원 수"의 의미 - 데이터 공간의 맥락: 변수의 개수 - 데이터 형태의 맥락: 배열의 깊이 이미지 데이터 이해 이미지 데이터를 이해하기 위해 MNIST와 CIFAR10 데이터를 가지고 실습을 진행해봅니다. • MNIST 이미지 데이터 하나의 "차원 수"..

티스토리툴바