Gratefulness and Joy

아래 노트필기들은 꼭 완벽하게 이해하자!!

교수님도 행렬 정확하게 구하기 위해 종이에 적어가시면서 코드를 구현하신다고 한다. 나도 이번주 과제에서는 정확하게 계산해가면서 돌려봐야겠다! (지난주에는 머릿속으로 계산하느라고 너무 어렵게 느껴졌다.)

Random Initialization in Neural Network Logistic Regression에서는 Theta값(뉴럴 네트워크에서의 w,b와 같은 추정치)을 초기에 0으로 설정했었다. 그러나 Neural Network에서는 w값을 0으로 설정할 경우 layer가 아무리 깊어져도 각각의 neuron들이 같은 연산을 해버리는 symmetry 문제가 발생한다. Neural Network의 weight(w)를 초기 설정할 때에는 특별한 방법을 사용해줘야한다. (b는 zeros로 세팅해도 되는 것과 다르게) $ w^{[1]} =np.random.randn((2,2))*0.01 $ weight를 b와 마찬가지로 0으로 초기세팅하지 않는 이유는 Symmetry 문제를 방지하기 위해서이다. 만약 $ w^{..

Back Propagation Summary

Activation Funcion 대표 종류 1. Sigmoid $ Sigmoid(z) = {1 \over 1+e^{-z}}$ Binary Classification의 output layer activation 용도 외에는 사용 안 함 2. Hyper Tangent $ \tanh(z) = {e^z - e^{-z} \over e^z + e^{-z}} $ ReLU랑 더불어 빈번하게 사용됨 3. ReLU 가장 많이 사용하는 활성함수 4. Leaky ReLU ReLU보다 성능이 좋은데 자주 사용되지는 않음 (ReLU의 단점 보완) 선형 활성함수를 사용할 경우, 아무리 depth가 깊어져도 결국 선형 관계로만 이어지기 때문에 Deep Learning이 이루어지지 않는다. 단, Regression 문제(집값 예측과..

X 행렬을 표현할 때에 row를 기준으로 안하고 column을 기준으로 하는 이유: row는 hidden layer의 unit을 의미하고, column은 training set 하나 하나를 의미하는데, W 행렬의 각각의 training set에 대한 weight과 순서지어 곱해줘야 하기 떄문

꼭 기억할 POINT! 1) 먼저 vectorization을 제외하고 생각해보면, Gradient Descent를 위한 Chain Rule: Gradient Descent: 2) 확장해서 Vectorization으로 생각해보자 같은 원리로 dw와 db를 구한다. (chain rule 적용) 그리고 w,b를 업데이트 한다.

Logistic Regression의 Loss function: Loss Function은 하나의 training example에 대한 에러를 나타낸다. Logistic Regression의 Cost Function: Cost Function은 전체 training examples에 대한 에러들의 합을 나타낸다.

지난 달 Coursera에서 Machine Learning 강의를 완강했다. 워낙 명강이라서 수업이 지루할 틈 없이 끝나버렸다. 한 가지 어려운 점이 있었다면, Matlab을 사용해서 과제를 할 때 너무 어려웠다. (투박하고 불친절한 Matlab) 머신러닝 강의를 완강하고 나니, 캐글 스터디가 더 재밌어졌고 다양한 실험을 해볼 수 있게 되었다. 이제 2주 정도 쉬었으니, 머신러닝의 심화버전이라고 생각되는 딥러닝을 더 공부해보려고 한다. 개인적으로 Andrew Ng 교수님의 설명이 너무 쉽게 이해되어서 이번에도 Andrew Ng 수업을 선택했다. 바로 Coursera의 'Deep Learning Specialization'이라는 코스고 2달이면 완강할 것으로 보인다. 가장 좋은 점은, 이번엔 Matlab이..