Summary 🤙
1주차는 Python 기본과 AI Math의 주제로 강의가 구성되었다. 프로그래밍은 익숙한 편이라, AI Math에 최대한 많은 시간을 투자했다. 각 용어들의 정의에 익숙해지는데 집중했고, 여러번 자주 접하여 익숙해지기 위한 시간이었다.
Keywords 👀
TODO로 남겨놓은 부분은 차차 정리해나갈 예정이다.
- [선형대수] 노름(Norm) (TODO)
- [선형대수] 역행렬(Inverse Matrix) (TODO)
- [선형대수] 무어-펜로즈 유사역행렬(Moore-Penrose Pseudo Inverse Matrix) (TODO)
- [미분] 경사하강법(Gradient Descent) (TODO)
- [미분] 확률적 경사하강법(stochastic GD, SGD) (TODO)
- [확률/통계] 기본 용어 정리 (TODO)
- [확률/통계] 몬테카를로 샘플링(Monte Carlo Sampling) (TODO)
- [ML/DL] 기계 학습과 딥러닝의 차이 (TODO)
- [ML/DL] 손실함수(Loss Function) (TODO)
- [ML/DL] 활성함수(Activation Function) (TODO)
- [ML/DL] one-hot & softmax 추론과 분류 (TODO)
- [통계/통계] 모집단, 모수, 확률분포 (TODO)
- [통계/통계] 표집분포와 중심극한 정리 (TODO)
- [통계/통계] 최대가능도추정법(Maximum Liklihood Estimation, MLE) (TODO)
- [통계/통계] 손실함수로서의 확률 분포의 거리 (TODO)
- [통계/통계] 쿨백-라이블러 발산(Kullback–Leibler divergence, KLD) (TODO)
- [통계/통계] 베이즈 정리(Bayes’ theorem) (TODO)
- [ML/DL] CNN(Convolutional Neural Network) (TODO)
- [ML/DL] RNN(Recurrent Neural Network) (TODO)
Tasks 🤷
Topic of Peer Session 🧑🏫
- 참고사이트
- 라그랑주 승수법
- 가능도가 평균에 비해 가지는 이점 : 모수를 모르더라도 데이터로 추정 가능
- 머신러닝 관점에서의 통계학
- 로그 가능도 계산 시 정확도 문제 : 극값의 위치가 같아 문제없다.
- 쿨백 라이블러 발산이 음수가 될 가능성
- 가능도는 반드시 모수의 분포를 가정해야하는가: 기본적으로 모수적인 데이터 밀도 추정 방법으로 가정이 필요하다.
- BPTT
Retrospective 👍
- 개념에 대한 정리는 적어도 2일에 한번씩 진행해야 할것 같다. (2일 이상 지나면 키워드 위주 메모해놓은 것이 기억이 안난다…👀)
- 수학은 바라보는 관점(feat. 임성빈 교수님, sungbin@unist.ac.kr)
- 익숙해져야한다.
- 많이 보는 것보다 많이 사용해봐야 한다.
- 용어와 정의는 일단 외운다.
- 예제를 찾는다.
- 오랜시간을 집중해서 보기보다는 짧게 자주, 머리를 적신다는 느낌으로
- 실제 해당 이론을 사용해야할 때 깊게 파라
- 선형대수, 확률론, 통계학과 아주 조금의 미적분(Gradient discent)
- 책 추천 : Dive into Deep Learning
- 추천시스템 학습 키워드
- MAB (Multi-armed Bandit)
- d2l chap16
- 논문 구현하는 연습이 필요하다.
- 오픈소스가 아닌 논문 구현 후 성능 비교