2021년 초반 AI 권위자들의 언급
유명한 응~드류앤, 테슬라의 Russel, Karpathy, 페이스북의 Johnson 등의 언급을 정리... Dall-E / CLIP 등 트랜스포머 기반의 멀티모달 모델이 참신한데, 결국 데이터가 최강이다 트랜스포머가 딥러닝을 통합하는 중... 하드웨어에서 병렬처리 ,최적화가 가능한 모델이 더 중요해지고 있다. (C++) 학습을 지속할 수 잇는 모델이 필요하다... (한가지 타스크가 아닌, 계속 나아갈 수 있는...) 기존의 Data-first Benchmark, 그러니까, 데이터셋은 고정시켜놓고, 모델은 변화시키며 성능을 체크하는 것에서, Model-first Benchmark, 그러니까, 모델은 고정시켜놓고, 데이터셋을 변화시켜가며, 모델에 맞는 데이터셋이 어떤 것인지 찾아가는 방식이 필요하다... ..
Types of Learning in Machine Learning
Supervised, Unsupervised, Transductive, Inductive... 똑같이 모델을 학습시키는데 무슨 방법론이 이렇게 많은지... 간략하게라도 전체에 대한 카테고라이징을 해두면 좋겠다 싶었는데, 적당한 글을 발견하여 번역한다. 츨처: 링크1, 링크2 "Machine Learning" 은 특정 필드에 종속되는 연구가 아닌, 정말 다양한 필드에 적용가능한 연구이다. 여기서 핵심은, "Learning" 이라고 할 수 있는데, 말 그대로, 데이터셋(=경험)으로부터 다양한 지식을 획득하는 것에 있다. 해당 글에서는, 이런 "Learning" 의 종류가 어떻게 분류되는지에 대한 이야기를 할 것. Types of Learning 일단, 학습 방법의 종류는 아래와 같이 분류될 수 있을 것 같다..
Pointwise vs Pairwise vs Listwise, Learning to Rank
CDAE 논문에 따르면, 추천 시스템에서 Loss function은 보통 러프하게 2가지로 분류된다고 합니다. Point-wise 와 Pair-wise. 더 심오하게 들어가면, WARP와 같은 Position-aware Pair-wise 등 또 여러 갈래로 나뉘는 모양입니다만, 그렇습니다. 그런데, DERRD 논문을 보면 List-wise 의 개념도 존재합니다. 해서, 구글에 검색해보니, 요약된 글이 하나 있어, 이 참에 한 번 정리해보려 합니다. 다만, 기존 글은 16년도에 쓰인, 나름 옛날 글이라 몇 가지를 추가했으니 적당히 필터링해서 읽어주시면 감사하겠습니다. 우선, Point-wise, Pair-wise, List-wise loss 들은 무엇을 기준으로 구분되어지는지 생각해봅시다. 그건, 모델을 ..
Two kinds of Probabilities. Frequentist vs Bayesian
통계에서 가장 핵심이 되는 키워드인 확률. 이런 확률을 바라보는 관점에는 2가지가 존재한다고 한다. Frequentist 와 Bayesian. 고등수학에서 말하는 수학은 사실 Frequentist에 가깝기 때문에, 두 가지 관점이 있다는 사실 자체를 알지 못하였고, 대학수학에 와서도 Bayes' rule은 알아도, 그게 확률의 관점을 정의할 것이라고는 생각한 적은 없었다. 이번 글에서는, 저 Bayesian 관점이라는 것이 어떤 건지, Frequentist 과 어떤 차이가 있는 것인지를 알아보자. 기본적으로, 확률이란 불확실성을 계량화하여 표현하는 방법. 그러니까, 주사위를 던져서, 0이 나올지 6이 나올지는 확신할 수 없다. 항상 불확실하다. 다만, 그 불확실성이 얼마나 될지를, $\frac{1}{6}..
