본문 바로가기

전체 글

(125)
2021년 초반 AI 권위자들의 언급 유명한 응~드류앤, 테슬라의 Russel, Karpathy, 페이스북의 Johnson 등의 언급을 정리... Dall-E / CLIP 등 트랜스포머 기반의 멀티모달 모델이 참신한데, 결국 데이터가 최강이다 트랜스포머가 딥러닝을 통합하는 중... 하드웨어에서 병렬처리 ,최적화가 가능한 모델이 더 중요해지고 있다. (C++) 학습을 지속할 수 잇는 모델이 필요하다... (한가지 타스크가 아닌, 계속 나아갈 수 있는...) 기존의 Data-first Benchmark, 그러니까, 데이터셋은 고정시켜놓고, 모델은 변화시키며 성능을 체크하는 것에서, Model-first Benchmark, 그러니까, 모델은 고정시켜놓고, 데이터셋을 변화시켜가며, 모델에 맞는 데이터셋이 어떤 것인지 찾아가는 방식이 필요하다... ..
Model-agnostic 이란? Self-Supervised Learning for Large-Scale Item Recommendation '20에서... Model-agnostic이라는 표현이 등장. 이게 뭔 말이냐. agnostic을 네이버 사전에 검색하면, 불가지론? 라는 뜻이 나온다. 한글인데 무슨 뜻인지 모르겠다. 해서 나무위키를 가보니, 종교에서 시작한 단어인듯하다. 신은 존재한다 - 를 믿는 유신론자와 신은 존재하지않는다 - 를 믿는 무신론자. 그 사이의 어떤 입장을, 불가지론이라고 한단다. 이를 Model-agnostic에 맞게 의역해보면, Model에 관계없이 적용가능한 방법론 - 이라고 해석되는듯하다. 다시, 논문 내에서 이런 문장이 등장한다. ...We present a model architecture agnos..
Metric Learning
Types of Learning in Machine Learning Supervised, Unsupervised, Transductive, Inductive... 똑같이 모델을 학습시키는데 무슨 방법론이 이렇게 많은지... 간략하게라도 전체에 대한 카테고라이징을 해두면 좋겠다 싶었는데, 적당한 글을 발견하여 번역한다. 츨처: 링크1, 링크2 "Machine Learning" 은 특정 필드에 종속되는 연구가 아닌, 정말 다양한 필드에 적용가능한 연구이다. 여기서 핵심은, "Learning" 이라고 할 수 있는데, 말 그대로, 데이터셋(=경험)으로부터 다양한 지식을 획득하는 것에 있다. 해당 글에서는, 이런 "Learning" 의 종류가 어떻게 분류되는지에 대한 이야기를 할 것. Types of Learning 일단, 학습 방법의 종류는 아래와 같이 분류될 수 있을 것 같다..
Pointwise vs Pairwise vs Listwise, Learning to Rank CDAE 논문에 따르면, 추천 시스템에서 Loss function은 보통 러프하게 2가지로 분류된다고 합니다. Point-wise 와 Pair-wise. 더 심오하게 들어가면, WARP와 같은 Position-aware Pair-wise 등 또 여러 갈래로 나뉘는 모양입니다만, 그렇습니다. 그런데, DERRD 논문을 보면 List-wise 의 개념도 존재합니다. 해서, 구글에 검색해보니, 요약된 글이 하나 있어, 이 참에 한 번 정리해보려 합니다. 다만, 기존 글은 16년도에 쓰인, 나름 옛날 글이라 몇 가지를 추가했으니 적당히 필터링해서 읽어주시면 감사하겠습니다. 우선, Point-wise, Pair-wise, List-wise loss 들은 무엇을 기준으로 구분되어지는지 생각해봅시다. 그건, 모델을 ..
GNN의 한계? GIN의 한계? GNN의 한계 Graph representation을 위한 방법은 크게 2가지가 존재한다. Graph kernels 그리고 Graph neural networks. 전자의 경우, 그래프의 분해를 기반으로, 그래프에 대한 임베딩 값을 생성한다. 예를 들면 해당 그래프 내의 triangles의 수를 세리는 방법 등이 존재한다. 이러한 연구의 주된 목적은 그래프 간의 isomorphism을 잘 보존하는 임베딩을 찾아내기 위함이다. 즉, 두 그래프가 iso 하다는 것과 각각의 임베딩 값이 같다는 것은 동치-로 만드는 것이 그래프 커널의 목표인 것. 다만 이러한 문제를 푸는 것은 p-problem보다 어려운 것으로 알려져 있음. 물론 Anonymous walk embedding과 같은 임베딩 방법론들은 존재합니다..
Two kinds of Probabilities. Frequentist vs Bayesian 통계에서 가장 핵심이 되는 키워드인 확률. 이런 확률을 바라보는 관점에는 2가지가 존재한다고 한다. Frequentist 와 Bayesian. 고등수학에서 말하는 수학은 사실 Frequentist에 가깝기 때문에, 두 가지 관점이 있다는 사실 자체를 알지 못하였고, 대학수학에 와서도 Bayes' rule은 알아도, 그게 확률의 관점을 정의할 것이라고는 생각한 적은 없었다. 이번 글에서는, 저 Bayesian 관점이라는 것이 어떤 건지, Frequentist 과 어떤 차이가 있는 것인지를 알아보자. 기본적으로, 확률이란 불확실성을 계량화하여 표현하는 방법. 그러니까, 주사위를 던져서, 0이 나올지 6이 나올지는 확신할 수 없다. 항상 불확실하다. 다만, 그 불확실성이 얼마나 될지를, $\frac{1}{6}..
Exact and Consistent Interpretation for Piecewise Linear Neural Networks: A Closed Form Solution [KDD'18] Explainable model로 유명한 LIME의 저자였던, Jian Pei가 후속 연구의 개념으로 제안한 논문을 요약하였습니다. 해당 자료에서는, 우선 기존 모델을 해석하기 위한 3가지 접근 방법 - Hidden neuron analysis / Model mimicking / Local interpretation methods - 각각에 대한 간단한 설명 및 예제, 그리고 단점을 설명합니다. 이 중 본 논문에 제안하는 OpenBox method와, 직접적인 비교대상인 LIME의 경우 조금 더 디테일하게 설명한 뒤, 논문의 제목인 Exact and Consistent interpretation이 무엇인지, Piecewise Linear Neural Networks(PLNN)이 무엇인지 정의내립니다. 이..