머신러닝/[논문] (6) 썸네일형 리스트형 Exact and Consistent Interpretation for Piecewise Linear Neural Networks: A Closed Form Solution [KDD'18] Explainable model로 유명한 LIME의 저자였던, Jian Pei가 후속 연구의 개념으로 제안한 논문을 요약하였습니다. 해당 자료에서는, 우선 기존 모델을 해석하기 위한 3가지 접근 방법 - Hidden neuron analysis / Model mimicking / Local interpretation methods - 각각에 대한 간단한 설명 및 예제, 그리고 단점을 설명합니다. 이 중 본 논문에 제안하는 OpenBox method와, 직접적인 비교대상인 LIME의 경우 조금 더 디테일하게 설명한 뒤, 논문의 제목인 Exact and Consistent interpretation이 무엇인지, Piecewise Linear Neural Networks(PLNN)이 무엇인지 정의내립니다. 이.. Distilling Knowledge from Graph Convolutional Networks [CVPR '20] CVPR 20년도에 발표된 'Distilling Knowledge from Graph Convolutional Networks' 에 대한 발표자료입니다. How powerful are Graph Neural Networks [ICLR '19] ICLR 19년도에 제출된 'How powerful are Graph Neural Networks' 논문 의 정리 자료입니다 Shallow-Deep Networks: Understanding and Mitigating Network Overthinking [ICMR '19] 얕으면서, 깊은 네트워크. 굉장히 재미있었던 논문입니다. BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding [NAACL '19] 논문스터디 중 진행한 BERT에 대한 요약 및 정리 PDF 를 첨부합니다. QNA. BERT에서 왜 CLS Token이 Sentence representation을 담게되는가? 1. 일단, 어떤 Sequence data를 Single vector로 변환하는 방법에는 당연히 여러 방법이 있다. Max/Mean pooling, Attention, ETC, ... 하지만 BERT 저자들은 가장 간단한 방법을 채택했는데, 그게 바로 First token(=CLS)에 대한 Vector를 가져오는 방법이다. 2. 어떻게 그걸로 퉁칠 수 있는가? -> 일단, 각 Token에 대한 Embedding vector가 추출되는 과정은 아래 그림과 같은데, Transformer를 썼으니까 사실 당연하게도 모든 Embeddin.. Google's Neural Machine Translation System Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation이라는 논문을 읽고, PPT로 정리했던 파일을 첨부합니다. 이전 1 다음
