본문 바로가기

분류 전체보기

 (125)
Senna's Embedding / Gazetteer feature? Bidirectional LSTM-CRF Model for Sequence Tagging이라는 논문을 읽다가 Senna's embedding, Gazetteer feature이라는 단어가 등장했습니다. 이게 뭔가 했는데 SENNA라는게 NLP Software네요.(...) 그리고 Gazetteer feature는 그냥 지명 사전..? 혹시나 저와 같은 고민을 하시는 분들이 있을까 그냥 간단하게만 정리해보겠습니다. Semantic/syntactic Extraction using a Neural Network Architecture 위 링크를 따라가시면 SENNA가 뭐하는 친구인지 나와있습니다. 간단하게 번역하면 다양한 NLP Task(POS tags, Chunking, NER 등)를 처리할 수 있는 소프트..
Sigmoid, Logit and Softmax 오늘은 서로 다른 듯하지만 사실 같은 근본을 가진 Sigmoid, Logit, Softmax 들을 간략히 정리하겠습니다. 수식을 사용하지 않고, 말로만 내용을 생각해봅시다. 먼저 Sigmoid부터요. 저희는 대게 Sigmoid function을 어디서 사용했을까요. 이진 분류를 위한 네트워크 모델의 마지막 Activation layer에서 사용했죠. 그렇게 사용할 수 있었던 이유는, Sigmoid function이 모든 실수 공간에서 [0,1]로 매핑되는 함수이기 때문입니다. 그러면서도 그래프의 양 꼬리부분이 굉장히 길게 늘어져있기 때문에, 이진 분류에 용이했죠. 단순하게 생각하면 0~0.5의 출력은 False, 0.5~1의 출력은 True로 취급하면 될테니까요. 다만 거기서 끝입니다. 단순히 [0,1]..
Machine learning basic 해당 카테고리의 글들은 카이스트의 주재걸 교수님이 cs231n 강의를 기반으로 설명하시는 영상의 흐름대로 작성되며, 제 이해 정도에 따라 부연 내용이 추가될 예정입니다. 지금부터 저희가 살펴볼 머신러닝은 크게 2가지로 분류할 수 있습니다. Supervised learing과 Unsupervised learning이 그것인데요. Reinforcement learning은 지금 제외하고 다뤄보도록 하겠습니다. 저희가 다룰 데이터셋이 Feature와 Label로 구성되어 있다고 가정하고, 이를 데이터프레임으로 만든 뒤, Feature에 대응하는 행렬을 X, Label에 대응하는 행렬을 y라고 둡시다. 이 때, (X,y)데이터셋을 통해 어떤 학습을 진행하는 경우를 Supervised learning, (X)만을..
고유값 분해와 특이값 분해의 응용 학습목표 마지막으로 이번 강의는 이제까지 배운 고유값 분해와 특이값 분해가 실제 딥러닝과 머신러닝에는 어떤 식으로 활용될 수 있는지 배워보는 시간입니다. 고유값 분해가 머신러닝에서 어떠헥 쓰이는지 알아보고, 특이값 분해가 'Low-rank approximation'과 'Dimension-reducing transformation'에서 어떻게 활용될 수 있는지 배워보겠습니다. 핵심 키워드 주성분분석(Principal Component Analysis) 그람 행렬(Gram Matrix) Low-Rank Approximation Dimension-Reducing Transformation 학습하기 ED가 이제 Machine learning 쪽에서는 어떻게 쓰이는가-에 대해 말해보겠습니다. ED는 말씀드렸듯이,..
특이값 분해 2 학습목표 이번 강의에서는 특이값 분해를 계산하는 법을 배우겠습니다. 그리고 그 과정에서 등장하는 새로운 개념들을 함께 배우며서 특이값 분해에 대해 더 깊이 이해하는 시간을 가지겠습니다. 핵심 키워드 스펙트럴 정리(Spectral Theorem) 대칭행렬(Symmetric Matrix) Positive Definite Matrix 학습하기 그러면 이런 SVD를 어떻게 구하느냐-에 대해 말해보겠습니다. 별도의 알고리즘은 없다고 생각하셔도 됩니다. ED를 계산할 때 사용했던 방법이 가장 근접하다-라고 말할 수 있습니다. 그러면 SVD와 ED가 어떻게 연결되는지-에 초점을 맞춰봅시다. A=USV' 에서 AA'와 A'A를 생각해보죠. 그럼, 아래의 식처럼 중간의 S의 제곱된 형태로 수식이 표현될겁니다. U는 Or..
특이값 분해 1 학습목표 드디어 이번 강의에서는 전체 강의의 마지막 주제인 특이값 분해(SVD, Singular Value Decomposition)을 배우겠습니다. 그리고 이에 더 나아가 특이값 분해를 여러 관점에서 해석해보는 시간을 가지겠습니다. 핵심 키워드 특이값 분해(Singular Value Decomposition) 학습하기 이제 특이값 분해(Singular Value Decomposition)을 해봅시다. 이건 여태까지 배웠던 내용들의 총집합이라고 생각하셔도 될 것 같습니다. 고유값 분해와도 생김새가 굉장히 비슷하죠. SVD는 ED와 달리 Rectangular matrix A를 대상으로 합니다. A를 3가지 행렬로 분해하는 건데요, ED에서는 Invertible matrix V와 Diagonal matrix..
고유값 분해와 선형변환 학습목표 드디어 이번 강의에서는 이제까지 우리가 배워온 개념을 토대로 고유값 분해에 대해 배워보겠습니다. 그리고 고유값 분해를 통한 선형변환의 과정을 다루겠습니다. 핵심 키워드 고유값 분해(Eigen Decomposition) 학습하기 그럼 이제, A matrix가 Diagonalizable이라고 가정해봅시다. 그럼 D=V^-1 A V로 표현할 수 있을테구요. 이는 다시 VDV^-1 = A라고 표현할 수 있을 테고, 이를 저희는 Eigen Decomposition이라고 부릅니다. 역행렬을 갖는 V 행렬과, Diagonal matrix D로 분해한거죠. 저희가 인수분해를 하듯, 어떤 행렬을 다른 행렬의 곱으로 표현하는 거죠. QR Factorization(Decomposition)처럼요. 다음과 같은 행렬..
대각화 학습목표 이번 강의에서는 고유값 분해와 밀접한 관련을 가지는 대각화의 개념에 대해 배워보겠습니다. 이는 나중에 배울 특이값 분해(SVD, Singular Value Decomposition)와도 밀접한 관련이 있으니 숙지하고 넘어가시길 바랍니다. 핵심 키워드 대각화행렬(Diagonalizable Matrix) 학습하기 이제 대각화(Diagonalize)를 생각해보죠. 기본적으로 이건 정방행렬에 대해 생각하는 개념이구요. Diagonal matrix라는, (i,i)의 값만 존재하고 나머지 좌표의 값은 0인 그런 행렬로 변환하는 과정을 대각화라고 생각하시면 됩니다. 다만 이건 모든 행렬에 대해 가능한게 아니라, 되는 행렬이 있고, 안되는 행렬이 있습니다. 아래 식에 등장하는 V matrix를 찾을 수 있는가..

티스토리툴바