본문 바로가기

머신러닝/[기타]

 (29)
Precision at k(Pr@k), Average Precision(AP), Mean Average Precision(MAP) 일전에 분류 성능평가 - 에 대해 언급한 적이 있는데, 여기에 추가하여, 실제 논문에서 자주 볼 수 있는 Precision at k(Pr@k), Average Precision(AP), Mean Average Precision(MAP) 라는 개념에 대해 정리해둘게요. 정밀도(Precision)와 재현율(Recall)에 대한 개념을 알고계시다는 가정하에, 다시 한번 말로만 지껄여보면, 정밀도라는 건, 모델이 참이라고 예측(검출)했는데 찐으로 참인 비율. 재현율이라는 건, 실제로 참인 것들 중에 모델도 참이라고 예측한 비율입니다. 그리고 이러한 정밀도와 재현율은 Trade-off 관계에 놓여 있어, 하나가 높아지면 하나는 낮아질 수 밖에 없는 구조였습니다. 쨋든 정밀도든 재현율이든 일단 계산을 하긴 할텐데,..
Non-local self-similarity 'Deep graph-convolutional image denoising' 이라는 논문을 읽는 중 제목과 같은 Non-local self-similarity 라는 단어를 접했는데 이게 무슨 쌉소리인지 잘 이해가 가지 않았습니다. 더 정확한 문장은 Non-local self-similarity is well-known to be an effective prior for the image denoising problem 지역적이지 않은 자기 유사성은,,. 이미지 디노이징 문제를 위한,,. 효과적인 prior로 잘 알려져있다...??? Image denosing problem은 Image classification, Object detection, Pose estimation 등에서 이미지가 좀 깨끗하면 그..
그래프 임베딩(Graph embedding, Deepwalk, Node2Vec, SDNE, ETC) 앞서 인접 행렬, 라플라시안 행렬 등을 말씀드리면서, 그래프를 예쁘장하게 표현한 저런 행렬들은 기본적으로 사이즈가 너무 크다는, 큰 단점이 있다. 때문에 그래프 임베딩을 통해 조금 더 저차원에 정보를 압축해 사용한다- 고 말씀드렸습니다. 그런 그래프 임베딩은 어떤 방식으로 학습되는지, 그리고 어떤 방법론들이 제시되었는지- 에 대해 정말 간략히 정리해두겠습니다. 참고로 아래 내용은 모두 NLP에서의 임베딩 방법론에 대한 지식이 어느정도 있는 것을 가정하고 작성하였습니다. A. Deepwalk: Online Learning of Social Representations (2014) 2014년에 발표된 논문입니다. 여기서 등장하는 임베딩은 NLP에서의 임베딩 방법론과 크게 다르지 않습니다. 정확히는 Word2..
그래프와 인접 행렬, 라플라시안 행렬(Adjacent matrix, Laplacian matrix) 머신러닝을 처음 공부하면, 대개 테이블로 구성된, 이미 예쁘게 정돈된, Pandas로 읽어내려 사용만 하면 되는 그런 데이터들을 접하게 됩니다. 이런 데이터를 몇 번 다루다, 이후에는 이미지 또는 자연어를 접해요. 이미지는 사실 그 자체로는 여태 보던 테이블과는 달라서, 이걸 여러 색상 포맷에 맞게끔 조작해서, 최종적으로는 행렬로 만들어 다루게 되요. 자연어도 똑같이, 어떤 문장 데이터가 있으면, 이걸 자기가 다루기 편하게 행렬로 예쁘장하게 변환하구요. 이렇게 내 용도에 맞게 약간의 조작을 거쳐야하는 데이터 타입 중 하나가 그래프인 것 같아요. 위 그림과 같은 데이터가 그래프 데이터의 예시입니다. 단순하게, 그냥 노드(Node, Vertex)와 엣지(Edge)를 가지기만 하면되요. 여기에 추가로 Node..
CNN의 흐름? 역사? CNN의 종류가 너무 많습니다. 처음 접할 때는 LeNet, AlexNet, VggNet… 정도 였던 것 같은데, 지금 저런 모델은 구닥다리로 취급되고 훨씬 좋은, 그리고 멋진 테크닉이 적용된 모델이 등장했습니다. 이번에는 이런 CNN들이 흐름대로 발전해왔는지, 그 흐름을 기록해두겠습니다. # 시작 CNN은 1989년 “Backpropagation applied to handwritten zip code recognition, LeCun, 1989” 에서 처음 소개되었습니다. # 왜 CNN? 이미지를 flat하게 펼쳐 MLP로 학습하는 것은 분명 가능하나, flat하게 펼치는 행위에서 이미지의 지역적 정보(topological information)가 날아가버리며, 해당 데이터를 추상화시키지 않고 바로 ..
Universal Approximation Theorem, UAT 제가 머신러닝을 처음 접했을 때 굉장히 인상 깊었던 한 정리가 있었습니다. 사실 정리 전체의 문맥을 보지도 못했고 굉장히 러프하게 접했던 문장 정도 였는데, 얼마전에야 해당 정리의 이름과 전문을 알게되었습니다. 그것이 오늘 말씀드릴 Universal Approximation Theorem, UAT 입니다. 이것의 최초 정리가 George Cybenko에 의해 1989년에 증명되었기 때문에, Cybenko's theorem 이라고도 불리는듯 합니다. A feed-forward network with a single hidden layer contating a finite number of neurons can approximate arbitrary well real-valued continuous func..
Ordinary Least Squares, OLS 선형 회귀 관련 글을 읽다 OLS formula- 라는 것을 접했는데, 보통의 최소제곱..? 이라고 해석되는 OLS는, 결국 저희에게 친숙한 최소제곱법(Least square method)을 통한 풀이방식 중 하나인 것 같습니다. y = ax +b 라는 식으로 시작되어 문제를 해결하는 선형 회귀 모델은 실제 행렬을 통해 포현하면, Homogeneous coordinate를 통해, y = Xw와 같은 식으로 표현될테고, 이들의 잔차(Residual)는 y - y^ = y - Xw 로 표현되겠지요. 그럼 이런 잔차들의 제곱합 = Sum(y-Wx)^2을 최소화하는게 저희의 문제, 즉 최소제곱법 문제입니다. 이러한 문제는 경사하강법 또는 뉴턴법 등의 다양한 알고리즘으로 풀 수 있을텐데, 이중 가장 Ordinar..
Senna's Embedding / Gazetteer feature? Bidirectional LSTM-CRF Model for Sequence Tagging이라는 논문을 읽다가 Senna's embedding, Gazetteer feature이라는 단어가 등장했습니다. 이게 뭔가 했는데 SENNA라는게 NLP Software네요.(...) 그리고 Gazetteer feature는 그냥 지명 사전..? 혹시나 저와 같은 고민을 하시는 분들이 있을까 그냥 간단하게만 정리해보겠습니다. Semantic/syntactic Extraction using a Neural Network Architecture 위 링크를 따라가시면 SENNA가 뭐하는 친구인지 나와있습니다. 간단하게 번역하면 다양한 NLP Task(POS tags, Chunking, NER 등)를 처리할 수 있는 소프트..

티스토리툴바