전체 글
-
[cs224n] Lecture 13카테고리 없음 2021. 8. 16. 20:26
Pre-trained Word vectors cs224n lecture 초반에 word embedding에 다루었다. word embedding에 대해 리마인드 하고 넘어가자면, 단어를 특정 차원의 벡터 공간 상에 매핑함으로서 기계가 자연어를 이해하고, 단어간의 관계를 이해할 수 있도록 표현하는 것이다. word embedding을 이용하는 방법은 두가지가 있는데, 첫번째로는 pre-trained 된 word vector를 이용하는 방법과, 두번째로는 random word vector로부터 시작해서 학습하는 방법이다. 대부분의 경우, pre-trained 된 word vector를 사용하는 것이 더 많은 학습 효과를 얻을 수 있으므로 추천되는 방법이다. Unknown words(unk) in word v..
-
[cs224n] Lecture 8NLP 2021. 8. 7. 23:31
Machine translation machine translation이란 말 그대로 특정 언어의 sentence x를 다른 언어의 sentence y로 만드는 task이다. 이번 lecture에서는 시간에 따른 machine translation의 동향에 대해 알아볼 예정이다. 1990-2010s: Statistical Machine Translation 다음과 같이, statistical machine translation에서는 주어진 문장에 대해 가장 확률이 높은 문장을 Bayes Rule을 이용하여translation model과 language model의 곱의 최댓값으로 계산한다. translation model의 경우 단어가 구를 번역하는 역할을 하며, language model은 이전 le..
-
[cs224n] Lecture 7NLP 2021. 8. 7. 23:30
Backpropagation for RNN 먼저, 위의 예제를 확인해보자. 다음의 미분값을 어떻게 구할 수 있을까? 위의 식은 chain rule에 따라 다음과 같이 변형할 수 있으며, 모든 layer에 대해 동일한 가중치를 공유하므로 dh(t)/dh(t-1)은 다음과 같이 하나의 식으로 표현될 수 있다. 즉, step i에서의 loss J에 대한 미분 값을 이전의 previous step j에 대해 표현하면 다음과 같이 표현할 수 있다. 또한 이 식은 norm의 성질에 의해 다음과 같은 부등식으로 표현할 수 있다. 다음과 같은 부등식을 이용하여, W(h)의 가장 큰 고윳값이 1보다 작다면 계속하여 1보다 작은 값을 곱하기 때문에 gradient가 빠르게 사라지는 vanishing gradient pro..
-
[cs224n] Lecture 6NLP 2021. 8. 7. 23:30
Language Modeling Language modeling의 정의: Language modeling is the task of predicting what word comes next. More formally, given a sequence of words x(1)...x(t), compute the probability distribution of the next word x(t+1) 즉, 만약 x(1)부터 x(T)까지의 text가 존재한다면, Language model에 따른 이 text의 확률은 다음과 같다. 그렇다면, 우리는 현재 존재하는 text를 이용하여 어떻게 다음 text의 확률을 계산할 수 있을까? 설명을 위해, 먼저 n-gram의 개념에 대해 알고 넘어가자. n-gram의 정의는..
-
[cs224n] Lecture 5NLP 2021. 8. 7. 23:30
Constituency Parsing & Dependency Parsing Parsing 이란 문장 혹은 구문을 분석하는 방법을 칭하며,크게 Constituency Parsing 과 Dependency Parsing으로 나뉜다. -Constituency Parsing: 문장의 구성 요소(명사, 동사..)를 이용하여 구조를 분석하는 방법 흔히 우리가 영어 문법을 배울때 사용하는 방식이다. 하지만 문장의 구성 요소만으로는 문장을 올바르게 분석하기가 어려운데, 수업 중 소개한 여러 재미있는 예제들 중 재미있는 예제를 하나 가져와봤다. 즉, 문장의 구성 요소만으로는 문장을 완벽히 분석할 수 없으며, 단어간의 관계를 파악해야 올바른 분석이 가능하다. 이처럼 단어간의 의존관계를 이용한 Parsing을 Depende..
-
[cs224n] Lecture 4NLP 2021. 8. 7. 23:30
Matrix gradient for Neural Network 다음과 같이, z를 W(ij)으로 미분한 값은 현재의 Local gradient signal x(j)이다. 즉, s를 W으로 미분한 값은 위에서 내려오는 error 와 현재의 Local gradient signal 을 곱한 값이다. 다시말해, Upstream gradient 과 Local gradient를 곱한 값이 s의 Weight matrix에 대한 미분값이다.(ds/dW) 이 값을 이용하여 Backpropagation 시 가중치를 업데이트 한다. 이와 같이, Upstream gradient 와 Local gradient를 곱한 값을 이용하는 부분은 Lecture 4 후반 부분에 다시 이용된다. 그렇다면 위에서 Error signal을 이..
-
typeorm migration problem카테고리 없음 2021. 6. 29. 18:20
typeorm 을 이용해 migration 진행 시, 발생한 문제점과 해결책 정리 1 - migration generate code .node_modules/.bin/ts-node ./node_modules/typeorm/cli.js migration:generate -n AddExpend(예시 이름) 2 - migration:run problem cannot use import statement outside a module 문제 해결 npm install --save-dev tsconfig-paths "typeorm": "ts-node -r tsconfig-paths/register ./node_modules/typeorm/cli.js" 를 script에 추가. npm run typeorm migra..