Deep Learning Specialization16 Transformers [Deep Learning Specialization #15] Coursera의 Deep Learning Specialization - Week 5의 강의를 수강하면서 필기한 내용을 바탕으로 정리한 글입니다. 지난 시간에는 Sequence to Sequence Models 등에 대해 배웠습니다. 이번 시간에는 Transformer Network를 살펴 보겠습니다. What is Transformer Network? 지금까지 시퀀스 모델로 RNN, GRU, LSTM을 배웠습니다. RNN은 아주 단순한 형태이고, GRU와 LSTM은 문장 단어의 순서를 고려한 모델이었습니다. 모델이 변화함에 따라 정보의 흐름을 제어하는 것이 용이해졌지만, 그만큼 모델의 복잡도가 높아졌습니다. 최근 각광받고 있는 네트워크 모델이 바로 Transformer입니다. Transformer는 A.. 2022. 8. 23. Sequence to Sequence [Deep Learning Specialization #14] Coursera의 Deep Learning Specialization - Week 5의 강의를 수강하면서 필기한 내용을 바탕으로 정리한 글입니다. 지난 시간에는 Word Embeddings와 NLP(Natural Language Processing) 아이디어 등에 대해 배웠습니다. 이번 시간에는 Sequence to Sequence Models를 살펴 보겠습니다. Conditional Language Model 기존의 모델과 다르게, 프랑스어로 구성된 문장이 입력으로 들어오면 영어로 구성된 문장으로 번역하는 모델을 생각해 봅시다. 이 모델은 입력과 출력이 모두 시퀀스로 구성된 Sequence to Sequence 모델의 구성을 띠게 됩니다. 기존 모델에서는 단순한 입력이 바로 신경망에 입력으로 들어갔지만.. 2022. 8. 20. Word Embeddings [Deep Learning Specialization #13] Coursera의 Deep Learning Specialization - Week 5의 강의를 수강하면서 필기한 내용을 바탕으로 정리한 글입니다. 지난 시간에는 RNN, LSTM, GRU 등에 대해 배웠습니다. 이번 시간에는 Word Embeddings와 NLP(Natural Language Processing) - 자연어 처리에 대한 아이디어를 살펴 보겠습니다. Word Representation 지난 시간에 시퀀스 모델에서 단어 하나를 one-hot vector로 표현한다고 배웠습니다. 하지만 one-hot 표현은 다른 단어들과의 유사성, 상관관계를 추론할 수 없다는 점이 큰 단점입니다. 예를 들어, orange 다음의 빈 칸에 "juice"가 오도록 학습된 모델이 apple을 봤을 때, one-ho.. 2022. 8. 18. RNN [Deep Learning Specialization #12] Coursera의 Deep Learning Specialization - Week 5의 강의를 수강하면서 필기한 내용을 바탕으로 정리한 글입니다. 5주차는 시퀀스 모델에 대해 배웁니다. Sequence Model 시퀀스 모델이란, 입력 데이터가 순서를 가지고 있는 것을 말합니다. 음성 오디오의 경우가 대표적입니다. 시퀀스 모델의 입력 X는 하나의 원소가 하나의 단어를 의미합니다. i번째 예제에서 t번째 원소를 표현할 때 X(i)처럼 표기합니다. 출력 Y는 입력 X가 의미하는 단어를 라벨링한 값이 됩니다. 시퀀스 길이는 Tx, Ty로 표기하고 본 예시의 경우, Tx와 Ty는 X의 길이인 9와 같습니다. 그렇다면 X은 실제 모델에서 어떤 형태로 입력될까요? 사용자는 자신들의 단어 사전 Vocab을 미리 만들.. 2022. 8. 1. Face Recognition [Deep Learning Specialization #11] Coursera의 Deep Learning Specialization - Week 4의 강의를 수강하면서 필기한 내용을 바탕으로 정리한 글입니다. 지난 주차에는 Detection Algorithm을 살펴 보았습니다. 이번 주차에는 Face Recognition을 살펴 보겠습니다. Verification vs. Recognition Verification(인증)은 사진과 ID가 주어지면, 사진 속 인물과 ID가 일치하는 지를 판단하여 True / False를 내보냅니다. 반면, Face Recognition(안면인식)은 k명에 대한 정보가 담긴 데이터베이스가 있을 때, 사진 속에 데이터베이스에 존재하는 사람이 있는지, 있다면 누가 있는지를 알려줍니다. 인증과 다르게 일대다 메커니즘으로, 훨씬 어렵고 복잡합.. 2022. 7. 28. Detection [Deep Learning Specialization #10] Coursera의 Deep Learning Specialization - Week 4의 강의를 수강하면서 필기한 내용을 바탕으로 정리한 글입니다. 지난 주차에는 여러 CNN 모델 연구를 살펴 보았습니다. 이번 주차에는 Detection Algorithm을 살펴 보겠습니다. Landmark Detection 하나의 이미지를 분류(Classification)하는 모델과 그 좌표를 찾는(Localization) 모델은 하나의 물체에 대해서만 수행됩니다. 하지만 실제 사진 속에는 고양이, 차, 신호등, 횡단보도 등이 한 번에 들어있는 경우가 훨씬 많습니다. 입력 영상 속에 물체가 있는지, 있다면 어떤 물체들이 어디에 있는지를 수행하는 것을 탐지(Detection)라고 합니다. 탐지 모델의 Label y를 살펴보.. 2022. 7. 27. CNN Case Studies [Deep Learning Specialization #10] Coursera의 Deep Learning Specialization - Week 4의 강의를 수강하면서 필기한 내용을 바탕으로 정리한 글입니다. 지난 주차에는 CNN에 대한 개념 사용하는 이유, 그리고 간단한 CNN을 살펴 보았습니다. 이번 주차에는 여러 CNN 모델 연구를 살펴 보겠습니다. LeNet-5 이미지 분류를 위한 CNN 중 초기에 기본 구조를 잘 정립한 모델입니다. INPUT이 있고, CONV1 => POOL1 => CONV2 => POOL2 => FC1 => FC2 => OUTPUT으로 구성됩니다. CONV + POOL을 합쳐 하나의 Layer로 취급하고, 총 5개의 Layer를 pass합니다. CONV1의 커널 사이즈(=필터 사이즈)는 5 x 5, Strides = 1입니다. Featu.. 2022. 7. 26. CNN [Deep Learning Specialization #9] Coursera의 Deep Learning Specialization - Week 4의 강의를 수강하면서 필기한 내용을 바탕으로 정리한 글입니다. 4주차는 Deep Learning의 핵심인 합성곱 신경망(CNN)과 CNN을 활용한 다양한 모델들에 대해 배웁니다. CV(컴퓨터비전) 분야에서는 주로 입력으로 이미지가 들어오게 되는데, 이미지의 크기는 1024 * 1024의 경우 약 100만에다가 R,G,B 3개의 채널이 있으므로 약 300만의 크기를 가지게 됩니다. 해상도가 커지면 그 크기는 지수적으로 커지게 되죠. 이미지처럼 입력의 크기가 매우 큰 경우, 일반적인 신경망을 이용하기에는 연산이 매우 느려 사용이 힘듭니다. 이에 맞추어 Convolution Neural Network, 합성곱 신경망이 등장합니.. 2022. 7. 23. Error Analysis [Deep Learning Specialization #8] Coursera의 Deep Learning Specialization - Week 3의 강의를 수강하면서 필기한 내용을 바탕으로 정리한 글입니다. 지난 주차에는 실무에서의 Machine Learning을 다룰 때 마주하는 문제점들을 분석하고 해결하는 전략들을 배웠습니다. 이번 주차에서는 에러 분석과 다양한 ML 모델을 살펴 봅니다. Error Analysis 이전 시간에 여러 Metric을 활용하여 모델의 성능을 개선 방향을 최적화할 수 있다는 것을 배웠습니다. 비슷하게, 여러 고양이 분류기 모델을 학습시키고 평가하기 위해 다양한 지표를 기준으로 둘 수 있습니다. Dog : 강아지 이미지를 고양이로 분류하는 Error Big cat : 큰 고양이에 대해 저하되는 성능 오차 Blurry : 흐린 이미지에 .. 2022. 7. 20. 이전 1 2 다음 728x90
