라이크나우

벌써 21일...ㅇㅁㅇ 오늘은 간단했따 아주 좋다 (뒤에 코드부분은 아직 작성을 못했다) 한페이지로 정리해보았는데...다 담겼을지 한번 봐보자. 그림에 담긴건 📝, 안담긴건 ❎표시를 할거다 왜냐면 내맴 📝Graph는 Network라고도 부르며 정점(vertex) 노드(node) 간선(edge, link)로 이루어진 수학적 구조이다. ❎그래프는 복잡계(complex system)의 구성 요소 간의 상호작용을 표현한거다. ❎친구관계, 전자 상거래 구매 내역, 정보통신 혹은 Web, 뇌의 뉴런 연결, 지식 그래프, 화학 분자, 단백질 상호작용, 세포간 유사도 그래포, 이미지 분해 등에 쓰인다. 📝A 그래프와 D그래프는 간선의 방향 유무를 나타낸다. A그래프는 협업 관계 혹은 페이스북 친구 그래프 등을 표현할 ..

피곤해서 그렇지 내용은 진짜 재밌다. 단지 하루가 48시간이기만 하면 참 좋겠다. 오늘은 sequence to sequence에 대해서 자세히 다뤄본다. 어텐션은 지난번에 배웠었으니 간략하게 설명하고자한다. Seq2Seq with Attention 문장을 넣어서 문장을 받고싶어하는 모델이다. 기본적으로 encoder와 decoder로 이루어져 있는데, encoder에서는 input에 대한 hidden state vector를 계산하고, 해당 벡터를 decoder에 넣어서 이 벡터로 지지고 볶으면서 원하는 출력을 내보내고자 하는 것이다. 저기 가운데 thought vector 부분에서 encoder의 최종 hidden state vetor가 decoder의 input으로 들어가고 끝이다. 어제 코드에서도 ..

진짜 너무 깔끔하다. 내가 헷갈리던 부분들 다 술술 말해주심. 조교님 실습설명도 짱이야 하튼 짱임 오늘은 RNN을 배워보자 이전에 배웠던 내용 복습 느낌이라 좋았다. 실습했던 내용과 함께 dimension에 익숙해지는 시간을 가지려고 한다. RNN 매 순간 동일한 weight 행렬을 이용해 재귀적으로 학습한다. 이 한페이지면 충분한 설명이 될 듯 싶다. 행렬들을 이어붙혀서 연산하는 모양새는 오른쪽 그림을 참고하면 된다. 그럼 여기서 구현 코드를 살펴보자. 아 우선, 문장 길이가 다를텐데라는 생각에 도대체가 input의 형태가 그려지지가 않아서 어제 헷갈려서 혼났었다..근데 padding하면 되더라 에궁 우선 이번 실습은 모든 데이터를 하나의 배치로 사용한다. 먼저 한번에 정리하고 가자. vocab_siz..

아 재밌다.(진짜임) NLP에 대해서 본격적으로 배우기 시작했다. 정말 너무 배워보고싶었다. 여기저기 지원공고를 들여다볼 때 NLP 경험 적으라는걸 너무 많이 봤어서 대체 왜 뭐길래 왜때문에 뭘 위해서(광희톤) 하튼 NLP는 NLU와 NLG로 나뉜다. understanding과 generator 오늘은 NLU를 전반적으로 다뤘던 것 같다. 우선 종류들부터 자세히 살펴보고가자 자연어를 가지고 무언가 학습하고 처리하는 여러 분야들에 대한 설명이다. NLP 말 그대로 자연어처리. level별로 해야할 일들을 정리해주셨다. low-level parsing Tokenization, stemming tokenization은 token단위로 쪼개는거다. 단어 단위라고 하셨는데 단어는 아니고 형태소 단위로 쪼개는 듯 ..

이제 좀 걸어볼 수 있지 않을까 하는 기대감에 걸음마라고 이름지어봤다. convolution은 저번에 말했듯이 커널(마스크)를 기존 픽셀에 하나하나 씌우는거다. 자세한 방법은 지난 시간에 정리한걸 참고하면 좋겠다. 3d image의 convolution을 살펴볼건데, 👆여기서 image는 3차원 이미지인게 아니라 컬러 이미지란거다. 32*32*3 image의 3은 RGB 채널이다. 그래서 처음 이 그림을 보고 이해가 잘 안갔었다. RGB를 뭉개버리고 행렬로 만들어버리는건가? 왜..? 컬러를 왜...? ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 그래서 찾아보니 아하 위에 그림은 빨간색 선만 골라내는 필터이고, 밑에는 세로축을 싹 골라내는 필터이다. 이런식으로 사용하는거라면 이해한다. 만일 색을 살리고 싶다면 이런식으로 하면 ..

왜 쉬어가냐면, 오늘 수업 자체는 모델의 개요를 훑는 식으로 진행했기 때문에 그닥 어려운 내용은 아니었다. 하지만 내가 이해못한 부분이 하나 있는데 그게 계속 나오니까 이해하는데 너무 방해되더라..그래서 일단 날잡고 이해해야 목금이라도 제대로 들을 수 있을 것 같아서, 오늘은 나홀로 이해안갔던 부분을 파보는 시간을 가져보겠다. 솔직히 분량 장난아니다 ㅎㅎㅎ... NN의 파라미터 즉 weight 와 bias에 대한 개념이 머릿속에 제대로 그려지지가 않는다. 그래서 오늘 한번 제대로 정리해보려고한다. 사실 이해 못하고 넘어간 내용이 있다 11일차 학습정리를 아직 하지 못했는데 그게 끊긴 이유가 이거다..ㅎㅎ 하튼 오늘 이해하고 넘어가자! 사실 난 저 수식이 이해가 안갔다. weight의 dimension을 ..

강의는 CNN 첫걸음 이라고 하셨는데 아무래도... 아직 못 걷는거 같아서 기어가기로 바꿨다 하하 Convolution 연산 먼저 이해해보자. 그닥 어렵진 않다. 다행히 바로 직전 학기에 영상정보처리에서 배웠던 내용이다. 지금까지 배운 MLP은 각 뉴런들이 선형모델과 활성함수로 모두 연결되어 있는 구조였다. 그러니까 나의 raiknow.tistory.com/77 그림을 가져오자면 (어쩌다보니 이전글이 아니라 다음글이네) 👆노란선 먼저 연산하고 빨간줄 그 다음에 연산하고..그 결과 아래와같은 모양새가 나온다. 👆w 행을 차례차례 훑어 나가면서 결과물을 내는거다. 그렇게 하면 weight 행렬이 너무 커지게 된다. 그래서 이걸 줄이기 위해 convolution 연산을 한다. 👆커널(kernel)을 입력벡터 ..

오늘 수업 내용 너무 유익했다. 짱 좋다. 어제부터 집안에 일이 뭐가 많았어서 제대로 공부하질 못했다..어제(11일차) 학습 정리는 결국 fail....평일이나 주말에 꼭 해치우자 난 할 수 있다! 우선 매번 하듯이 용어 정리 먼저. 여태 정리했던 내용과 겹치는 부분도 있지만 복습하는 기분으로 다시 한번 보자~ 용어정리 Gradient Descent 경사 하강법. 미분하며 값을 변화시킬 방향을 정한다. local한 minimum만 구할 수 있다는 단점이 있다. Generalization 일반화 그러니까 train data로 학습을 하잖아? 하지만 train data에서만 잘 돌아가는 모델은 의미가 없다. 새로운 data에 대해서도 잘 돌아가야 의미있는 모델이다. 많은 경우에 일반화 성능을 높이는게 목적이..

DL Basic먼저 정리할거다. 왜냐면 하고싶으니까ㅎㅎ 아니 이렇게 못끝낸 티스토리 11일만인데 오늘따라 구글시트 통해서 들어온 사람이 몇 잇네......저 원래 진짜 맨날 햇어요....어제만 일이 있었다고 집안일...흑흑....... 하튼 아직도 작성중.... 먼저, 역사적인 흐름을 쭉 훑어주셨는데 너무 좋았다. 전체 적인 흐름을 잡고 공부하면 더 잘된다. 이 흐름 이후에 가장 간단한 MLP의 구현까지 나갔다. 딥러닝의 key components는 네가지가 있다. data model loss function algorithm 자세한 설명은 생략해도 좋을 듯 하고.. AI의 역사에서 큰 역할을 한 모델들을 쭉 나열해주셨다. 하나하나 배워갈 때 마다 이 게시글에 와서 밑줄 쫙 그을거다. 2012년 Alex..

라는 의문에서 시작한 글이다. 사실 backpropagation을 사용하는 뉴럴 네트워크를 머리 속에 떠올려보니 MLE가 들어갈 틈이 없더라구. 그래서 검색해봤는데 웬걸 그냥 정답이 딱 이더라구. blogyong.tistory.com/28 머신러닝의 전반적인 흐름(에러 관점, 확률론적인 관점 그리고 MLE와 MAP차이 및 연관성) 네이버 d2에서 이활석님께서 아주아주 최근에 발표하신 영상과 슬라이드를 공유해 놓으셨다.(링크는 맨아래) 목적은 autoencoder를 설명하기 위함인데 이를 위해 초반부분에 deep Neural Network와 관련 blogyong.tistory.com www.youtube.com/watch?v=o_peo6U7IRM&feature=youtu.be 위의 티스토리 글을 먼저 봤고..