[13일차] 나홀로쉬어가기(NN의 파라미터 탐구)

왜 쉬어가냐면,

오늘 수업 자체는 모델의 개요를 훑는 식으로 진행했기 때문에 그닥 어려운 내용은 아니었다. 하지만 내가 이해못한 부분이 하나 있는데 그게 계속 나오니까 이해하는데 너무 방해되더라..그래서 일단 날잡고 이해해야 목금이라도 제대로 들을 수 있을 것 같아서, 오늘은 나홀로 이해안갔던 부분을 파보는 시간을 가져보겠다.

 

솔직히 분량 장난아니다 ㅎㅎㅎ...

 

NN의 파라미터 즉 weight 와 bias에 대한 개념이 머릿속에 제대로 그려지지가 않는다. 그래서 오늘 한번 제대로 정리해보려고한다.

 

사실 이해 못하고 넘어간 내용이 있다 11일차 학습정리를 아직 하지 못했는데 그게 끊긴 이유가 이거다..ㅎㅎ

(2월3일 기준 11일차가 끊겨있는 부분 ㅎㅎ)

 

하튼 오늘 이해하고 넘어가자!

사실 난 저 수식이 이해가 안갔다.

 

weight의 dimension을 자유자재로 조절할 수 있다는 이야기인데. 좀 더 자세히 살펴보자.

 

1.

 우선 입력값의 종류가 하나라고하자. 음 다른말로 하면2차원 평면의 점들이 주어지면 그 점이 어느 영역에 속한 점인지 분류하려고 한다.

👆이런 케이스. 입력값은 좌표들이므로 입력값은 종류는 하나이다. 이럴 경우 NN의 구조는 어떻게 될까.

👆input이 계속 들어오면서 cost function을 통해 적절한 w값들(w 벡터 값)로 계속 업데이트 된다.

>여기서 w의 개수를 조절할 수 있다.<

지금 나는 점 A, B, C을 각각 다른 점과 나누는 세개의 선을 찾고 싶었기 때문에 파라미터 갯수를 3개로 했다.

(세개의 선들을 softmax 함수에 넣어서 확률로 바꾸는건 지금 주제가 아니니까 언급만 살포시)

이때 w벡터는 [3, 1] 모양이겠다.

 

여기서 내가 만일 선을 두개만 찾고 싶다면? hidden layer의 동그라미를 두개로 줄이면 되겠지!

 

 

이거쥐~

 

2.

입력값을 종류가 여러개라면?

예를 들어.. 수입, 성별, 나이, 소득분위를 이용해 거주지를 예측하고자 한다면 입력값을 종류가 3개이다.

👆그렇다면 위와 같은 NN을 만들 수 있다. 

(절대 식 쓰기가 귀찮아서가 아니라) 이번엔 2개의 식을 만들어보고싶었다.

X[0]에는 수입 카테고리의 입력값들이 계속 들어갈 것이고 X[1]은 성별, X[2]는 나이, X[3]는 소득분위이다.

w는 결국 카테고리 별 영향력을 계산하는 것이기 때문에 카테고리 갯수와 동일하다. 즉 [-1, 4]이란거다.

지금은 shape가  [2,4] 인거지.

하지만 앞에 -1은 내가 조절할 수 있다. 선을 다섯개를 만들고싶다? [5,4]로 정하면된다.

 

이제 weight의 dimension을 자유자재로 조정할 수 있다는 말이 이해가 되겠지?

오해하면 안되는 점은 행과 열 둘다 자유롭게 조정할 수 있는건 아니고, 열 갯수는 카테고리(입력값을 종류)로 고정되어있다. weight수만 늘릴 수 있는 것이다!