딥러닝 0

안녕하세요 최근 앤드류 응 교수님의 강의를 보면서 머신러닝을 공부하고 있는 평범한 공대생입니다.

오늘 강의를 보던 도중 로지스틱 회귀 또는 loss function에 log가 들어가는 모든 신경망 모델에 대해서 생각을 해보게 되었습니다.

생각하기 쉬우시게 로지스틱 회귀에 사용되는 loss fuction을 적어놓겠습니다!!

L(y^,y) = -(ylogy^ + (1-y)log(1-y^))         y^=(y햇(출력값) 입니다..) , y=정답

이 때 tanh같이 범위가 (-1,1)인 함수를 출력뉴런의 활성화 함수로 선택하면 log(음수)=존재하지 않음이기

때문에 이런 함수는 출력뉴런의 활성화 함수로 사용하면 안되는 것이 맞죠? 

앤드류 응 교수님의 영상에서는 이진분류와 같은 로지스틱 회귀의 경우에만 sigmoid를 출력뉴런에 사용한다고 말씀하셨는데

꼭 이진분류가 아니여도 일단 loss function에  logy^가 들어가는 모든 모델은 출력 값 범위가

음수가 나올수도 있는 함수는 전부 출력 뉴런에 쓰면 안될 것 같은데 그런 언급이 없어서

제가 잘못 생각한건지 궁금하여 글을 쓰게 되었습니다!! 

(아 그리고 log가 밑이 e가 맞나요? 2라고 쓴 블로그도 본 것 같아서요...)