AD

잡담 딥러닝게더 board-info 창에 프사가 변경됐군요

Moderator 베일쿤
2019-03-21 14:51:58 581 2 1

StyleGAN의 이미지 합성을 통해 만들어낸 High resolution image들로 알고 있는데 의미가 깊군요 ㅋㅋㅋ

해당 사진에 존재하는 인물들은 실존하지 않는 '합성된' 인물들이라 사이트제목도 재밌습니다.


https://thispersondoesnotexist.com/

한 번 들어가서 확인해보시죠.


Generative Model에 대한 내용은 2016년에 Ian Goodfellow 가 발표한 GAN Tutorial 논문에서 확인할 수 있습니다.


일단 Generative Model 의 장점을 살펴보면

  • High dimensional probability distribution을 추출해서 활용할 수 있음.
  • Reinforcement learning 에서 model-based model들은 generative model을 포함하기 때문에 sequential한 데이터에 대한 generative model은 미래의 데이터를 예측할 수 있게 해줌.
  • Semi-supervised learning에서 활용 가능. 


Face Synthesis에 관하여 Loss function으로 MSE를 사용하면 디테일한 부분들이 blurry 해지는데

GAN loss를 활용하게 되면은 sharp하게 이미지를 합성하여 디테일을 살릴 수 있습니다.


GAN loss를 활용함으로써 여러 케이스의 가능한 output 중에서 무엇이 더 디테일하고 실제와 가까운 이미지인지 판별할 수 있게 되었기 때문에 가능한 일입니다.


아무튼 해당 이미지들의 resolution을 보면 꽤나 높은 편인데 디테일이 뭉개어지는 부분 없이 깔끔한 것을 보면

GAN도 점점 성능이 증가하고 있는 것을 확인할 수 있는 것 같네요.

정말 GAN의 발전 속도는 항상 놀랍습니다.


이에 추가적으로 NVIDIA research에 올라온 GAN 기반 배경사진 생성 인공지능 알고리즘 GauGAN 을 살펴보면

기존 normalization 방법론들이 semantic한 정보를 지울 수도 있다는 점을 지적하고,

modulation parameter들을 semantic map으로부터 (2 conv layer를 통해) 직접 학습하도록 두어 문제를 해결했다고 합니다.


이렇게 되면 semantic한 정보들이 normalization 이후에 전달되므로 소실될 걱정을 하지 않아도 된다고 하네요. 

StyleGAN 등에 사용되었던 AdaIN과 같은 방법론들을 spatially-adaptive하게 일반화한 버전이라고 볼 수 있을 것 같습니다.


Normalization 또한 이미지 품질에 미치는 영향이 엄청난 것으로 보입니다.


아무튼 잡설이 길었는데 StyleGAN에 관련된 다른 글도 하나 첨부합니다.

https://www.lyrn.ai/2018/12/26/a-style-based-generator-architecture-for-generative-adversarial-networks/

후원댓글 1
댓글 1개  
이전 댓글 더 보기
TWIP 잔액: 확인중
▼아랫글 NIPS 2012에 나온 논문 읽다가 베일쿤
공지잡담최신뉴스자료공유연구/플젝Q&A
4
03-29
2
03-21
2
잡담
이런 곳이 있네요 [1]
OneSpoonTea
03-02
9
잡담
반갑습니다
Moderator 베일쿤
03-02
0
잡담
첫글? [1]
단단한_이과생
03-02
인기글 글 쓰기