대부분 이곳저곳 보면서 스까로 사용해서 잘못되거나 이상한 내용이 있을 수 있습니다.
UVR 사용
아래분이 올려주신 내용과 동일합니다.
앙상블 모드(Ensemble) / 알고리즘 평균/평균(Average/Average) / 보컬/인스트루멘탈
Inst full 292 / Inst Main / Main 406 / Main 427 / Kim Vocal 1 / Kim Inst / Demucs mmi
총 7개 선택해서 보컬과 MR분리
이후 결과물에서 코러스 제거를 원하면 MDX Net 모드에서 Karaoke / Karaoke2 를 사용해서 분리시도 (잘안되는경우도 있음)
코러스 제거 이후 리버브, 에코 제거는 VR 아키텍쳐 모드에서 De-echo / De-reverb 등을 활용해서 제거
당연한 이야기지만 UVR작업이 반복될수록 손실이 발생합니다. ( 즉 학습 데이터세트용으로 문제가 발생 할 수 있음 )
SDR보컬이 높을수록 보컬분리를 잘한다는 의미
단독 모델로 MDX Voc FT 라는 모델이 음성 분리 좋다고 나왔음
해서 참조사이트에서 찾아봤는데 단독 스코어를 찾을 수가 없네요.. 흠...
Voc FT를 단독으로 돌릴 경우 찌꺼기음(잔음?)과 안 지워지는 효과음이 있습니다.
그래서 참조사이트에서도 확인해 보면 VocFT 모델도 앙상블에 섞어서 사용합니다.
올라온 지 얼마 안 된 글이라 저도 아직 사용 못 해봤습니다.
위에 순위표를 보면 알 수 있듯이 1번글 조합으로 분리하던 방식보다 스코어 점수가 더 높은 앙상블 조합이 있습니다.
새로 추가된 모델은 MDX32C 가 핵심이고 Voc FT와 마찬가지로 단독으로 사용하기보다는 앙상블 모드로 다른 모델과 조합해서 사용하는 것을 권장합니다.
작성 기준 해당 모델 사용은 참조 글 내용대로 UVR5베타와 별도 다운로드가 필요합니다.
==============
8/16 추가
집에와서 확인해보니 스크린샷속 모델을 찾기가 어렵네요
번거롭지만 참조글에서와 같이 MDX32C + Voc FT + @ 정도로 앙상블을 시도하는게 좋을 것 같습니다.
저도 MDX32C + Voc FT + Inst HQ3 으로 몇몇곡 분리해봤는데 말끔한 느낌이였어요.
앙상블을 통한 분리는 요령? 조합을 찾는게 좀더 중요해 보입니다.
또한 참조글에서 말하는 오버랩 사이즈라던가 하는 기존 UVR5에서 볼수 없던 설정값은 각 모델별 설정탭에서 수정이 가능합니다. (글대로면 수정없이 사용하면 됩니다)
요점은 사진과 같이 SDR Vocal 점수가 높고, 모델을 구할수 있는 단독/앙상블 조합이 확인 가능한 내용을 확인해서 분리해보세요
RipX
RipX라는 프로그램(유료/비쌈)을 사용하는 건데 전문 오디오 믹스 프로그램의 기능 중 DeepAudio의 오디오 분리 기능 사용하는 것
참조 글 내용과 같이 가수가 2명 이상인 경우 분리가 안될 경우 사용 가능한 방법
사진과 같이 사운드 데이터를 시각화/분리해서 정리해줍니다. ( 음성의 경우 음역대가 차이가 뚜렷한경우 선이 확연하게 달라짐 )
시간도 많이 걸리고 완벽하게 분리가 되는 것도 아니라 혼성곡을 하고 싶을 때 고려해 볼 만한 정도입니다. (3인곡 나눠보려다 너무힘들어서 포기함)
학습용 데이터
저의 경우는 보컬데이터가 없는 데이터로 해봤었습니다 ( 다른스트리머1, 2)
독타 선생님과 다르게 음역 샘플이 모자라서 추론해보면 괴음을 내던가 쉰소리가 나던가 하는 경우가 많습니다.
스트리머1의 경우는 ai할 생각이 없어서 깔끔한 고음질의 데이터가 없어서 라디오 방송을 직접 잘라서 학습을 시키는데, 당연한 이야기로 쿵쾅거리는 소리/마우스 소리/키보드 소리 다 지워줘야합니다.
이렇게 저렇게해서 가까스로 학습을 시키고 추론을 해보면, 분리한 추론용 샘플은 깨끗함에도 쇳소리가 나던가 고장난다는 등의 문제의 90%는 학습용 데이터가 모자란겁니다.
1차적으론 키(12씩 말고 3 6 9 정도 적은 수로 바꿔봐도 좋습니다) 를 바꿔보든지 하는식으로 추론을 진행시키던가
다른 대안으로는 우연치않게 고음 추론이 잘나온 노래를 데이터로 재활용 (좋은 방법은 아닙니다) 하는식으로 해야합니다.
아님 원모델의 빈약한 음성샘플을 졸라보던가... (노래 3곡정도 불러달라고하기)
믹싱
저도 처음에는 분리한 inst 와 추론한 vocal만 넣었는데
참조글 내용과같이 믹싱을 하면 저같은 허접도 그럴싸하게 되더라구요
비슷하거나 다를 수 있는데
UVR 분리 -> 1차보컬 / 1차MR
코러스제거 -> 1차보컬의보컬 / 1차보컬의MR
리버브제거 -> 1차보컬의보컬의보컬 / 1차보컬의보컬의MR
총 6개의 파일이 생성됩니다.
이때 추론은 1차보컬의보컬의보컬을 넣고
믹싱할때는
1차MR / 1차보컬의MR / 1차보컬의보컬의보컬 / 1차보컬의보컬의MR / 추론보컬 을 섞는식을 사용합니다.
전부다 게인을 -12로 줄이고 추출한 보컬만 따로 올려서 하고 있습니다.
스테레오 오디오의 경우 각 좌우 트랙 분리해서 추론하고 믹싱할 때 좌우로 놔주면 공간감 좋아집니다.
믹싱, 마스터링은 독타선생님이 더 고수일테니! 방송을 보는 것으로...
뭔가 이것저것 더 적으려 했더니 모바일 한계상 글 쓰는 게 힘드네요
집에 가서 보강할 내용이 더 떠오르면 보충하겠습니다!
8/16 추가
음성학습의 커버곡 경우 학습 데이터 구하는게 45% 추론용 곡 정리하는게 45% 라고 생각합니다.
남은 10%는 믹싱/마스터링으로 퀄리티 올리기 혹은 모자란점 채우는게 아닐까해요. (사람마다 생각이 다를수있어요)
대부분 학습 데이터의 퀄리티가 떨어져서 고생하는 경우가 많습니다.
독타선생님 방송의경우 자체 보유한 고음질 보컬 소스가 다양해서 해당부분은 스무스하게 넘어갔는데, 노래 데이터가 없는 화자의 경우 추론시에 삑사리/쇳소리/무음처리등 여러 문제가 발생합니다.
추론용 곡의 퀄리티가 떨어지는 경우(화음분리,악기분리 안된경우) 노래를 잘부르다가 이상한 소리를 낸다던가, 발음이 꼬인다던가(이건 잘했어도 안되는경우가 있지만) 이런저런 이슈가 있습니다.
방송에서처럼 믹싱 마스터링을 좀 더 능숙하게 할 수 있으면 위의 문제점도 어느 정도 보완이 가능하겠지만, 그런 거에 대한 지식을 아는 경우가 별로 없다 보니 대부분 팬심으로 하던 사람은 어느 정도 타협을 하면서 이 정도면 이쁘지 하던가, 문제가 되는 구간을 죽여버리던가 해서 편집하는 경우가 많았습니다.
저또한 그런식으로 하던가 해당 곡은 포기하던가 하는 식으로 했었습니다.
아무튼 정신없는 글이지만 독타의 믹싱방송을 보고 관심을 가지시는 분들께 도움이될까해서 적어보았습니다.
좋아하는 방송인의 불가능한 커버라던가 자신의 목소리로 이런 노래를 불러보는걸 희망하시는 분들에게 도움이 되었으면합니다.
p.s "이거 아닌데"면 말씀하신분이 맞습니다. 저도 뉴비에요...
얃얃합니다 
아르카누스 
와사빈_