사진 1장만 있으면 비디오를 만드는 시대라는 주제로 Anymate Anyone 이라는 프로젝트를 소개한 적이 있는데요. 오늘 소개할 주제는 'MagicAnimate' 라는 따끈따끈한 논문 입니다. MagicAnimate는 Diffsion 모델을 기반으로 한 애니메이션 프레임워크 입니다.
사진 1장만 있으면 비디오를 만드는 시대 - Animate Anyone
안녕하세요! '에이아이 나도 할 수 있다!' 의 애나입니다. 오늘은 새로운 AI 소식을 들고 왔습니다. 바로 최근에 발표된 "Animate Anyone" 프로젝트입니다. Animate Anyone는 말 그대로 누구나 이미지로 비
anna-ai.tistory.com
MagicAnimate의 특징
- 튀는 프레임 없이 시각적 일관성을 강화하고, 입력으로 들어온 레퍼런스 이미지를 충실하게 보존합니다.
- 학습 떄 보지 못했던 도메인의 이미지도 애니메이션화 할 수 있습니다.
- 동영상에서 가져온 움직임 시퀀스를 사용하여 참조 이미지를 애니메이션화하는 Cross-ID 애니메이션에 대한 비교도 제공합니다.
예시 영상
유화 느낌을 살리거나 영화 캐릭터를 옴직이게 하거나 학습에서 보지 못했던 동작들, 예를 들어 달리기나 요가 같은 행동을 하도록 애니메이션화 할 수 도 있습니다. 심지어 DALL-E 3으로 생성된 참조 이미지를 다양한 동작으로 애니메이션화하는 것도 가능하다고 해요.
마지막 영상을 보시면 아시겠지만 이미지에 사람이 여러 명 있어도 문제 없이 애니메이션화가 가능하다고 합니다. MaigcAnimate는 레퍼런스 이미지와 DensePose 라는 정보를 타겟으로 활용해서 Video Diffusion Model과 appearance encoder를 사용해서 일관성 있는 이미지를 가진 비디오를 제작한다고 합니다.
MaigcAnimate의 발전이 우리의 일상과 엔터테인먼트, 심지어 예술 분야에 큰 영향을 미칠 것 같습니다. 해당 프로젝트와자세한 논문, 그리고 코드가 궁금하시다면 아래 링크로 들어가서 직접 사용해보세요!
MagicAnimate 데모 : https://showlab.github.io/magicanimate/
MagicAnimate 논문: https://github.com/magic-research/magic-animate/blob/main/assets/preprint/MagicAnimate.pdf
MagicAnimate 코드 : https://github.com/magic-research/magic-animate
'AI 소식' 카테고리의 다른 글
| 원하는 음악 찾기 힘든가요? 입력만 하세요 - Meta의 Audiobox (2) | 2023.12.08 |
|---|---|
| 어쩌면 챗GPT를 무너뜨릴 구글의 AI - Gemini (3) | 2023.12.07 |
| AI로 할 수 있는 Upscaling의 신세계 - Magnific AI (3) | 2023.12.06 |
| 챗 GPT보다 똑똑한 의료 인공지능 - Towards Accurate Differential Diagnosis with Large Language Models (1) | 2023.12.04 |
| Google이 가져올 새로운 혁신 - Google Deepmind 의 GNoME (7) | 2023.12.03 |