이 연구 프로젝트는 물리학을 이용하여 현실적인 인간 움직임을 생성하는 방법에 대한 논문입니다. 노이즈 제거 확산 모델과 물리 기반 움직임 투영 모듈을 결합하여 인간 움직임을 생성하고, 그 결과를 ICCV 2023 컨퍼런스에서 발표하였습니다. 이 논문의 주요 내용은 다음과 같습니다.
https://nvda.ws/3F4dK6L
PhysDiff
Denoising diffusion models hold great promise for generating diverse and realistic human motions. However, existing motion diffusion models largely disregard the laws of physics in the diffusion process and often generate physically-implausible motions wit
ye-yuan.com
- 노이즈 제거 확산 모델
- 노이즈 제거 확산 모델은 임의의 초기 이미지를 점차적으로 원본 이미지로 복원하는 과정을 통해 이미지를 생성하는 방법입니다. 이 방법은 다양하고 현실적인 이미지를 생성할 수 있는 장점이 있습니다. 하지만, 인간 움직임을 생성할 때는 물리 법칙을 무시하고 움직임을 확산하기 때문에 부자연스러운 움직임이 발생할 수 있습니다. 예를 들어, 공중에 떠 있는 인간, 발이 바닥에 밀착되지 않는 인간, 바닥에 몸이 침범하는 인간 등의 현상이 발생할 수 있습니다. 이러한 현상은 생성된 움직임의 질을 저하시키고, 실제 세계에서 응용하기 어렵게 만듭니다.
- 물리 기반 움직임 투영 모듈
- 물리 기반 움직임 투영 모듈은 노이즈 제거 확산 모델에서 생성된 움직임을 물리 시뮬레이터에서 재현하고, 그 결과를 다시 원본 이미지 공간으로 투영하는 과정입니다. 이 과정을 통해, 물리 법칙에 위배되는 움직임은 자연스럽게 보정되고, 물리적으로 타당한 움직임으로 변환됩니다. 직관적으로, 이 모듈은 움직임을 물리적으로 타당한 공간으로 계속 당겨주는 역할을 하며, 단순한 후처리로는 달성할 수 없는 효과를 낼 수 있습니다.
- 실험 결과
- 대규모 인간 움직임 데이터셋을 이용하여 실험을 수행하였습니다. 실험 결과, 제안한 방법은 최신 기술과 비교하여 움직임의 질과 물리적 타당성을 크게 향상시켰습니다(모든 데이터셋에 대해 78% 이상) . 또한, 비디오를 통해 생성된 움직임의 예시와 비교 결과를 보여줍니다.
'IT' 카테고리의 다른 글
| 2023 맥킨지가 뽑은 인공지능 기술 트랜드 (61) | 2023.10.13 |
|---|---|
| 메타; 2023 connect에서 공개한 새로운 제품과 서비스 (66) | 2023.10.12 |
| 4개 이하만 구분하는 우리의 뇌 (22) | 2023.10.11 |
| 미디어 중독 제한;몽크모드 (76) | 2023.10.10 |
| 미국 비상 경보 시스템 휴대폰 테스트 (62) | 2023.10.09 |