NVIDIA Research의 AI 혁신 발표

NVIDIA Research는 전 세계의 학문적 센터와 협력하여 생성적 AI, 로봇공학, 자연과학 분야를 발전시키고 있으며, 이 중 일부는 세계적인 AI 학회인 NeurIPS에서 공유될 예정입니다. NeurIPS는 생성적 AI, 기계 학습, 컴퓨터 비전 등의 전문가들이 모이는 행사로, NVIDIA Research가 발표할 혁신적인 내용 중에는 텍스트를 이미지로 변환하는 기술, 사진을 3D 아바타로 변환하는 기술, 특수 로봇을 다재다능한 기계로 변환하는 기술 등이 포함됩니다.

텍스트를 이미지로 변환하는 기술의 개선

확산 모델은 텍스트를 현실적인 이미지로 변환하는 데 가장 인기 있는 생성적 AI 모델 중 하나입니다. NVIDIA 연구진은 텍스트 프롬프트에서 수정어와 주요 항목 간의 관계를 더 잘 이해할 수 있도록 개선된 확산 모델을 개발하였습니다. 이 모델은 사용자의 프롬프트의 구문을 분석하여 항목과 수정어 사이의 연결을 강화하여 프롬프트의 시각적 표현을 더 충실하게 제공합니다.

SceneScape

텍스트 프롬프트를 사용하여 3D 장면의 긴 비디오를 생성하는 확산 모델을 결합한 새로운 프레임워크인 SceneScape가 소개됩니다. 이 프로젝트는 텍스트에서 이미지로 변환하는 모델과 깊이 예측 모델을 결합하여 비디오를 생성하며, 예술 미술관, 유령의 집, 얼음 성 같은 합리적으로 보이는 장면을 생성합니다.

텍스트를 이미지로 변환하는 모델이 훈련 데이터에서 드물게 나타나는 개념을 생성하는 방법을 개선한 작업도 있습니다. 이 새로운 방법은 흔히 훈련 데이터에서 볼 수 없는 개념을 생성할 때 발생하는 저품질 이미지를 개선하는데 도움을 줍니다.

텍스트를 이미지로 변환하는 확산 모델이 불완전한 포인트 클라우드의 텍스트 설명을 사용하여 누락된 부분을 생성하고 물체의 완전한 3D 모델을 생성하는 방법을 제시합니다. 이것은 로봇 공학 및 자율 주행차 AI 응용 프로그램을 위해 LiDAR 스캐너와 같은 깊이 센서로 수집 된 포인트 클라우드 데이터를 완전히 하기 위한 도움이 될 것입니다.

AI 아바타 개발

AI 아바타는 여러 생성적 AI 모델을 결합하여 가상 캐릭터를 만들고 애니메이션화하며 텍스트를 음성으로 변환하는 방법입니다. NVIDIA의 두 번째 포스터는 하나의 초상화 이미지를 3D 헤드 아바타로 변환하는 새로운 방법을 설명합니다. 현재의 방법과 달리 별도의 최적화 과정 및 여러 이미지가 필요하지 않으며, 블렌드 쉐이프 또는 레퍼런스 비디오 클립을 사용하여 아바타를 애니메이션화합니다.

다른 포스터는 P-Flow라고 불리는 AI 모델을 설명합니다. 이 모델은 3초간의 참조 프롬프트를 기반으로 고품질의 맞춤형 음성을 빠르게 합성할 수 있습니다. 이 모델은 최근의 최첨단 모델과 비교하여 더 나은 발음, 인간과의 유사성 및 화자 유사성을 제공합니다.

강화 학습 및 로봇 공학의 연구에서는 NVIDIA 연구자들이 AI를 다양한 작업과 환경에 대해 일반화하는 혁신을 강조하는 두 개의 포스터를 제시합니다.

첫 번째 포스터는 새로운 과제에 적응할 수 있는 강화 학습 알고리즘을 개발하는 프레임워크를 제안합니다. 이 연구는 기존의 기울기 편향 및 데이터 비효율성의 일반적인 함정을 피하면서 새로운 과제에 대한 강력한 메타-강화 학습 모델을 만들어 냈습니다.

다른 연구는 로봇 손을 들어 채고 물체와 상호 작용하는 데 도움을 주는 이전 AI 모델에 대한 도전을 다룹니다. 이 연구는 서랍과 냄비 뚜껑과 같이 기하학적으로 비슷한 여러 범주의 물체가 어떻게인지 추정하는 새로운 프레임워크를 소개하며 모델이 새로운 형태로 일반화하는 데 도움이 됩니다.
과학 분야에서 NVIDIA 연구진은 물리학 시뮬레이션, 기후 모델 및 의료 분야에 걸친 논문을 제시할 것입니다.

대규모 3D 시뮬레이션을 위한 컴퓨터 유체 역학을 가속화하기 위해 NVIDIA 연구진은 실제 자동차 벤치마크에서 깊은 학습을 기반으로한 컴퓨터 유체 역학 방법을 제안했습니다. 이 방법은 다른 GPU 기반 솔버와 비교하여 1개의 NVIDIA Tensor Core GPU에서 100,000배 가속을 달성하면서 오차율을 줄였습니다.

기후 과학자와 기계 학습 연구자들의 협회가 클라이미 심이라고 불리는 기계 학습 기반의 기후 연구용 대규모 데이터셋을 개발했습니다. 이 데이터셋은 고해상도로 여러 년간 지구 전역을 다루며 이 데이터를 사용하는 기계 학습 에뮬레이터를 기존의 작동 중인 기후 시뮬레이터에 연결하여 더 나은 폭풍과 기타 극단적인 사건에 대한 예측을 개선하는 데 도움이 됩니다.

NVIDIA Research의 연구 인턴들은 환자의 의약품 복용에 대한 효과를 개인화된 예측하는 AI 알고리즘을 소개하는 포스터를 제시했습니다. 이 연구자들은 현실 세계 데이터를 사용하여 다양한 투여량에 따른 환자의 혈액 응고 예측을 테스트했으며 이전 방법과 비교하여 예측 정확도가 크게 향상되었습니다.

NVIDIA Research는 AI, 컴퓨터 그래픽스, 컴퓨터 비전, 자율 주행 자동차 및 로봇 분야에 중점을 둔 수백 명의 과학자와 엔지니어로 구성된 연구 팀을 갖고 있습니다.