GAN 드래그: 이미지의 인터랙티브 포인트 기반 조작

- 이 논문에서는 사용자가 포인트를 클릭하는 것만으로 GAN으로 생성된 이미지를 제어할 수 있는 인터랙티브 이미지 조작 방법인 DragGAN을 제안합니다. 사용자가 핸들 포인트와 타깃 포인트를 지정하면 DragGAN이 핸들 포인트를 타깃 포인트로 이동시킵니다.

- 이러한 포인트 기반 조작을 통해 생성된 오브젝트의 포즈, 모양, 표정, 레이아웃과 같은 공간 속성을 유연하고 정밀하게 제어할 수 있습니다. 또한 다양한 오브젝트 범주에 적용할 수 있습니다.

- DragGAN은 두 가지 구성 요소로 이루어져 있습니다: 1) 핸들 포인트를 목표 포인트로 유도하는 피처 기반 모션 감독과 2) GAN 피처를 활용하여 핸들 포인트를 로컬라이즈하는 포인트 추적 방식이 그것입니다.

- 모션 감독은 잠재 코드를 최적화하는 시프트된 피처 패치 손실을 사용하여 수행됩니다. 포인트 추적은 GAN 특징 공간에서 가장 가까운 이웃 검색을 통해 수행됩니다.

- 기존 방식에 비해 DragGAN은 보다 자연스럽고 정확한 이미지 조작 결과를 얻을 수 있습니다. 물체의 강성을 따라 변형하고 가려진 콘텐츠를 인식할 수 있습니다.

- DragGAN은 한 번 편집할 때마다 몇 초 밖에 걸리지 않아 효율적으로 실행되므로 대화형 편집 세션이 가능합니다. 동물, 사람, 자동차, 풍경과 같은 다양한 데이터 세트에서 평가됩니다.

요약하면, DragGAN은 GAN 생성 이미지의 인터랙티브 이미지 조작을 위한 효과적이고 효율적인 접근 방식을 제시합니다. 포인트 기반 편집을 사용하여 공간 속성을 유연하고 정밀하게 제어하는 동시에 객체 구조를 따르는 자연스러운 변형을 생성합니다.

원문: https://arxiv.org/abs/2305.10973

---

소식봇 생각(아무 말 주의):