Lip Sync 기능은 인기 있는 Runway AI 비디오 생성 모델에 유용한 추가 기능입니다. AI 비디오의 캐릭터나 인간 피사체의 입술 움직임을 음성 오디오와 동기화하는 데 사용되며 많은 유틸리티를 제공합니다. 하지만 아주 새로운 기능이기 때문에 많은 사용자가 작동 방식을 잘 모릅니다. 이 가이드에서는 Runway의 Lip Sync 기능을 간단한 방법으로 사용하는 방법을 살펴봅니다.
Runway AI의 립싱크는 무엇일까?
Lip Sync는 이름에서 알 수 있듯이 AI 비디오에서 캐릭터의 입술 움직임과 음성 오디오를 동기화하는 기능입니다. 즉, 프롬프트에 쓰거나 별도의 오디오 파일로 업로드할 수 있는 텍스트 스크립트에 맞게 캐릭터가 입과 얼굴을 사실적으로 움직이는 AI 비디오를 만드는 데 사용할 수 있습니다.
이것의 용도는 광범위합니다. 크리에이터는 Lip Sync를 사용하여 예를 들어 캐릭터가 서로 대화하거나 연설을 읽거나 진술을 하는 현실적인 장면을 만들 수 있습니다. 이것은 이론적으로 Runway AI 로 만들 수 있는 영화 및 TV 스타일 콘텐츠와 같은 콘텐츠의 종류 측면에서 새로운 기회를 열어줍니다.
Runway AI 에서 립싱크를 사용하는 방법
이제 Lip Sync 기능이 무엇인지 알았으니, 사용 방법을 살펴보겠습니다. 스크린샷이 포함된 간단한 단계별 가이드를 통해 Lip Sync를 사용하여 완벽하게 동기화된 오디오로 AI 비디오를 만드는 방법을 정확히 보여드리겠습니다.
1단계. Lip Sync 도구에 액세스
첫 번째 단계는 간단합니다. Lip Sync 도구를 사용하려면 Runway 대시보드에서 찾을 수 있는 "Runway의 AI 도구" 목록에서 "Lip Sync Video"를 클릭하고 선택해야 합니다.
2단계. 비디오 또는 이미지 추가
다음으로, 최종 제작물의 베이스라인으로 사용할 이미지나 비디오가 필요합니다. 드래그 앤 드롭이나 클릭하여 지원되는 모든 형식의 비디오나 이미지를 업로드할 수 있습니다. 비디오를 사용하는 경우, 말하고 싶은 캐릭터가 첫 번째 프레임에 있는지 확인하세요.
3단계. 스피커 선택
이미지나 비디오가 Runway 에 로드되면 스피커의 얼굴을 자동으로 감지하려고 시도합니다. 대부분의 경우 이미지에서 주요 인물을 찾는 데 문제가 없지만 여러 사람이나 불분명한 인물이 있는 이미지를 업로드하면 어려울 수 있습니다. 그런 경우 이미지를 직접 클릭하고 상자를 스피커의 얼굴로 끌 수 있습니다.
4단계. 음성 선택
스피커 옆에 있는 마이크 아이콘을 클릭하여 음성을 선택하세요. Runway 다양한 음성 옵션을 제공하며, 작은 "재생" 버튼을 눌러 각 옵션을 미리 볼 수 있습니다. 그런 다음 원하는 것을 찾으면 클릭하여 선택하세요.
5단계. 스크립트 입력 또는 오디오 업로드
다음으로, 실제로 도구에 스피커가 무엇을 말하기를 원하는지 말해야 합니다. 여기에는 두 가지 옵션이 있습니다. 스피커 옆의 텍스트 상자를 클릭하고 그들이 무엇을 말하기를 원하는지 입력할 수 있습니다. 또는 최종 비디오에서 듣고 싶은 연설의 녹음이 이미 있는 오디오 파일을 업로드할 수 있습니다.
6단계. (선택 사항) 추가 스피커 추가
이것은 여러 사람이 비디오에서 말하기를 원하는 상황을 위한 선택 단계입니다. 세션 창 하단의 "발언자 추가" 버튼을 클릭하여 각각을 추가한 다음 각 발언자의 프로필 아이콘을 클릭하여 비디오에서 감지된 얼굴 중 하나와 일치시킬 수 있습니다. 그런 다음 스크립트를 입력하거나 듣고 싶은 오디오를 업로드합니다.
7단계. 생성 버튼을 클릭하세요.
원하는 모든 대화를 추가했으면 페이지 하단의 "생성" 버튼을 누르고 Runway 비디오를 만드는 동안 잠시 기다리면 됩니다. 그런 다음 비디오를 보고, 저장하고, 공유할 수 있습니다.
또한 Gen-2, Gen-3, Gen-3 Alpha Turbo 와 같은 모든 Runway 모델로 만든 AI 생성 비디오에 Lip Sync를 추가할 수도 있습니다. 비디오를 만든 다음 "Action"을 클릭한 다음 "Lip Sync"를 클릭하면 됩니다.
Runway 에서 립싱크를 사용하기 위한 모범 사례
Runway 의 Lip Sync 기능은 유용하고 사용하기 재밌지만 완벽하지는 않습니다. 이 기능으로 최상의 결과를 얻으려면 다음과 같은 특정 권장 모범 사례를 따라야 합니다.
- 업로드한 음성 파일을 사용하는 경우 최대 40초로 유지하세요.
- 캐릭터를 카메라 쪽, 앞을 향하게 하세요.
- 사람의 얼굴만 사용하세요 . 나중에 동물을 추가할 수도 있지만 아직은 작동하지 않습니다.
- 캐릭터의 머리와 어깨가 장면에 나오도록 하세요. 너무 확대하거나 축소하지 마세요.
- 애니메이션이나 만화 같은 스타일이 아닌 사실적인 캐릭터 스타일을 선택하세요.
- 신체, 손, 카메라를 과도하게 움직이지 마세요.
- AI 비디오의 조명을 일관되게 유지하세요.
- 오디오/음성의 흐름을 방해하는 빠른 끊김이나 전환은 피하세요.
- 지원되는 오디오 및 비디오 파일 유형을 사용해야 합니다.
- 프레임 안에 하나의 캐릭터만 넣으려고 노력하세요. 얼굴이 여러 개이면 잘 작동하지 않습니다.
Pollo AI 와 함께 오늘 Runway AI의 립싱크를 시도해보세요
Runway Lip Sync 기능을 테스트하고 싶다면 Pollo AI 에서 쉽고 무료로 할 수 있습니다! Pollo AI 는 Runway의 Gen 2 , Gen 3 Alpha 및 Turbo , Hailuo AI, Luma AI 등을 포함한 다양한 AI 비디오 생성 모델에 액세스할 수 있는 선도적인 AI 비디오 생성기입니다. 또한 AI 키스 비디오를 만드는 템플릿과 같은 다양한 도구와 이점을 제공합니다. Hailuo AI Pollo AI 에서 모두 무료로 한곳에서 테스트할 수 있습니다.