Runway 립싱크
Runway Lip Sync는 Runway 의 기능으로 오디오 클립이나 텍스트 스크립트의 대사를 동기화하여 모든 캐릭터의 표정과 일치시킬 수 있습니다. 이를 통해 캐릭터가 말하거나 대화하는 현실적이고 매력적인 시각적 시퀀스를 만들 수 있습니다. Runway의 Act One 기능과 비슷하지만 후자가 더 강력하고 고급 사용 사례에 적합합니다.
Runway Lip Sync의 주요 특징
- 텍스트 음성 변환: 캐릭터가 사용할 수 있는 대화가 담긴 스크립트를 입력할 수 있습니다.
- 오디오와 동기화: 최대 40초까지의 녹음된 대화 파일을 업로드하세요.
- 다양한 얼굴의 장면: 최대 10개의 여러 문자를 선택하여 각기 다른 대화를 나눌 수 있습니다.
- 연설을 스타일화하다: 다양한 오디오 결과를 얻기 위해 맞춤형 AI 음성 모델에 접근하세요.
텍스트 음성 변환
Runway Lip Sync는 화자 대화당 최대 600자의 텍스트-음성 스크립트를 지원합니다. 이를 통해 정확한 필요와 요구 사항에 맞는 고유한 캐릭터 대화를 작성할 수 있는 완전한 자유가 제공됩니다.
다음은 립싱크 텍스트 음성 변환 비디오 샘플입니다.
| 영상 | 텍스트 스크립트 | 출력 비디오 |
 | 오늘 여러분 모두 환상적인 시간을 보내셨으면 좋겠습니다. 이렇게 소통할 수 있는 기회가 있어서 정말 좋습니다. | |
 | 안녕 제이미! 주말에 계획 있어? |
업로드된 오디오와 동기화
Runway Lip Sync를 사용하면 자신이나 다른 사람을 녹음하고 기존 오디오 파일을 업로드하여 캐릭터 대화로 사용할 수 있습니다. 이 도구는 최대 40초의 음성을 허용하며 최종 결과 전에 어떻게 들리는지 미리 볼 수 있는 옵션이 있습니다.
다양한 얼굴의 장면
Runway Lip Sync를 사용하면 여러 캐릭터의 대화 장면을 만들어 복잡한 장면을 쉽게 만들 수 있습니다. 이 도구를 사용하면 비디오당 최대 10개의 대화를 업로드할 수 있어 작업할 수 있는 창의적인 공간이 많이 생깁니다.
| 영상 | 텍스트 스크립트 | 출력 비디오 |
 | 캐릭터 1 : 오늘은 지역 사회 참여를 강화하기 위해 고안된 새로운 이니셔티브를 소개해드리겠습니다. 캐릭터 2 : 이 이니셔티브는 단순한 프로젝트가 아닙니다. 이는 우리 모두가 협력하고 함께 혁신할 수 있는 기회입니다. 캐릭터 3 : 우리는 지역사회의 요구 사항을 신중하게 분석하고, 그러한 요구 사항을 효과적으로 해결할 수 있는 계획을 개발했습니다. 캐릭터 4 : 우리의 목표는 참여한 모든 사람들 간의 소통과 연결을 촉진하는 플랫폼을 만드는 것입니다. |
연설을 스타일화하다
Runway Lip Sync를 사용하면 여러 가지 사용자 지정 AI 음성 모델에 액세스할 수 있으며, 각각 다른 언어적 뉘앙스를 선택할 수 있습니다. 명상, 내레이션, 대화 등과 같은 다양한 분위기와 설정에서 남성 또는 여성 음성을 선택할 수도 있습니다.
Runway 립싱크에 대한 YouTube 동영상
Reddit 에서 사람들이 이야기하는 Runway Lip Sync
이미 여러 사용자가 Runway Lip Sync를 구현하여 꽤 인상적인 결과를 얻었지만 도구에는 여전히 개선이 필요하다는 점이 분명합니다.
논평
u/Paul-Montreal의 토론에서
런웨이ml 에서
일부 사용자가 어려움을 겪는 주요 문제 중 하나는 Runway Lip Sync를 인간이 아닌 캐릭터에도 적용하는 것입니다.
논평
u/dietpapita 에서 토론
런웨이ml 에서
다른 사용자는 이 문제를 해결하기 위해 Runway의 비디오-비디오 기능을 활용해 캐릭터 비디오를 라이브 액션으로 변환하여 더 나은 결과를 얻으려고 시도했습니다.
논평
u/Initial_Simple780 에서 토론
런웨이ml 에서
X의 Runway 립싱크에 대해 사람들이 이야기하는 것
# Runway Gen-1 + 립싱크 (지금 누구나 이용 가능!)
— 🍥 Timmy 🍥 (@IXITimmyIXI) 2024년 3월 22일
실험 🧵
저는 Lip Sync가 스타일화된 Gen-1 클립에서 얼마나 잘 작동하는지 보고 싶었습니다. 그래서 피사체가 선명하게 보이는 괜찮은 품질의 비디오를 업로드했습니다.
이것은 초기 입력 비디오이고 립싱크는... pic.twitter.com/faJ0nAmWhS
📼 현실적인 립싱크가 Runway 에 등장했고 정말 미친 짓이에요. 🤯
— 자바이드 샤(@JvShah124) 2024년 12월 8일
이는 실제로 Act-1 기능에 대한 업데이트이지만, 서비스 내에서 생성된 비디오뿐 아니라 모든 비디오를 업로드할 수 있습니다.
작동 원리:
🟡 카메라에 대고 말하는 영상(혹은 노래하는 영상)을 업로드합니다.… pic.twitter.com/Il6CsVrgz0
게임 오버! Runway 방금 Act One 막을 내놓았고, 미친 품질과 매끄러운 워크플로로 립싱크 AI를 다음 단계로 끌어올렸습니다. 캐릭터에 생명을 불어넣는 게 이렇게 쉬운 적은 없었습니다.
— 벤 내쉬(@bennash) 2024년 10월 25일
이것은 "상승 또는 몰락"이라는 짧은 장면입니다.
아래에서 만드는 방법을 설명하겠습니다. @runwayml pic.twitter.com/KCAuXbNeIr
게임 오버! Runway 방금 Act One 막을 내놓았고, 미친 품질과 매끄러운 워크플로로 립싱크 AI를 다음 단계로 끌어올렸습니다. 캐릭터에 생명을 불어넣는 게 이렇게 쉬운 적은 없었습니다.
— 벤 내쉬(@bennash) 2024년 10월 25일
이것은 "상승 또는 몰락"이라는 짧은 장면입니다.
아래에서 만드는 방법을 설명하겠습니다. @runwayml pic.twitter.com/KCAuXbNeIr
저는 Runway 와 그들의 립싱크를 시도하고 싶어서 이 MJ 이미지를 만들고 이 단편을 직접 내레이션했습니다. 저는 AI 음성을 별로 좋아하지 않습니다.
— ZOOT (@LittleTinRobot) 2024년 6월 30일
흥미로운 과정입니다. #runwayml #midjourney #scifi pic.twitter.com/xlmzHkQF0N
저는 Runway 와 그들의 립싱크를 시도하고 싶어서 이 MJ 이미지를 만들고 이 단편을 직접 내레이션했습니다. 저는 AI 음성을 별로 좋아하지 않습니다.
— ZOOT (@LittleTinRobot) 2024년 6월 30일
흥미로운 과정입니다. #runwayml #midjourney #scifi pic.twitter.com/xlmzHkQF0N
저는 Runway 와 그들의 립싱크를 시도하고 싶어서 이 MJ 이미지를 만들고 이 단편을 직접 내레이션했습니다. 저는 AI 음성을 별로 좋아하지 않습니다.
— ZOOT (@LittleTinRobot) 2024년 6월 30일
흥미로운 과정입니다. #runwayml #midjourney #scifi pic.twitter.com/xlmzHkQF0N
와우: #런웨이 립싱크, 이제 여러 캐릭터에 대한 대화를 생성합니다. 훌륭합니다 :) Jannet과 Mike가 이에 대해 자세히 설명합니다. pic.twitter.com/LTQNEuicoq
— Cristián Parodi(@cristian_parodi) 2024년 7월 9일
Runway의 다른 기능을 알아보세요
Runway 립싱크에 대한 유익한 기사
Runway 에서 립싱크를 사용하는 방법을 배우고, 더욱 유용한 기사를 발견해보세요!
자주 묻는 질문
Runway 립싱크는 무료인가요?
기본 플랜을 사용하면 Runway Lip Sync에 무료로 액세스할 수 있습니다. 그러나 만들 수 있는 세대 수는 제한됩니다. 도구를 계속 사용하려면 결국 유료 플랜에 가입해야 합니다.
Runway Lip Sync에서는 한 장면에 몇 명의 캐릭터를 애니메이션으로 표현할 수 있나요?
Runway Lip Sync를 사용하면 장면당 최대 10명의 다른 화자/대화에 대한 음성 대화를 추가할 수 있습니다. 또한 각각에 대해 다른 AI 음성 모델을 사용하여 더 깊은 스토리텔링이 있는 대화형 시각적 시퀀스를 만드는 데 도움이 됩니다. Runway Lip Sync 사용 방법에 대한 자세한 내용은 여기를 참조하세요.
Runway 립싱크에는 어떤 제한이 있나요?
Runway Lip Sync는 카메라 방향으로 정면을 향한 사람의 얼굴을 클로즈업으로 촬영할 때 가장 효과적입니다. 이 도구는 일반적으로 동물이나 만화 얼굴을 지원하지 않지만 때때로 작동할 수 있습니다. 게다가 입, 카메라, 몸 또는 머리의 상당한 움직임이 없어야 합니다.
Runway Lip Sync는 어떤 비디오 형식을 지원하나요?
MP4, MOV, 3GP, MKV 등 다양한 인기 비디오 형식을 가져올 수 있습니다. 그러나 내보내는 경우 구독을 확인해야 합니다. 예를 들어, Basic 및 Standard 사용자는 MP4 형식으로만 비디오를 내보낼 수 있습니다.
Runway 립 싱크를 사용하는 데 비용이 얼마나 들까요?
Runway Lip Sync 도구를 사용할 때 비디오 출력 1초당 5크레딧을 청구합니다. 각 비주얼 장면에 대해 최대 10개의 대화가 허용되며 대화당 최대 40초를 지원한다는 점을 명심하세요.
지금 Pollo AI 에서 Runway 사용해 보세요!
일체형 AI 비디오 생성기인 Pollo AI 사용하면 어려움 없이 Runway 의 기능을 사용해 볼 수 있습니다.