Как генерировать видео со звуком в китайской нейросети Kling

Kling AI — сервис для генерации видео по текстовому запросу или картинке.

Его разработала китайская компания Kuaishou. Изначально доступная только в Китае нейросеть вышла в глобальный доступ и стала популярной благодаря высокому качеству и реалистичности сгенерированных роликов.

Расскажу, что за сервис, как он работает и как писать промпты, чтобы не потратить бесплатные генерации впустую.

Раньше Kling был доступен только китайским пользователям — требовался местный номер телефона. После выхода нейросети в глобальный доступ нужен только адрес электронной почты.

Перейдите на сайт сервиса и нажмите Create Now. Выберите, как будете регистрироваться: по Apple или Google-аккаунту либо по почте. В первом случае просто подтвердите вход. Во втором — введите электронный адрес и пароль будущей учетной записи, затем найдите код верификации на почте и введите его на сайте.

После регистрации вы получите 66 бесплатных кредитов. Их начисляют каждый месяц. Они активны в течение текущего месяца, потом сгорают. На одну генерацию видео со звуком нужно 50—60 кредитов в зависимости от настроек. То есть получится создать только один ролик, потом придется либо оплачивать подписку, либо регистрировать новый аккаунт.

Кредиты можно докупать: 330 штук стоит 5 $⁣ (400 ₽)  , а начиная от покупки 3 500 штук выдают бонусы. Кроме того, есть платная подписка, по которой начисляют от 660 кредитов в месяц, а также дают возможность без лимитов генерировать в предыдущей версии модели Kling.

За первый месяц дают скидку 30% на любой тариф. Российской картой оплатить не выйдет, нужна зарубежная.

После входа в аккаунт вы попадете в Kling Creative Space — основное пространство для создания видео. Интерфейс Kling привычен для тех, кто уже генерировал в нейросетевых сервисах картинки или музыку.

Нажмите на Video Generation. Появится поле для ввода промпта — тут нужно описать, что будет происходить в видео. Еще можно загрузить две картинки: начальный и финальный кадр будущего ролика. Нейросеть постарается сделать плавный переход между ними. Там же есть дополнительные настройки, которые позволяют заранее повлиять на результат.

Перед генерацией доступен выбор модели. От нее по большей части зависит стоимость генерации:

1. Video 3.0 — флагманская модель, создает видео со звуком. Стоит дороже всех: минимум 6 кредитов за 1 секунду без звука или 9 со звуком.
2. Video 3.0 Turbo — быстрая версия флагмана, но без звука. Минимальная стоимость — 8 кредитов за 1 секунду.
3. Video 2.5 — самая дешевая модель, создает видео со звуком. Минимальная стоимость — 3 кредита за 1 секунду.

Вот какие еще есть настройки. Чем выше их выставлять, тем дороже будет генерация:

1. Mode, качество выходного видео, — 720p, 1080p, 4K.
2. Length, продолжительность видео, — 5 или 10 секунд, но с бесплатным тарифом второй вариант недоступен.
3. Video Ratio, соотношение сторон, — 16:9, 9:16 и 1:1.
4. Number of Outputs, количество результатов, — от 1 до 4.
5. Native Audio — нужен ли звук в видео. В ролик можно добавить речь, фоновые звуки и звуковые эффекты.

Для модели Video 3.0 также есть настройка Multi-Shot. Если ее включить, можно вручную задать количество кадров и их длительность, а также описать, что будет происходить в каждом.

Чаще всего можно оставить настройки по умолчанию и ничего не регулировать: качество — 720p, продолжительность видео — 5 секунд, кадр горизонтальный, 16:9, количество результатов — 1.

Когда все настройки заданы, достаточно нажать кнопку генерации и дождаться результата. На бесплатном тарифе видео генерируется долго: процесс может занять до двух часов.

Качество видео напрямую зависит от промта — его нужно писать на английском. Если не знаете языка, можно воспользоваться переводчиком. В соцсетях уже собрали базовые советы по промптингу именно для Kling. Вот что стоит учитывать.

👌 Формулируйте четко и конкретно. Чем точнее вы опишете желаемую сцену, тем лучше будет результат. Используйте простые и понятные фразы, избегайте двусмысленности. Например, вместо «женщина в длинном платье» лучше написать «женщина в длинном вечернем платье идет по пляжу на закате».

🏃‍♀️ Сфокусируйтесь на движении. Kling хорошо понимает действия и движения, поэтому описывайте не столько объекты в кадре, сколько их поведение. Например, вместо «кошка на крыше» напишите «кошка медленно идет по краю крыши ночью».

🤪 Избегайте сложных идиом и образных выражений. Нейросеть может неправильно интерпретировать сложные фразы, сравнения, слова в переносном смысле. Лучше писать прямо и просто. «Человек идет по пустыне во время заката, вокруг только песок и редкие кусты» — хороший пример. «Человек блуждает по пустыне, как потерянная душа в море времени» — неудачный. Нейросеть может попытаться изобразить и человека, и пустыню, и море, и время, и душу.

🖼 Используйте визуальные подсказки. Видео будет более связным, если в каждом кадре есть какой-то условно неподвижный элемент, вокруг которого нейросеть может выстроить сцену. Например, приборная панель автомобиля — а активное движение происходит за окном, здание — и какой-то экшен возле него. Переход между абсолютно разными кадрами получается не очень качественным.

1️⃣ Генерируйте одно действие за раз. Kling, как и другие нейросети для генерации видео, пока плохо отрабатывает два разных сюжета или объекта в одной сцене. Одно действие — одна генерация. Потом фрагменты по пять или 10 секунд можно будет собрать в более сложный ролик в любом видеоредакторе. Например, не стоит одним промптом прописывать, как корги едет на мотоцикле, а на трассу вдруг выскакивает Гэндальф и сообщает, что дальше не пройти. Лучше разбить сюжет на две-три сцены и сгенерировать каждую отдельно.

Если генерируете с Video 3.0, можно воспользоваться настройкой Multi-Shot, которая создает несколько кадров в одной генерации. В режиме Custom Multi-Shot можно описать содержание и длительность каждого кадра.

✅ Пишите в промпте то, что должно быть, а не чего не должно. Нейросети плохо понимают отрицания, поэтому для негативного промпта есть отдельное поле. Но и оно не всегда обрабатывается точно. В запросе лучше написать «светло, начинается закат», чем «еще не стемнело».

Если вы пользуетесь ChatGPT, пригодится бот Luma / Gen-3 / Kling promt enchancer. Ему достаточно простым языком рассказать, что вы хотите видеть в ролике, можно писать на русском. Он в ответ выдаст промпт для Kling — пару предложений на английском с описанием сцены, движения камеры и других деталей.

Kling довольно точно интерпретирует описания, особенно если промпт четко сфокусирован на одном действии или элементе сцены. Например, я сгенерировала видео, где все держится на корги, картинка строится вокруг собак.

Хотя почему-то псов стало два — в запросе такого не было.

А такое видео получилось со звуком: слышен шум зомби за окном, а также тапы по экрану смартфона. Поскольку лимиты жесткие, а генерация со звуком дорогая, у меня получилось сделать только один ролик.

Kling отлично справляется с созданием сложных текстур и реалистичных световых эффектов, особенно в сценах с фиксированным или минимальным движением.

Например, трещины, ржавчина, стесанные края старых досок — все детально проработано в генерации с одной попытки, хотя настолько подробно в запросе я это не прописывала.

Но видеоролики с активными движениями, в том числе парящими птицами или бегущими животными, могут содержать артефакты или получаться недостаточно плавными. Иногда помогает разбить сцену на более короткие движения и генерировать фрагменты по отдельности либо экспериментировать с показателем креативности.

Например, если оставить настройки по умолчанию и попробовать получить динамичное видео с первой попытки, может выйти вот так. Богомол отращивает лишние конечности, а панде лень вылезать из-под земли.

Если задать начальный кадр, то есть генерировать по картинке, результат обычно получается более качественным — об этом пишут в соцсетях. Дело в том, что нейросети проще оживить уже готовую картинку, чем создавать ее с нуля, а потом еще и анимировать.

Но у меня проверить это у меня не получилось — всякий раз загрузка доходит до 99% и зависает. Я ждала несколько часов, но ничего так и не произошло. Смена аккаунтов тоже не помогла.

Пользователи соцсетей пробовали также «оживлять» в Kling исторические фотографии, но движения получаются не очень реалистичными. Это связывают с тем, что в видео, на которых обучали нейросеть, такие кадры тоже не двигались — их вставляют в хроники как слайд-шоу.

Еще один тренд — видео, где человек обнимает себя же в молодости. Пользователи соцсетей сгенерировали десятки таких видео — преимущественно со звездами или с самими собой.

Вариация этой же идеи — когда в качестве стартовой картинки загружают коллаж с фото самого человека и его покойного родственника, и модель генерирует виртуальную встречу с любимой бабушкой.