Ликбез. Как ИИ делает видео и звук.
Теперь и с картинками разобрались: берем шум и раз за разом переделываем его, пока вместо цветной каши не получится кот.
С видео и звуком появляется новая переменная - время.
Картинку достаточно один раз правильно нарисовать. А видео и звук должны еще правильно продолжаться.
Представим видео как последовательность картинок. В каждом отдельном кадре можно нарисовать прекрасного кота. Но если рисовать их независимо, в первом кадре у него будет белое пятно на ухе, во втором оно переедет на нос, в третьем кот внезапно станет толще, а к десятому выяснится, что он лабрадор.
Потому что задача уже не «нарисуй хорошего кота», а «покажи, что случилось с этим котом через мгновение». Повернул голову - значит, в следующем кадре должен остаться тот же кот, только с повернутой головой, чашка кофе на столе должна не превратиться в пивную кружку, а дерево за окном не отрастить новые ветки.
Со звуком ровно та же проблема, просто вместо последовательности картинок у нас последовательность звуков. Начав «мама мыла…», недостаточно правильно произнести «раму». Нужно сделать это тем же голосом, с той же громкостью, интонацией и ритмом, а не внезапно закончить фразу прокуренным басом с грузинским акцентом.
С музыкой это видно еще лучше. Каждый отдельный звук может быть совершенно правильным. Но если следующий не имеет отношения к предыдущим, получится не музыка, а… ну, предположим, русский рэп.
Поэтому видео и звук можно для нашего ликбеза считать одной и той же задачей: создать последовательность, в которой каждое следующее состояние должно вытекать из предыдущих. В видео меняются изображения, в речи - голос, в музыке - звуки. Но везде нужно не просто сделать следующий кусок хорошим, а сохранить то, что не должно было измениться, и правильно изменить то, что должно.
Отсюда и цена. Я уже жаловался как мой ноут делает картинки. На 2.87 секунды хорошего видео ему надо уже 3 часа. Существенная экономия на отоплении, кстати. Наушники с шумоподавлением тоже к месту пришлись.
И опять «мама мыла», кот из шума, тот же кот через секунду и голос, который должен закончить фразу, оказались вариантами одного вопроса:
«Что дальше?»
