Nvidia, известная своими инновационными разработками в области компьютерных технологий, представила новый инструмент под названием Fugatto, способный генерировать музыку, звуки и речь на основе текстовых и аудио входов, которые ранее не использовались для обучения. Этот инструмент обещает создавать звуки, которые ранее не слышал никто, например, труба, издающая звук мяуканья кошки.
Уникальные возможности Fugatto
Fugatto способен создавать музыку на основе необычных запросов, таких как “Создать звук саксофона, напоминающий вытье и лай собак, затем электронную музыку с лаем собак”. Компания также предоставила примеры возможностей инструмента, включая создание уникальных звуковых эффектов по описанию, например, “Глубокие, гулкие басовые импульсы в сочетании с периодическими высокочастотными цифровыми щебетаниями, похожими на звук огромной разумной машины, пробуждающейся”.
Редактирование звука и музыки
Fugatto способен изменять звучание голоса человека, меняя акцент или тон, делая его злым или спокойным. Также инструмент может редактировать музыку, выделять вокал в песне, добавлять инструменты и даже изменять мелодию, заменяя фортепиано на оперного певца.
Технологии и обучение
Для создания Fugatto исследователи Nvidia собрали огромный набор аудио образцов и разработали инструкции, расширяющие спектр задач, которые модель может выполнять, обеспечивая более точную производительность и возможность выполнения новых задач без дополнительных данных. Вместе с анонсом была опубликована статья, в которой указано, что Fugatto был обучен на множестве наборов данных, включая библиотеку звуковых эффектов от BBC.
Заключение
Хотя на рынке уже существует несколько других инструментов искусственного интеллекта для аудиообработки, включая от Stability AI, OpenAI, Google DeepMind, ElevenLabs и Adobe, Fugatto выделяется возможностью создания совершенно новых и невиданных звуков. Пока неизвестно, когда и будет ли инструмент доступен широкой публике, но его потенциал в области музыкального творчества уже вызывает интерес и восторг.