Нещодавно одним із найзначніших досягнень у сфері штучного інтелекту є прорив у технології багатомодальної генерації відео. Ця технологія вже еволюціонувала від генерації відео на основі єдиного тексту до можливості інтеграції тексту, зображень та аудіо для всебічної генерації.
Ось кілька випадків технологічних проривів, на які варто звернути увагу:
Технологічна компанія випустила у відкритий доступ фреймворк, який може перетворювати звичайне відео в контент 4D з вільним кутом зору, рівень визнання користувачів досягає 70,7%. Це означає, що ШІ тепер може автоматично генерувати ефект перегляду з будь-якого кута, що раніше вимагало професійної команди 3D-моделювання.
Компанія, яка запустила платформу для генерації зображень, стверджує, що може перетворити одне зображення на 10-секундне відео "кіноякісного" рівня. Проте, правдивість цього твердження ще потребує перевірки.
Технологія, розроблена відомою дослідницькою установою в галузі ШІ, може одночасно генерувати 4K відео та навколишній звук. Ключовий прорив цієї технології полягає в досягненні справжнього семантичного відповідності, наприклад, у складних сценах точне відповідність між рухами ходьби на екрані та звуком кроків.
Одна з платформ короткометражних відео представила модель генерації відео, яка має 80 мільярдів параметрів і здатна генерувати 1080p відео за 2.3 секунди, вартість становить 3.67 юанів/5 секунд. Хоча витрати контролюються належним чином, все ще є можливості для покращення при обробці складних сцен.
Ці технологічні прориви мають велике значення в таких аспектах, як якість відео, вартість виробництва та сценарії застосування:
З технічної точки зору, складність генерації мультимодальних відео є експоненціальною. Це не лише потребує обробки пікселів окремих кадрів зображень, але й забезпечення послідовності часу відео, реалізації синхронізації аудіо та врахування просторової узгодженості 3D. Зараз це складне завдання можна реалізувати шляхом модульного розподілу та співпраці великих моделей, що значно підвищує ефективність.
З точки зору витрат, завдяки оптимізації архітектури висновків, зокрема шляхом впровадження ієрархічних стратегій генерації, механізмів повторного використання кешу та динамічного розподілу ресурсів, витрати на генерацію суттєво знижуються.
У сфері застосування технології ШІ змінюють традиційний процес виробництва відео. Раніше для створення 30-секундної реклами могло знадобитися сотні тисяч витрат на виробництво. А тепер достатньо лише одного підказки та кількох хвилин очікування, щоб створити високоякісний відеоконтент, який навіть може реалізувати перспективи та ефекти, які важко досягти традиційною зйомкою. Ця революція може спонукати до перезавантаження всієї економічної системи творців.
Отже, як ці досягнення в технологіях AI впливають на сферу Web3?
По-перше, структура попиту на обчислювальну потужність змінилася. Раніше ШІ головним чином покладався на великомасштабні однорідні кластері GPU, тоді як для мультимодального генерації відео потрібні різноманітні комбінації обчислювальної потужності. Це створило нові потреби для розподіленої неактивної обчислювальної потужності, різноманітних розподілених моделей доопрацювання, алгоритмів та платформ для висновку.
По-друге, потреба в маркуванні даних буде зростати. Для створення професійного відео потрібні точні описи сцен, зразкові зображення, аудіо стилі, траєкторії руху камери та умови освітлення тощо. Механізм заохочення Web3 може спонукати професіоналів, таких як фотографи, звукові дизайнери та 3D-художники, надавати високоякісні дані, що підвищить можливості генерації відео за допомогою штучного інтелекту.
Нарешті, перехід технології ШІ від централізованого великомасштабного розподілу ресурсів до модульної співпраці сам по собі представляє нову потребу в децентралізованих платформах. У майбутньому обчислювальна потужність, дані, моделі та механізми стимулювання можуть утворити самопідсилювальний позитивний цикл, що сприятиме глибокій інтеграції Web3 AI та традиційних сценаріїв ШІ.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
6 лайків
Нагородити
6
5
Поділіться
Прокоментувати
0/400
WalletDetective
· 07-20 11:37
Справжнє не може бути підробленим, а підроблене не може бути справжнім.
Переглянути оригіналвідповісти на0
DaoResearcher
· 07-20 02:53
Прорив зовсім не є достатньо помітним, дані на ланцюгу можуть це підтвердити.
Переглянути оригіналвідповісти на0
StableGenius
· 07-20 02:52
мех, ще один передбачуваний крок. будь-хто, хто розуміє тензорну математику, бачив це задовго до цього.
Переглянути оригіналвідповісти на0
GasGuru
· 07-20 02:42
Досить потужно! Обчислювальна потужність має до місяця!
Переглянути оригіналвідповісти на0
PumpAnalyst
· 07-20 02:26
Ще одна хвиля обдурювання невдахів прийшла. Технічна сторона дійсно красива, але не дайте себе обдурити капіталом.
AI відео генерація новий прорив: мультимодальні технології змінюють Web3 Обчислювальна потужність структуру
Нещодавно одним із найзначніших досягнень у сфері штучного інтелекту є прорив у технології багатомодальної генерації відео. Ця технологія вже еволюціонувала від генерації відео на основі єдиного тексту до можливості інтеграції тексту, зображень та аудіо для всебічної генерації.
Ось кілька випадків технологічних проривів, на які варто звернути увагу:
Технологічна компанія випустила у відкритий доступ фреймворк, який може перетворювати звичайне відео в контент 4D з вільним кутом зору, рівень визнання користувачів досягає 70,7%. Це означає, що ШІ тепер може автоматично генерувати ефект перегляду з будь-якого кута, що раніше вимагало професійної команди 3D-моделювання.
Компанія, яка запустила платформу для генерації зображень, стверджує, що може перетворити одне зображення на 10-секундне відео "кіноякісного" рівня. Проте, правдивість цього твердження ще потребує перевірки.
Технологія, розроблена відомою дослідницькою установою в галузі ШІ, може одночасно генерувати 4K відео та навколишній звук. Ключовий прорив цієї технології полягає в досягненні справжнього семантичного відповідності, наприклад, у складних сценах точне відповідність між рухами ходьби на екрані та звуком кроків.
Одна з платформ короткометражних відео представила модель генерації відео, яка має 80 мільярдів параметрів і здатна генерувати 1080p відео за 2.3 секунди, вартість становить 3.67 юанів/5 секунд. Хоча витрати контролюються належним чином, все ще є можливості для покращення при обробці складних сцен.
Ці технологічні прориви мають велике значення в таких аспектах, як якість відео, вартість виробництва та сценарії застосування:
З технічної точки зору, складність генерації мультимодальних відео є експоненціальною. Це не лише потребує обробки пікселів окремих кадрів зображень, але й забезпечення послідовності часу відео, реалізації синхронізації аудіо та врахування просторової узгодженості 3D. Зараз це складне завдання можна реалізувати шляхом модульного розподілу та співпраці великих моделей, що значно підвищує ефективність.
З точки зору витрат, завдяки оптимізації архітектури висновків, зокрема шляхом впровадження ієрархічних стратегій генерації, механізмів повторного використання кешу та динамічного розподілу ресурсів, витрати на генерацію суттєво знижуються.
У сфері застосування технології ШІ змінюють традиційний процес виробництва відео. Раніше для створення 30-секундної реклами могло знадобитися сотні тисяч витрат на виробництво. А тепер достатньо лише одного підказки та кількох хвилин очікування, щоб створити високоякісний відеоконтент, який навіть може реалізувати перспективи та ефекти, які важко досягти традиційною зйомкою. Ця революція може спонукати до перезавантаження всієї економічної системи творців.
Отже, як ці досягнення в технологіях AI впливають на сферу Web3?
По-перше, структура попиту на обчислювальну потужність змінилася. Раніше ШІ головним чином покладався на великомасштабні однорідні кластері GPU, тоді як для мультимодального генерації відео потрібні різноманітні комбінації обчислювальної потужності. Це створило нові потреби для розподіленої неактивної обчислювальної потужності, різноманітних розподілених моделей доопрацювання, алгоритмів та платформ для висновку.
По-друге, потреба в маркуванні даних буде зростати. Для створення професійного відео потрібні точні описи сцен, зразкові зображення, аудіо стилі, траєкторії руху камери та умови освітлення тощо. Механізм заохочення Web3 може спонукати професіоналів, таких як фотографи, звукові дизайнери та 3D-художники, надавати високоякісні дані, що підвищить можливості генерації відео за допомогою штучного інтелекту.
Нарешті, перехід технології ШІ від централізованого великомасштабного розподілу ресурсів до модульної співпраці сам по собі представляє нову потребу в децентралізованих платформах. У майбутньому обчислювальна потужність, дані, моделі та механізми стимулювання можуть утворити самопідсилювальний позитивний цикл, що сприятиме глибокій інтеграції Web3 AI та традиційних сценаріїв ШІ.