PROPMAN DESIGN 合同会社 | PROPMAN DESIGN LLC.

生成AIラボ:Adobeの新技術「Project Super Sonic」| Adobe’s new technology “Project Super Sonic”

Home  >>  生成AIラボ:Adobeの新技術「Project Super Sonic」| Adobe’s new technology “Project Super Sonic”

2024.10.20

2024.10にAdobeが発表した開発中の新技術…「Project Super Sonic

Adobe announced new technology under development in October 2024…”Project Super Sonic

https://blog.adobe.com/en/publish/2024/10/16/new-adobe-max-sneaks-transform-photo-video-audio-3d-creation

今日は…テキストから音声への生成・オブジェクト認識・ボーカルコントロールを備えた音源生成AI「Project Super Sonic」について…

Today, I’d like to talk about “Project Super Sonic” a sound source generation AI with text-to-speech generation, object recognition, and vocal control.

これが…Adobe Premiereに組み込まれていくのか…

先日…ブログでも書いたSuno AI「Scene」でも同じような事が出来そうだけど…ちょっと格が違う?

どんどん簡単になっていく映像制作…一方下がっていく制作コスト…悩ましい…

Will this be incorporated into Adobe Premiere?

I wrote about Suno AI “Scene” on my blog the other day, and it can do the same thing, but is it on a different level?

Video production is getting easier and easier, but at the same time, production costs are falling… It’s a difficult decision…

Midjourneyにて生成

Adobeの「Project Super Sonic」は、AIを活用してビデオのサウンドエフェクトを生成する新しいツールです。このプロジェクトは、2024年のAdobe MAXカンファレンスで発表されました。

主な機能
テキストから音声への生成: ユーザーはテキストプロンプトを入力することで、必要な音声効果を生成できます。これは、既存のサービスと似ていますが、Adobe独自のアプローチが加わっています。

オブジェクト認識: ビデオフレーム内の任意のオブジェクトをクリックすることで、そのオブジェクトに基づいた音声効果を生成することができます。これにより、視覚と音声要素をシームレスに統合することが可能になります。

ボーカルコントロール: ユーザーは自分の声や楽器の音を録音し、その音に合わせてAIが適切な音声効果を生成します。この機能により、サウンドのエネルギーやタイミングを細かく調整できるため、より表現力豊かなサウンドデザインが実現します。

開発背景
AdobeのサウンドデザインAI部門の責任者であるジャスティン・サラモン氏は、このプロジェクトがユーザーに対して創造的なコントロールを提供することを目指していると述べています。彼は、すべての生成AIプロジェクトでライセンスされたデータのみを使用していることも強調しました。

今後の展望
「Project Super Sonic」は現在デモ段階ですが、将来的にはAdobeの製品ラインに統合される可能性があります。特に、同じチームがAdobe Fireflyのオーディオ拡張機能にも関与しているため、このプロジェクトが実際の製品として登場することが期待されています。

by Genspark

Adobe’s “Project Super Sonic” is a new tool that uses AI to generate sound effects for videos. The project was announced at the Adobe MAX conference in 2024.

Main features
Text-to-speech generation: Users can generate the desired voice effect by entering a text prompt. This is similar to existing services, but with Adobe’s own approach.

Object recognition: By clicking on any object in the video frame, you can generate a voice effect based on that object. This makes it possible to seamlessly integrate visual and audio elements.

Vocal control: Users record their own voice or the sound of an instrument, and the AI ​​generates the appropriate voice effect to match the sound. This feature allows you to fine-tune the energy and timing of the sound, resulting in more expressive sound design.

Development background
Justin Salamon, head of Adobe’s sound design AI division, said the project aims to give users creative control. He also emphasized that all generative AI projects use only licensed data.

Future outlook
“Project Super Sonic” is currently in the demo stage, but it may be integrated into Adobe’s product line in the future. Notably, the same team is also behind the audio extensions for Adobe Firefly, so there’s hope that this project will make it into an actual product.

by Genspark

つづく…

to be continued…





Generation AI Lab:生成AIラボ

2025.02.15 以前...HeyGen Expressive Photo Avatarをいじってみた…01 で生成した動画を使って... Adobe Firefly 動画を翻訳をいじってみた…。 Previously, I played around with HeyGen Expressive Photo Avatar…using the video generated in 01… I played around with translating Adobe Firefly videos… Original video Settings…Japanese to English Original video Settings…Japanese to Chinese ド〇〇もんの...「〇〇〇〇こんにゃく」だなぁ... もう...語学力は必要無い時代!? つづく... Is this the time when language skills are no longer necessary? To be continued… Generation AI Lab:生成AIラボ ...
2025.02.15 Blog Propman MEMO 「ものづくり」備忘録?のアイキャッチ画像+αを... Midjourney・Flux・Imagen・Adobe Firefly・Copilot Designer・Ideogram・VIVA・Vidu・Kling・Runway・Dream Machine・Haiper・hailuo...等々で生成しています。 Blog Propman MEMO "Manufacturing" memo? Eye-catching images + more…Created using Midjourney, Flux, Imagen, Adobe Firefly, Copilot Designer, Ideogram, VIVA, Vidu, Kling, Runway, Dream Machine, Haiper, hailuo…etc. Generation AI Lab:生成AIラボ ...
2025.02.15 https://firefly.adobe.com/ Adobe Firefly web版の...動画生成(ベータ版)をいじってみた...。 I tried playing around with the video generation (beta version) of the web version of Adobe Firefly. https://www.adobe.com/jp/products/firefly/features/ai-video-generator.html デフォルトのまま...プロンプト「明治時代、動き出す蒸気機関車に手を振る大勢の人々、東京の駅、雪が降っている」 Leave it as default… Prompt: "Meiji era, a crowd of people waving to a steam locomotive as it starts to move, at a station in Tokyo, it's snowing." ズームイン+プロンプト「蝶の死骸を運ぶ蟻の行列」 Zoom in + pro ...
2025.02.09 最近話題の?... バージョンアップした「PixVerse」を... スタイルを変えて...いじってみた... What's hot recently? … The updated "PixVerse"… I changed the style… I played around with it… https://app.pixverse.ai/home こんな感じ! つづく... It looks like this! To be continued… Generation AI Lab:生成AIラボ ...
2025.02.08 フリー素材プラットフォーム「Freepik」の「Genarate Images」をいじってみた...。 I played around with "Genarate Images" on the free stock image platform "Freepik". https://www.freepik.com/pikaso/ai-image-generator デフォルトのままで...プロンプト...「火星探索する宇宙飛行士3人とロボット5体、背景に大型宇宙船、空には地球と小さな太陽」 Leave it as default… Prompt… "3 astronauts and 5 robots exploring Mars, a large spaceship in the background, Earth and a small sun in the sky" プロンプト...「アフリカのサバンナをかける象の群れとキリンの群れを狙う3頭のライオン」 Prompt… "A herd of elephants on the African savanna ...
2025.02.02 先日...Blogで紹介した「Stable Point Aware 3D」を「Hugging Face」のSpacesでいじってみた...。 The other day, I tried out the "Stable Point Aware 3D" that I introduced on Blog using the "Hugging Face" Spaces. https://huggingface.co/spaces/stabilityai/stable-point-aware-3d Fluxで画像を生成して... ドロップ...トリミングして...生成... Generate images with Flux… Drop… Trim… Generate… Original image もう一つ... Fluxで画像を生成して... ドロップ...トリミングして...生成... One more thing… Generate images with Flux… Drop… Trim… Generate… Original image こんな感じ... 3 ...
2025.01.16 無償で公開された...日本初の商用利用可能な日本語動画生成AI基盤モデル...「AIdeaLab VideoJP」を... https://huggingface.co/spaces/aidealab/AIdeaLab-VideoJP からいじってみた...。 I took a look at "AIdeaLab VideoJP" Japan's first commercially available Japanese video generation AI platform model, which has been released for free at https://huggingface.co/spaces/aidealab/AIdeaLab-VideoJP. https://note.com/aidealab/n/n677018ea1953 Hugging Face からだと...固定のプロンプトからしか生成できないみたい... From Hugging Face … it seems that it can only be generated f ...
2025.01.05 あけましておめでとうございます。 本年も宜しくお願いいたします。 Happy New Year. Thank you for your continued support this year. Generated in Midjourney Generation AI Lab:生成AIラボ ...
2024.12.26 Gensparkから...ホリデーギフトメール「Genspark Fashion Preview」が届いたので...早速いじってみた...。 I received a holiday gift email from Genspark called "Genspark Fashion Preview" so I immediately started playing around with it. https://www.genspark.ai/tryon Midjourneyで元画像を生成してアップロード...待つ事数十秒... Generate the original image with Midjourney and upload it… Wait for a few seconds… Original image…Generated by Midjourney こりゃぁ...ひどい... つづく... Wow… that's terrible… to be continued… Generation AI Lab:生成AIラボ ...
2024.12.23〜26 バージョンアップした...「Pika 2.0」が無料で使える!?早速...試してみた...。 Scene Ingredients: キャラクター、オブジェクト、背景などの要素をアップロードし、シーン内で自由に配置・調整できる機能が追加された...。 https://pika.art The updated version "Pika 2.0" is now available for free!? I tried it right away.Scene Ingredients: Added the ability to upload elements such as characters, objects, and backgrounds and freely place and adjust them within the scene. 先ず...プロンプト「東京の空を飛ぶ50歳の日本人ビジネスマン」とし...プロンプトのみで生成... First, let's generate a prompt using the phrase "A 50-year-o ...