PROPMAN DESIGN 合同会社 | PROPMAN DESIGN LLC.

生成AIラボ:Adobeの新技術「Project Super Sonic」| Adobe’s new technology “Project Super Sonic”

Home  >>  生成AIラボ:Adobeの新技術「Project Super Sonic」| Adobe’s new technology “Project Super Sonic”

2024.10.20

2024.10にAdobeが発表した開発中の新技術…「Project Super Sonic

Adobe announced new technology under development in October 2024…”Project Super Sonic

https://blog.adobe.com/en/publish/2024/10/16/new-adobe-max-sneaks-transform-photo-video-audio-3d-creation

今日は…テキストから音声への生成・オブジェクト認識・ボーカルコントロールを備えた音源生成AI「Project Super Sonic」について…

Today, I’d like to talk about “Project Super Sonic” a sound source generation AI with text-to-speech generation, object recognition, and vocal control.

これが…Adobe Premiereに組み込まれていくのか…

先日…ブログでも書いたSuno AI「Scene」でも同じような事が出来そうだけど…ちょっと格が違う?

どんどん簡単になっていく映像制作…一方下がっていく制作コスト…悩ましい…

Will this be incorporated into Adobe Premiere?

I wrote about Suno AI “Scene” on my blog the other day, and it can do the same thing, but is it on a different level?

Video production is getting easier and easier, but at the same time, production costs are falling… It’s a difficult decision…

Midjourneyにて生成

Adobeの「Project Super Sonic」は、AIを活用してビデオのサウンドエフェクトを生成する新しいツールです。このプロジェクトは、2024年のAdobe MAXカンファレンスで発表されました。

主な機能
テキストから音声への生成: ユーザーはテキストプロンプトを入力することで、必要な音声効果を生成できます。これは、既存のサービスと似ていますが、Adobe独自のアプローチが加わっています。

オブジェクト認識: ビデオフレーム内の任意のオブジェクトをクリックすることで、そのオブジェクトに基づいた音声効果を生成することができます。これにより、視覚と音声要素をシームレスに統合することが可能になります。

ボーカルコントロール: ユーザーは自分の声や楽器の音を録音し、その音に合わせてAIが適切な音声効果を生成します。この機能により、サウンドのエネルギーやタイミングを細かく調整できるため、より表現力豊かなサウンドデザインが実現します。

開発背景
AdobeのサウンドデザインAI部門の責任者であるジャスティン・サラモン氏は、このプロジェクトがユーザーに対して創造的なコントロールを提供することを目指していると述べています。彼は、すべての生成AIプロジェクトでライセンスされたデータのみを使用していることも強調しました。

今後の展望
「Project Super Sonic」は現在デモ段階ですが、将来的にはAdobeの製品ラインに統合される可能性があります。特に、同じチームがAdobe Fireflyのオーディオ拡張機能にも関与しているため、このプロジェクトが実際の製品として登場することが期待されています。

by Genspark

Adobe’s “Project Super Sonic” is a new tool that uses AI to generate sound effects for videos. The project was announced at the Adobe MAX conference in 2024.

Main features
Text-to-speech generation: Users can generate the desired voice effect by entering a text prompt. This is similar to existing services, but with Adobe’s own approach.

Object recognition: By clicking on any object in the video frame, you can generate a voice effect based on that object. This makes it possible to seamlessly integrate visual and audio elements.

Vocal control: Users record their own voice or the sound of an instrument, and the AI ​​generates the appropriate voice effect to match the sound. This feature allows you to fine-tune the energy and timing of the sound, resulting in more expressive sound design.

Development background
Justin Salamon, head of Adobe’s sound design AI division, said the project aims to give users creative control. He also emphasized that all generative AI projects use only licensed data.

Future outlook
“Project Super Sonic” is currently in the demo stage, but it may be integrated into Adobe’s product line in the future. Notably, the same team is also behind the audio extensions for Adobe Firefly, so there’s hope that this project will make it into an actual product.

by Genspark

つづく…

to be continued…





Generation AI Lab:生成AIラボ

2024.11.03 バージョンアップした...「Illustrator 2025」の新機能をいじってみた...第3回... I tried out the new features of the updated "Illustrator 2025"… Part 3… Generated with Flux Pro 1.1 ... 改良された「画像トレース」機能について... トレースの精度が上がって...透明...自動グループ化...シェイプ等が搭載されて...より使いやすくなっている様です...。 About the improved "image tracing" function… The tracing accuracy has improved…transparency…auto grouping…shapes, etc. have been added…it seems to be easier to use… Original image...Generated with Flux Pro 1.1 ... 自由自在にフィットできるようになった...品質が向上した...「 ...
2024.11.02 バージョンアップした...「Illustrator 2025」の新機能をいじってみた...第2回... I tried out the new features of the updated "Illustrator 2025"… Part 2… Generated with Flux Pro 1.1 ... 新搭載された「パス上オブジェクト」ツールについて... 「オブジェクト」→「パス上オブジェクト」で使用できる... About the new "Object on Path" tool… Available from "Object" → "Object on Path"… イラストは... Illustrations can be downloaded from…https://www.ac-illust.com/ 上のキャンプ用品を全て選択して...「パス上オブジェクト」をクリックして並べたい線を選択すると... Select all the camping equipment above… Select "Object on Path" and se ...
2024.11.02 バージョンアップした...「Illustrator 2025」の新機能をいじってみた...第1回... I tried out the new features of the updated "Illustrator 2025"…Part 1… Generated with Flux Pro 1.1 ... 先ずは...アウトラインされたFontを編集可能なFontに戻してくれる...「Retype(Beta)」の日本語対応... First of all… "Retype (Beta)" which turns outlined fonts back into editable fonts… Japanese support… 元のFontを認識... Recognize original font… 元のFontを認識せず... The original font is not recognized… 惜しい...元のFontを認識せず... Too bad… the original font was not recognized… 流石に...全てを元に戻 ...
2024.11.01 Blog Propman MEMO 「ものづくり」備忘録?のアイキャッチ画像+αを... Midjourney・Flux・Imagen・Adobe Firefly・Copilot Designer・Ideogram・VIVA・Vidu・Kling・Runway・Dream Machine・Haiper・hailuo...等々で生成しています。 Blog Propman MEMO "Manufacturing" memo? Eye-catching images + more…Created using Midjourney, Flux, Imagen, Adobe Firefly, Copilot Designer, Ideogram, VIVA, Vidu, Kling, Runway, Dream Machine, Haiper, hailuo…etc. Generation AI Lab:生成AIラボ ...
2024.10.31 画像生成AIのベンチマークで1位?で話題の...「Recraft V3」をいじってみた...。 I tried playing around with "Recraft V3", the popular image generation AI benchmark that's ranked first? https://www.recraft.ai/blog/recraft-introduces-a-revolutionary-ai-model-that-thinks-in-design-language https://www.recraft.ai/ 「Create new project」→「Image」→「Recraft V3 Raw」...プロンプト「東京の空を泳ぐ鯨」 "Create new project" → "Image" → "Recraft V3 Raw"…prompt "Whale swimming in the Tokyo sky" 「Create new project」→「Image」→「Enterprise」...プロンプト「東京の空 ...
2024.10.28 今日は...「Haiper 2.0」の画像から動画生成をいじってみた...。 Today I played around with generating videos from images using "Haiper 2.0"… https://haiper.ai/home 先ずは...Haiperでテキストから画像を生成...「夏のビーチで遊ぶ子供たち」 First…Generating images from text with Haiper…"Children playing on the beach in summer" まだ…キーフレームは使えないみたいですね… Still… it looks like I can't use keyframes… Original image generated by Haiper Midjourneyで生成した画像で動画生成...「居酒屋で焼き鳥を食べながらビールを飲む日本人ビジネスマン5人」 Creating a video using images generated by Midjourney: "Five ...
2024.10.27 先日...ブログでも紹介した「Haiper 2.0…登場!」早速...バージョン1.5と比較してみた! The other day, I introduced "Haiper 2.0…is here!" in my blog! Let's compare it with version 1.5 right away! https://haiper.ai/home 先ずは...テキストから動画生成...プロンプト「月に着陸するスペースシップ、操縦席から見える風景、地球と太陽が見える」 First… Video generation from text… Prompt: “Spaceship landing on the moon, view from the cockpit, Earth and sun visible” For Haiper 1.5 For Haiper 2.0 ちゃんと着陸しましたね! It landed fine! テキストから動画生成...プロンプト「ポテトチップスを食べながらリビングでソファーに座ってテレビを観る太った猫の夫婦」 Video ...
2024.10.26 以前...ブログで紹介した「Pyramid Flow」をいじってみた... I played around with "Pyramid Flow" that I introduced in my blog before… Hugging Face Spaces https://huggingface.co/spaces/Pyramid-Flow/pyramid-flow 高品質な短編動画を効率的に生成する動画生成AI「Pyramid Flow」 プロンプト…「東京を襲う大怪獣、逃げ惑う民衆」 Prompto… "A giant monster attacks Tokyo, and the people flee in panic" 動きが少ないし... There's little movement… プロンプト…「争う2頭のマントヒヒ」 Prompt… "Two Mandrills fighting" マントヒヒじゃないし... It's not a Hamadryas… 画像から動画生成...プロンプト「エジプトのピラミッドの眺める観光客」+「歩く」 Gene ...
2024.10.24 Blog Propman MEMO 「ものづくり」備忘録?のアイキャッチ画像+αを... Midjourney・Flux・Imagen・Adobe Firefly・Copilot Designer・Ideogram・VIVA・Vidu・Kling・Runway・Dream Machine・Haiper・hailuo...等々で生成しています。 Blog Propman MEMO "Manufacturing" memo? Eye-catching images + more…Created using Midjourney, Flux, Imagen, Adobe Firefly, Copilot Designer, Ideogram, VIVA, Vidu, Kling, Runway, Dream Machine, Haiper, hailuo…etc. Generation AI Lab:生成AIラボ ...
2024.10.22 2024.10にAdobeが発表した開発中の新技術...「Project Hi-Fi」 Adobe announced new technology under development in October 2024…"Project Hi-Fi" https://blog.adobe.com/en/publish/2024/10/16/new-adobe-max-sneaks-transform-photo-video-audio-3d-creation 今日は...画像生成AI × 画像生成AIで...Photoshopの在り方を変える!?Photoshopのプラグインとして機能する「Project Hi-Fi」について... Today, we'll be talking about "Project Hi-Fi" a Photoshop plug-in that will change the way Photoshop works with image generation AI x image generation AI. この動画を見て感じたことは ...