今日は…テキストから音声への生成・オブジェクト認識・ボーカルコントロールを備えた音源生成AI「Project Super Sonic」について…
Today, I’d like to talk about “Project Super Sonic” a sound source generation AI with text-to-speech generation, object recognition, and vocal control.
今後の展望 「Project Super Sonic」は現在デモ段階ですが、将来的にはAdobeの製品ラインに統合される可能性があります。特に、同じチームがAdobe Fireflyのオーディオ拡張機能にも関与しているため、このプロジェクトが実際の製品として登場することが期待されています。
by Genspark
Adobe’s “Project Super Sonic” is a new tool that uses AI to generate sound effects for videos. The project was announced at the Adobe MAX conference in 2024.
Main features Text-to-speech generation: Users can generate the desired voice effect by entering a text prompt. This is similar to existing services, but with Adobe’s own approach.
Object recognition: By clicking on any object in the video frame, you can generate a voice effect based on that object. This makes it possible to seamlessly integrate visual and audio elements.
Vocal control: Users record their own voice or the sound of an instrument, and the AI generates the appropriate voice effect to match the sound. This feature allows you to fine-tune the energy and timing of the sound, resulting in more expressive sound design.
Development background Justin Salamon, head of Adobe’s sound design AI division, said the project aims to give users creative control. He also emphasized that all generative AI projects use only licensed data.
Future outlook “Project Super Sonic” is currently in the demo stage, but it may be integrated into Adobe’s product line in the future. Notably, the same team is also behind the audio extensions for Adobe Firefly, so there’s hope that this project will make it into an actual product.
2024.11.03 バージョンアップした...「Illustrator 2025」の新機能をいじってみた...第3回... I tried out the new features of the updated "Illustrator 2025"… Part 3… Generated with Flux Pro 1.1 ... 改良された「画像トレース」機能について... トレースの精度が上がって...透明...自動グループ化...シェイプ等が搭載されて...より使いやすくなっている様です...。 About the improved "image tracing" function… The tracing accuracy has improved…transparency…auto grouping…shapes, etc. have been added…it seems to be easier to use… Original image...Generated with Flux Pro 1.1 ... 自由自在にフィットできるようになった...品質が向上した...「 ...
2024.11.02 バージョンアップした...「Illustrator 2025」の新機能をいじってみた...第2回... I tried out the new features of the updated "Illustrator 2025"… Part 2… Generated with Flux Pro 1.1 ... 新搭載された「パス上オブジェクト」ツールについて... 「オブジェクト」→「パス上オブジェクト」で使用できる... About the new "Object on Path" tool… Available from "Object" → "Object on Path"… イラストは... Illustrations can be downloaded from…https://www.ac-illust.com/ 上のキャンプ用品を全て選択して...「パス上オブジェクト」をクリックして並べたい線を選択すると... Select all the camping equipment above… Select "Object on Path" and se ...
2024.11.02 バージョンアップした...「Illustrator 2025」の新機能をいじってみた...第1回... I tried out the new features of the updated "Illustrator 2025"…Part 1… Generated with Flux Pro 1.1 ... 先ずは...アウトラインされたFontを編集可能なFontに戻してくれる...「Retype(Beta)」の日本語対応... First of all… "Retype (Beta)" which turns outlined fonts back into editable fonts… Japanese support… 元のFontを認識... Recognize original font… 元のFontを認識せず... The original font is not recognized… 惜しい...元のFontを認識せず... Too bad… the original font was not recognized… 流石に...全てを元に戻 ...
2024.10.31 画像生成AIのベンチマークで1位?で話題の...「Recraft V3」をいじってみた...。 I tried playing around with "Recraft V3", the popular image generation AI benchmark that's ranked first? https://www.recraft.ai/blog/recraft-introduces-a-revolutionary-ai-model-that-thinks-in-design-language https://www.recraft.ai/ 「Create new project」→「Image」→「Recraft V3 Raw」...プロンプト「東京の空を泳ぐ鯨」 "Create new project" → "Image" → "Recraft V3 Raw"…prompt "Whale swimming in the Tokyo sky" 「Create new project」→「Image」→「Enterprise」...プロンプト「東京の空 ...
2024.10.28 今日は...「Haiper 2.0」の画像から動画生成をいじってみた...。 Today I played around with generating videos from images using "Haiper 2.0"… https://haiper.ai/home 先ずは...Haiperでテキストから画像を生成...「夏のビーチで遊ぶ子供たち」 First…Generating images from text with Haiper…"Children playing on the beach in summer" まだ…キーフレームは使えないみたいですね… Still… it looks like I can't use keyframes… Original image generated by Haiper Midjourneyで生成した画像で動画生成...「居酒屋で焼き鳥を食べながらビールを飲む日本人ビジネスマン5人」 Creating a video using images generated by Midjourney: "Five ...
2024.10.27 先日...ブログでも紹介した「Haiper 2.0…登場!」早速...バージョン1.5と比較してみた! The other day, I introduced "Haiper 2.0…is here!" in my blog! Let's compare it with version 1.5 right away! https://haiper.ai/home 先ずは...テキストから動画生成...プロンプト「月に着陸するスペースシップ、操縦席から見える風景、地球と太陽が見える」 First… Video generation from text… Prompt: “Spaceship landing on the moon, view from the cockpit, Earth and sun visible” For Haiper 1.5 For Haiper 2.0 ちゃんと着陸しましたね! It landed fine! テキストから動画生成...プロンプト「ポテトチップスを食べながらリビングでソファーに座ってテレビを観る太った猫の夫婦」 Video ...
2024.10.26 以前...ブログで紹介した「Pyramid Flow」をいじってみた... I played around with "Pyramid Flow" that I introduced in my blog before… Hugging Face Spaces https://huggingface.co/spaces/Pyramid-Flow/pyramid-flow 高品質な短編動画を効率的に生成する動画生成AI「Pyramid Flow」 プロンプト…「東京を襲う大怪獣、逃げ惑う民衆」 Prompto… "A giant monster attacks Tokyo, and the people flee in panic" 動きが少ないし... There's little movement… プロンプト…「争う2頭のマントヒヒ」 Prompt… "Two Mandrills fighting" マントヒヒじゃないし... It's not a Hamadryas… 画像から動画生成...プロンプト「エジプトのピラミッドの眺める観光客」+「歩く」 Gene ...
2024.10.22 2024.10にAdobeが発表した開発中の新技術...「Project Hi-Fi」 Adobe announced new technology under development in October 2024…"Project Hi-Fi" https://blog.adobe.com/en/publish/2024/10/16/new-adobe-max-sneaks-transform-photo-video-audio-3d-creation 今日は...画像生成AI × 画像生成AIで...Photoshopの在り方を変える!?Photoshopのプラグインとして機能する「Project Hi-Fi」について... Today, we'll be talking about "Project Hi-Fi" a Photoshop plug-in that will change the way Photoshop works with image generation AI x image generation AI. この動画を見て感じたことは ...