生成AIラボ：「Hi3DGen v0.1」をいじってみた…01 | I tried playing around with 「Hi3DGen v0.1」…01

画像から高精細な3Dジオメトリを生成するための新しいオープンソースプロジェクト…3Dモデル生成AI「Hi3DGen v0.1」を Hugging Face でいじってみた…。

A new open source project for generating high-resolution 3D geometry from images…I played around with the 3D model generation AI “Hi3DGen v0.1” on Hugging Face…

昨日の「TripoSG」と同じ画像で…トライ！

Try it with the same image as yesterday’s “TripoSG”!

3Dモデル生成AI「Hi3DGen v0.1」は、画像から高精細な3Dジオメトリを生成するための新しいオープンソースプロジェクトです。このプロジェクトは、香港中文大学（深圳）とByteDanceの研究チームによって開発され、2025年4月10日にGitHubでコードが公開されました。

Hi3DGenの特徴

ノーマルマップの利用:
Hi3DGenは、ノーマルマップを中間表現として使用することで、2D画像から3Dジオメトリへの変換を行います。ノーマルマップは、表面の向きをエンコードする情報を持ち、これにより高精度なジオメトリ生成が可能になります。

フレームワークの構成:
Hi3DGenは、以下の三つの主要なコンポーネントから成り立っています。

画像からノーマルの推定:
低周波数と高周波数の画像パターンを分離し、ノイズを注入することで、安定したシャープなノーマル推定を実現します。
ノーマルからジオメトリへの学習: ノーマルを正則化した潜在拡散学習を用いて、3Dジオメトリの生成精度を向上させます。

3Dデータ合成パイプライン:
高品質なデータセットを構築し、モデルのトレーニングをサポートします。

実績と効果:
Hi3DGenは、従来の手法と比較して、豊かな幾何学的詳細を生成する能力において優れた性能を示しています。特に、入力画像に対して一貫した高精度な3Dモデルを生成することができます。

このように、Hi3DGenは、画像から3Dモデルを生成するための新しいアプローチを提供し、特に高精度なジオメトリ生成を目指しています。興味のある方は、GitHubのリポジトリでコードを確認することができます。

by Felo

3D model generation AI “Hi3DGen v0.1” is a new open source project for generating high-definition 3D geometry from images. The project was developed by a research team from the Chinese University of Hong Kong (Shenzhen) and ByteDance, and the code was released on GitHub on April 10, 2025.

Features of Hi3DGen

Using normal maps:
Hi3DGen converts 2D images to 3D geometry by using normal maps as an intermediate representation. Normal maps have information that encodes the surface orientation, which enables highly accurate geometry generation.

Framework configuration:
Hi3DGen consists of three main components:

Image-to-normal estimation:
By separating low-frequency and high-frequency image patterns and injecting noise, we achieve stable and sharp normal estimation.

Normal-to-geometry learning:
We use latent diffusion learning with normal regularization to improve the accuracy of 3D geometry generation.

3D data synthesis pipeline:
We build high-quality datasets and support model training.

Achievements and Results:
Hi3DGen has shown superior performance in its ability to generate rich geometric details compared to traditional methods. In particular, it is able to generate consistent and highly accurate 3D models for input images.

Thus, Hi3DGen offers a new approach to generating 3D models from images, with a particular focus on generating highly accurate geometry. Interested parties can check out the code in the GitHub repository.

by Felo