trellis3d

trellis3d

👁️ 9177 次浏览

TRELLIS(含其升级版TRELLIS.2)是由微软亚洲研究院、清华大学与中国科学技术大学(USTC) 等顶尖机构联合研发的AI 3D资产生成模型,能够从文本或图像输入中快速生成高质量的3D资产。其名称“TRELLIS”源自“Structured Latent(结构化潜变量) ”技术框架,核心目标是将2D创意快速转化为可用于生产的3D模型,大幅降低3D内容创作门槛,助力游戏、影视、电商和VR/AR等多个领域的内容创作者

详细介绍

🧩 产品概述

TRELLIS 是一个由微软亚洲研究院、清华大学与中国科学技术大学(USTC) 等顶尖机构联合研发的AI 3D资产生成模型。这个项目因其开创性的技术,特别是其升级版 TRELLIS.2 的开源,在行业内引起了巨大反响。它最大的特点是能从一张2D图片中,快速推演出一个细节丰富、材质逼真的3D模型。相比于只能“捏个形状”的早期工具,TRELLIS更像一个懂得物理规律的“数字工匠”,生成的模型不仅形似,更“神似”,可以直接用于游戏、影视或电商等专业项目。

模型本身采用宽松的 MIT 协议,完全开放和免费,任何人都可以将其用于个人或商业用途,这也是它备受青睐的原因之一。


✨ 主要功能

TRELLIS 的功能非常强大,核心包括以下几个方面:

  • 1. AI模型生成
  • 图生3D (Image to 3D):这是它的核心亮点。上传一张图片(或多张图片),就能在几秒到一分钟内生成一个高精度的3D模型。
  • 文生3D (Text to 3D):输入文字描述来生成模型,例如“一个细节丰富的复古铜质旋转电话”。不过,项目官方也特别提到,由于数据限制,建议采用"文生图 + 图生3D"的组合策略:先用AI把文字变成高质量的2D图片,再用TRELLIS变成3D模型,效果会更好。
  • 2. 高质量与逼真材质
  • 生成的模型自带一套完整的 PBR(基于物理的渲染)材质贴图,包括颜色、粗糙度、金属度和透明度。有了这些贴图,模型在光照下的质感会非常真实,无论是金属的反光还是玻璃的折射,效果都很出色。
  • 3. 能处理复杂结构
  • 传统的3D模型在面对如织物镂空、物体内部结构时容易“糊成一片”,但TRELLIS能准确地生成这些复杂的拓扑结构,不会出现破面或错误的封口。
  • 4. 输出格式多样 & 灵活编辑
  • 导出格式支持GLB、OBJ、STL、GLTF、USDZ、PLY等,兼容Blender、Unity、Unreal等主流软件,非常方便。
  • 可以对生成的模型进行局部编辑,比如根据新的文本指令修改某个部分,或生成同一物体的多个创意变体,为创作提供了很大的灵活性。

🛠️ 如何使用

TRELLIS 提供了多种使用方式,可以根据自己的技术背景和需求来选择。

方式一:网页平台(最简单,0基础可用)

  • 访问网址
  • 操作步骤:
  1. 打开网站,上传一张图片。
  2. 点击“生成”按钮,系统会先生成一个可旋转的3D预览,让你检查效果。
  3. 满意后,点击下载,就能得到你想要的3D模型文件了。


方式二:本地部署(最自由,需一定技术门槛)

  • 硬件要求:推荐使用NVIDIA GPU (显存 ≥ 16GB),如RTX 3090/4090或A100/A6000;建议内存不少于32GB。
  • 软件要求:Linux系统(Windows支持有限)、Python 3.8+、CUDA 11.8或12.2。
  • 大致步骤:
  1. 克隆项目:从GitHub仓库 git clone 代码到本地。
  2. 安装依赖:运行 setup.sh 脚本来安装依赖和环境。
  3. 运行界面:通过 python app.py 命令启动Gradio网页界面,就可以使用了。
  4. API调用:也可以通过Python API来编程调用,适合更高级的开发者。
  • 部署参考:想全面了解部署细节,可以去看看TRELLIS的官方GitHub或相关技术博客。


方式三:云端服务(平衡之选,无需本地GPU)

  • 很多云服务商都提供了一键部署的TRELLIS应用(如Hugging Face Spaces、Clore.ai等),可以直接在云GPU上运行,省去配置环境的麻烦。


💰 价格

TRELLIS 模型本身是完全开源免费的。但如果你选择使用第三方提供的网页服务或API,则会根据对方平台的规则计费。

以 trellis3d.co 平台为例,它的定价方式如下:

  • 免费版:提供一个免费的在线版本,用户无需付费即可体验图像转3D资产的基本功能。
  • 月度订阅:当你需要更高频率的生成、更快的速度或更多功能时,可以选择订阅。它主要分为以下几个套餐:
  • Basic (基础版):每月 **8美元∗∗(按年付)或

  • 8美元∗∗(按年付)或10美元/月。包含每月300积分和3个并发任务。
  • Plus (进阶版):每月 **16美元∗∗(按年付)或

  • 16美元∗∗(按年付)或20美元/月。包含每月1000积分和10个并发任务。
  • Pro (专业版):每月 **48美元∗∗(按年付)或

  • 48美元∗∗(按年付)或60美元/月。包含每月4000积分和无限的并发任务。
  • Enterprise (企业版):提供定制化的解决方案,需联系销售购买。
  • 额外积分:对于订阅用户,还可以随时购买积分加油包,用不完的积分不会过期,非常灵活。


❓ 常见问题

  • Q1: 生成的模型可以商用吗?
  • 是的,完全可以。 因为TRELLIS采用MIT协议开源,你拥有生成模型的所有权,可以自由地用于商业项目、游戏开发、3D打印售卖等任何用途。但需要注意,若通过第三方平台使用,其服务条款可能会有不同规定。
  • Q2: 为什么我的模型预览视频和最终下载的GLB模型看起来不一样?
  • 这通常是因为导出时的 “模型简化”参数 设置得太高了。默认参数为了优化性能,会减少一些多边形和细节。解决方法是在导出时调整 simplify 参数(可在代码中手动修改),建议对于复杂模型,可以尝试设置在 0.6 到 0.8之间 来平衡性能和质量。
  • Q3: 导出的GLB文件太大/内存不足怎么办?
  • 导出GLB文件时,系统会进行“纹理烘焙”,这个过程对显存要求较高。如果遇到内存错误,可以尝试调低 texture_size(纹理尺寸) 参数,比如从2048降到1024或512。文件大小和视觉质量之间需要做个取舍。
  • Q4: TRELLIS.2 比初代强在哪里?
  • TRELLIS.2 是一次全面的技术升级:
  • 更快更强:模型参数达到 40亿,生成速度更快(标准质量3秒)。
  • 质量更高:能处理高达 1536³ 的分辨率。
  • 结构更好:全新的 O-Voxel 技术,能准确还原物体的内部复杂几何结构。
  • 材质更全:完整支持PBR材质,让模型质感更真实。