Zero123,一种从单个图像到一致的多视图扩散基础模型,旨在使用单视图输入生成 3D 一致的多视图图像。
大家好~这里是小编!本期【放心AI网-核心AI】带你解锁超实用AI神器,精选全网热门工具,助你一键开启智能新体验!
今天,我们发布了稳定版 Zero123,这是我们内部训练的模型,用于生成视图条件图像。与之前最先进的 Zero123-XL 相比,稳定的 Zero123 产生了显着改善的结果。这是通过 3 项关键创新实现的:
1、改进的训练数据集,从 Objaverse 中大量过滤,只保留高质量的 3D 对象,我们渲染的对象比以前的方法更加真实。
2、在训练和推理过程中,我们为模型提供了估计的摄像机角度。这种海拔调节使其能够做出更明智、更高质量的预测。
3、预先计算的数据集(预先计算的潜在变量)和改进的数据加载器支持更高的批量大小,与第一个创新相结合,与 Zero123-XL 相比,训练效率提高了 40 倍。
稳定的 Zero123 可以生成物体的新颖视图,展示从各个角度对物体外观的 3D 理解,由于训练数据集和高程条件的改进,其质量比 Zero1-to-3 或 Zero123-XL 显着提高。
该模型基于稳定扩散 1.5,消耗与 SD1.5 相同数量的 VRAM 来生成 1 个新视图。使用 Stable Zero123 生成 3D 对象需要更多时间和内存(建议使用 24GB VRAM)。
为了实现 3D 对象生成方面的开放研究,我们改进了 Threestudio 开源代码的开源代码,以支持 Zero123 和 Stable Zero123。 Stable 3D 流程的简化版本目前处于私人预览阶段。从技术角度来说,这使用分数蒸馏采样 (SDS) 来使用稳定的 Zero123 模型来优化 NeRF,稍后我们可以从中创建纹理 3D 网格。该过程可以适用于文本到 3D 生成,首先使用 SDXL 生成单个图像,然后使用 Stable Zero123 生成 3D 对象。
Zero123项目:https://github.com/cvlab-columbia/zero123
Zero123试用:https://huggingface.co/spaces/cvlab/zero123-live
Zero123论文:https://arxiv.org/abs/2303.11328
该模型现已发布在 Hugging Face 上,研究人员和非商业用户可以下载并进行实验。
今天的AI工具安利就到这里啦!小伙伴们还想看哪些神器?快留言告诉小编,放心AI网-核心AI下期继续带你挖宝!
需要网络免费
资讯AI更多
资讯AI 更多
甲骨文推出新AI智能体和生成式AI功能,助力销售团队提升客户互动
更新时间:2025-04-30
网易有道推出“子曰-o1”推理模型,教育领域迎来新变革
更新时间:2025-04-30
豆包上线深度推理模式:AI逻辑链条可视化,问答搜索新突破
更新时间:2025-04-17
当AI制药不再讲故事
更新时间:2025-04-30
成都华微:AI算力高达16Tops的人工智能芯片已小批量试用
更新时间:2025-04-30
谷歌全新升级Gemini2.0FlashThinking,长上下文处理能力再创新高
更新时间:2025-04-30
网易有道子曰-o1推理模型正式开源发布专为消费级显卡设计
更新时间:2025-04-30
谷歌推出实时AI视频功能Gemini:手机摄像头瞬间解读画面内容。
更新时间:2025-04-09
苹果重组AI高管团队,Siri升级延后至未来五年规划——AI高管团队重组影响Siri升级计划,预计推迟至2026年。
更新时间:2025-04-09
“星际迷航”黑科技照进现实!AI超声技术斩获百万美元大奖,你的心脏健康要被重新定义了!
更新时间:2025-04-16