微信号

功能介绍

iOS用户无法进入的点击底部「阅读原文」

熊可爱

{GenAI + 3D}：多个AI Agent生成3D虚拟世界，利用了多个AI代理,每个代理都专注于理解文本提示的不同部分以及执行建模功能，目前在3D+AI赛道的从业者关注......

一种可从简单文本命令生成3D世界的AI Agent

澳大利亚国立大学、英国牛津大学和北京人工智能学院的研究人员开发了一种名为“3D-GPT”的新型AI系统,它能够仅从用户提供的基于文本的描述中生成3D模型。它提供了比传统3D建模工作流程更高效、更直观的方式来创建3D资产。 

3D-GPT能够“将过程化3D建模任务分解成可访问的片段,并为每个任务指派合适的代理”,根据论文表示。它利用了多个AI代理,每个代理都专注于理解文本提示的不同部分以及执行建模功能。

论文中写道:“3D-GPT将大型语言模型(LLM)定位为熟练的问题解决者,将过程化3D建模任务分解成可访问的片段,为每个任务指派合适的代理。”

关键代理包括“任务分派代理”,它可以解析文本说明,“概念化代理”,它可以添加初始描述中遗漏的细节,以及“建模代理”,它可以设置参数并生成代码来驱动3D软件,如Blender。

通过分解建模过程并指派专门的AI代理,3D-GPT能够解释文本提示,增强描述的细节,并最终生成与用户所想象的相匹配的3D资产。

“它增强了简洁的初始场景描述,在遵循后续指示的同时,将其动态地发展成详细的形式。”

该系统在像“烟雾迷蒙的春日清晨,晶莹的露水点缀着郁郁葱葱的花海,四周环绕着吐绿的树木”这样的提示下进行了测试。3D-GPT能够生成完整的3D场景,其图像质量与文本中描述的元素真实吻合。

尽管图形质量还未达到照片级逼真,但早期结果表明,这种基于代理的方法在简化3D内容创作方面显示出前景和希望。模块化架构也可以独立改进每个代理组件。

研究人员写道:“我们的实证研究确认,3D-GPT不仅可以解释和执行指令,提供可靠的结果,而且还可以与人类设计师进行有效协作。”

GenAI

投资人

3D-GPT开创了语言AI赋能3D内容生成的新路径,可以极大降低多媒体内容制作的门槛,使创作者更加专注于创意而非技术实现。这对游戏、动画、虚拟现实等领域将带来革命性的影响；系统输出质量仍待提升,理解能力有限,难以达到商业应用的要求。

AI多模态（Text、Image之外）阶段，产品化是关键！

 【方案库】做GenAI + 3D方向产品的从业者：分享一个可用方案（尤其是做XR、元宇宙虚拟空间的），在为XR/VR等空间应用生成细致逼真、空间一致的文本驱动纹理。

元宇宙

3D建模师

通过生成控制现有3D软件的代码而不是从头构建模型,3D-GPT为建模技术持续发展提供了灵活的基础。

研究人员总结称,他们的系统“突出了LLM在3D建模中的潜力,为场景生成和动画的未来进步提供了一个基本框架。”3D-GPT框架仍处于初级阶段,存在一些局限性。但其发展标志着AI驱动的3D建模向前迈出了重要的一步,为未来的进步打开了激动人心的可能性。

AI

产品经理

概述：

3D-GPT:利用大型语言模型进行过程化3D建模

在高效自动化内容创建的追求中,利用可修改的参数和基于规则的系统的过程化生成浮现为一种有前景的方法。尽管如此,鉴于其复杂的本质需要对规则、算法和参数有深刻的理解,这可能会是一项艰巨的努力。为了减轻工作量,作者提出了3D-GPT,一个利用大型语言模型(LLM)进行指令驱动3D建模的框架。3D-GPT将LLM定位为熟练的问题解决者,将过程化3D建模任务分解为可访问的部分,并为每个任务指派合适的代理。3D-GPT集成了三个核心代理:任务调度代理、概念化代理和建模代理。它们共同实现两个目标。首先,它增强了简洁的初始场景描述,在遵循后续指令的同时,将其动态地发展成详细的形式。其次,它集成了过程生成,从丰富的文本中提取参数值,以便于与3D软件无缝对接,用于资产创建。作者实证研究确认,3D-GPT不仅可以解释和执行指令,提供可靠的结果,而且还可以与人类设计师进行有效协作。此外,它与Blender无缝集成,解锁了扩展的操作可能性。通过将建模工作分解成步骤,代理可以协作以匹配描述。这有点像人类3D建模团队的工作方式。

地址：

https://chuny1.github.io/3DGPT/3dgpt.html

拓展：

苹果眼镜Killer APP系列 - 打造空间计算的社交应用（学习笔记、产品交互、产品模式、方案、思考建议等）

空间计算

从业者

—— End ——

加入社区，解锁更多内容

【三次方-3D&AI互联网一站式成长社区】：聚焦下一代互联网的科技社区，关注以3D/AI为主导的互联网方向（AR/VR/AIGC/元宇宙/数字人/3D等）

学习 + 破圈 + 链接。点击了解和加入

权益升级，互联网下一阶段，3D和AI这两个赛道是主方向！学习、破圈与链接，所以围绕这块我们新增了内容专栏和服务。社区升级后， 核心权益有： 

•  1、【AI Native】探索以大模型为基础的AGI时代，AI Native应用（创业方向/产品模式/技术方案/AI工作流/互联网人的机会趋势） 

• 2、【3D Native】挖掘空间计算时代苹果眼镜Killer APP（AR、VR、元宇宙、数字人） 

• 3、【AI 工作流】AI+电商/自媒体/设计/职场/游戏/副业等落地的AI工作流 

• 三次方科技社区愿景（1.0）：继PC、移动互联网之后，下一个互联网十年，大家携手一起奔赴下一代互联网的星辰大海，成为科技时代领航员，创业、赚钱、职场可持续发展！

微信号

功能介绍

iOS用户无法进入的点击底部「阅读原文」

熊可爱

{GenAI + 3D}：多个AI Agent生成3D虚拟世界，利用了多个AI代理,每个代理都专注于理解文本提示的不同部分以及执行建模功能，目前在3D+AI赛道的从业者关注......

一种可从简单文本命令生成3D世界的AI Agent

澳大利亚国立大学、英国牛津大学和北京人工智能学院的研究人员开发了一种名为“3D-GPT”的新型AI系统,它能够仅从用户提供的基于文本的描述中生成3D模型。它提供了比传统3D建模工作流程更高效、更直观的方式来创建3D资产。 

3D-GPT能够“将过程化3D建模任务分解成可访问的片段,并为每个任务指派合适的代理”,根据论文表示。它利用了多个AI代理,每个代理都专注于理解文本提示的不同部分以及执行建模功能。

论文中写道:“3D-GPT将大型语言模型(LLM)定位为熟练的问题解决者,将过程化3D建模任务分解成可访问的片段,为每个任务指派合适的代理。”

关键代理包括“任务分派代理”,它可以解析文本说明,“概念化代理”,它可以添加初始描述中遗漏的细节,以及“建模代理”,它可以设置参数并生成代码来驱动3D软件,如Blender。

通过分解建模过程并指派专门的AI代理,3D-GPT能够解释文本提示,增强描述的细节,并最终生成与用户所想象的相匹配的3D资产。

“它增强了简洁的初始场景描述,在遵循后续指示的同时,将其动态地发展成详细的形式。”

该系统在像“烟雾迷蒙的春日清晨,晶莹的露水点缀着郁郁葱葱的花海,四周环绕着吐绿的树木”这样的提示下进行了测试。3D-GPT能够生成完整的3D场景,其图像质量与文本中描述的元素真实吻合。

尽管图形质量还未达到照片级逼真,但早期结果表明,这种基于代理的方法在简化3D内容创作方面显示出前景和希望。模块化架构也可以独立改进每个代理组件。

研究人员写道:“我们的实证研究确认,3D-GPT不仅可以解释和执行指令,提供可靠的结果,而且还可以与人类设计师进行有效协作。”

GenAI

投资人

3D-GPT开创了语言AI赋能3D内容生成的新路径,可以极大降低多媒体内容制作的门槛,使创作者更加专注于创意而非技术实现。这对游戏、动画、虚拟现实等领域将带来革命性的影响；系统输出质量仍待提升,理解能力有限,难以达到商业应用的要求。

AI多模态（Text、Image之外）阶段，产品化是关键！

 【方案库】做GenAI + 3D方向产品的从业者：分享一个可用方案（尤其是做XR、元宇宙虚拟空间的），在为XR/VR等空间应用生成细致逼真、空间一致的文本驱动纹理。

元宇宙

3D建模师

通过生成控制现有3D软件的代码而不是从头构建模型,3D-GPT为建模技术持续发展提供了灵活的基础。

研究人员总结称,他们的系统“突出了LLM在3D建模中的潜力,为场景生成和动画的未来进步提供了一个基本框架。”3D-GPT框架仍处于初级阶段,存在一些局限性。但其发展标志着AI驱动的3D建模向前迈出了重要的一步,为未来的进步打开了激动人心的可能性。

AI

产品经理

概述：

3D-GPT:利用大型语言模型进行过程化3D建模

在高效自动化内容创建的追求中,利用可修改的参数和基于规则的系统的过程化生成浮现为一种有前景的方法。尽管如此,鉴于其复杂的本质需要对规则、算法和参数有深刻的理解,这可能会是一项艰巨的努力。为了减轻工作量,作者提出了3D-GPT,一个利用大型语言模型(LLM)进行指令驱动3D建模的框架。3D-GPT将LLM定位为熟练的问题解决者,将过程化3D建模任务分解为可访问的部分,并为每个任务指派合适的代理。3D-GPT集成了三个核心代理:任务调度代理、概念化代理和建模代理。它们共同实现两个目标。首先,它增强了简洁的初始场景描述,在遵循后续指令的同时,将其动态地发展成详细的形式。其次,它集成了过程生成,从丰富的文本中提取参数值,以便于与3D软件无缝对接,用于资产创建。作者实证研究确认,3D-GPT不仅可以解释和执行指令,提供可靠的结果,而且还可以与人类设计师进行有效协作。此外,它与Blender无缝集成,解锁了扩展的操作可能性。通过将建模工作分解成步骤,代理可以协作以匹配描述。这有点像人类3D建模团队的工作方式。

地址：

https://chuny1.github.io/3DGPT/3dgpt.html

拓展：

苹果眼镜Killer APP系列 - 打造空间计算的社交应用（学习笔记、产品交互、产品模式、方案、思考建议等）

空间计算

从业者

—— End ——

加入社区，解锁更多内容

【三次方-3D&AI互联网一站式成长社区】：聚焦下一代互联网的科技社区，关注以3D/AI为主导的互联网方向（AR/VR/AIGC/元宇宙/数字人/3D等）

学习 + 破圈 + 链接。点击了解和加入

权益升级，互联网下一阶段，3D和AI这两个赛道是主方向！学习、破圈与链接，所以围绕这块我们新增了内容专栏和服务。社区升级后， 核心权益有： 

•  1、【AI Native】探索以大模型为基础的AGI时代，AI Native应用（创业方向/产品模式/技术方案/AI工作流/互联网人的机会趋势） 

• 2、【3D Native】挖掘空间计算时代苹果眼镜Killer APP（AR、VR、元宇宙、数字人） 

• 3、【AI 工作流】AI+电商/自媒体/设计/职场/游戏/副业等落地的AI工作流 

• 三次方科技社区愿景（1.0）：继PC、移动互联网之后，下一个互联网十年，大家携手一起奔赴下一代互联网的星辰大海，成为科技时代领航员，创业、赚钱、职场可持续发展！