乐高的新结构的AI创造了实际上在现实生活中正在上升的模型

Legogpt系统分为三个部分,在此图中说明。
信用:Pun等。
研究人员还通过添加纹理和颜色选项扩大了系统功能。例如,使用外观提示作为“金属紫色的电吉他”,Legogpt可以生成吉他型号,并带有带有紫色的砖块。
用机器人和人类测试
为了证明他们的概念在现实生活中起作用,研究人员让机器人组装了AI创建的乐高模型。他们使用具有强度传感器的双机器人臂系统来拾取并根据AI产生的说明放置砖块。
人类测试人员还手工构建了一些设计,表明AI创建了真正的构建模型。该团队在他的文章中指出:“我们的经验表明,Legogpt产生了稳定,各种和审美的概念,这些概念与输入文本提示紧密相符。”
当针对其他AI系统进行3D创建时,Legogpt因其在结构完整性上的重音而脱颖而出。该团队对包括骆驼什和其他3D代模型在内的多种替代方案进行了测试,并发现其方法产生了最高百分比的稳定结构。
研究人员提供的两个机器人武器建造创作的视频。
但是,有一定的限制。当前版本的Legogpt仅在20×20×20的施工空间中起作用,仅使用八种标准砖。该团队说:“我们的方法目前支持一套常用的乐高积木。” “在将来的工作中,我们计划将砖头库扩展,以包括更广泛的尺寸和类型的砖块,例如斜坡和瓷砖。”
研究人员还希望增加其培训数据集,以包括比当前可用的21个类别更多的对象。同时,其他人可以从字面上依靠他们的工作 – 研究人员在其项目和Github的网站上发布了他们的数据集,代码和模型。