单张图径直就能生成可剪辑的 CAD 工程文献！露出 勾引

来自魔芯科技、NTU 等的筹办东谈主员淡薄图生 3D 新框架，名为CADCrafter。

CADCrafter 和往常得到网格（Mesh）或 3D 高斯泼溅（3DGS）的图生 3D 治安大不雷同。

无论是零件渲染图，也曾拍摄的 3D 打印零件，以致是玩忽拍摄的往常活命中的物体，CADCrafter 均概况生成的对应的原始 CAD 文献（以 CAD 提醒的神色默示，包括表征每个几何特征的提醒和对应参数）。

况兼通过 CAD 编译器进行编译，可得到径直坐褥加工的 3D 文献（如 STP 状貌的文献）。

用户不错通过剪辑 CAD 提醒完了对物体的剪辑（下图右）。

实验中，从落地实用性、名义质地等脾气来看，CADCrafter 相较于当今的图生 3D 治安均有显贵栽培。

这项筹办的作家来自 KOKONI 3D（魔芯科技）、新加坡南洋理工大学、新加坡 A*STAR、西湖大学、德州大学奥斯汀分校和浙江大学。

通信作家为魔芯科技创举东谈主 Tianrun Chen 和新加坡 A*STAR 筹办科学家 Fayao Liu。

论文已被 CVPR 2025 摄取。

以下是更多细节。

从图像到高质地 CAD 模子的端到端生成经由

在实际寰宇中，大大齐东谈主造物体当先齐是通过遐想机扶持遐想（CAD）软件以参数化的神色建模的。

然而，如今大热的 3D AI 生成内容（3D AIGC）时间，举例 TRELLIS 等治安，大多仍依赖于"网格模子"（Mesh）行动基础。

问题也随之而来。

比较 CAD 的参数化遐想，网格模子不仅难以清醒，更难精确剪辑。用户念念要修改一个小部件的尺寸？在 CAD 中只需休养参数，在网格模子中却可能要大动战争。

而且，这些 AI 生成的网格模子名义通常不够光滑，边际也不够厉害露出 勾引，尤其是使用像 Marching Cubes 这么的算法从隐式函数退换生成网格时，几何质地更容易受到影响。

这种粗拙不清的名义，在需要高质地渲染或动画的阁下中，显得稀奇衣衫破烂。

比较之下，CAD 的参数化模子则提供了极高的可控性和精度。它们允许用户径直通过参数休养几何风景，完了快速且精确的修改，大大栽培了遐想的生动性与可诠释注解性。

CADCrafter 就率先尝试了从 Image-to-Mesh 到 Image-to-CAD 的范式曲折。

治安轮廓如下：

1. 基于 VAE 与 Diffusion Transformer 的隐空间生成框架

CADCrafter 摄取了一种纠合 VAE 与扩散模子的两阶段生成架构。

起先，团队纯属了一个变分自编码器（VAE），将 CAD 提醒序列映射到一个结构化的隐空间。

接着，在该隐空间中引入条目扩散生成过程：基于 Diffusion Transformer（DiT）架构，纯属一个扩散生成大模子，输入条目为用户提供的图像，从而完了图像教诲下的 CAD 隐空间采样与生成。

2. 蒸馏计谋：从多视图到单视图的高效建模曲折

计划到从单张图像重建 CAD 模子的挑战性，团队起先构建了一个多视图输入的 DiT 生成模子，哥也以更褂讪地学习图像到 CAD 空间的映射关系。

随后，通过引入蒸馏机制（使用 Ldistill 弃世），将多视图模子的学问迁徙到单视图模子中，从而完了了仅基于单张图像进行高质地 CAD 生成的智力。

3. 引入基于 DPO 的可编译性代码查验机制

在 CAD 生成过程中，CAD 提醒还需经过 CAD 内核（CAD Kernel）领会，才能生成可视的 3D 模子。

然而，若生成提醒存在语义无理，举例不闭合弧线等问题，模子构建将径直失败。

为措置这一环节挑战，作家遐想了一个代码合感性判别模块，用于判断生成的 CAD 代码是否概况被奏效编译。

作家进一步摄取 DPO（Direct Preference Optimization）弃世，教诲模子倾向于生成更可编译、几何结构圆善的 CAD 提醒，从而显贵栽培最终 3D 模子生成的奏服从与实用性。

渲染零件、拍摄的 3D 打印零件等均能重建

筹办团队考中多个尺度 CAD 模子，使用 KOKONI SOTA 3D 打印机将其打印成什物，并通过拍照取得图像输入。

实验标明，CADCrafter 概况基于单张图像，准确生成结构昭彰、相宜几何特征的 CAD 建模提醒，其生成效果在细节规复度方面优于现存治安。

拍摄往常活命中的物体，CADCrafter 也能径直生成其遐想制造时可用的工程文献，其名义平面度、棱角等细节均相宜物体被坐褥加工制造时的脾气（精熟名义、尺寸和几何特征均可剪辑）。

这一服从不仅展示了 CADCrafter 在建模精度上的冲破，也展现了其在骨子阁下场景中的可行性。

举例，在制造与维修范围，工程师可通过拍摄现存零件像片，快速生成可剪辑的 CAD 模子，进而加快原型遐想或零件重建经由。

团队深信，CADCrafter 为 AI 扶持工业遐想提供了新的措置决议，其从 Image-to-Mesh 到 Image-to-CAD 的范式曲折，有助于激动图像运转的 AI 3D 建模向着实可落地阁下迈出环节一步。

论文贯穿：https://arxiv.org/pdf/2504.04753

一键三连「点赞」「转发」「谨防心」

接待在批驳区留住你的念念法！

—  完  —

学术投稿请于使命日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 神色主页贯穿，以及关系神色哦

咱们会（尽量）实时复兴你

� � 点亮星标 � �

科技前沿施展逐日见露出 勾引