从一台三轴绘图机开始
The Hardware Baseline为了探索 AI agent 与真实硬件的协同方式，项目前期设计搭建了一台三轴运动平台，作为绘图工作流的物理验证基础。平台完成机械结构、运动系统与控制硬件的组装调试后，早期依靠传统的图像处理、路径生成与设备控制软件，通过手动操作完成实机绘制，建立了硬件与传统流程的可用基线。
在这条手动基线中，每次更换输入图像，都需要人工判断各环节是否满足继续推进的条件，并逐步调用相应工具完成处理。基于这些实际过程，工作流设计聚焦于让 AI agent 理解用户意图、选择处理路线并组织工具调用，让图像模型和确定性工具分别承担适合的处理任务，同时在关键环节保留明确的检查和确认。最终形成了一套以即时通讯软件为交互入口、由自然语言对话驱动，并在分阶段检查与人工确认下完成实体绘制的全流程闭环。
人工判断 · 手动调用工具
从自然语言交互到实体绘制
Language to Plotting用户通过即时通讯软件发送图像并描述绘制需求。AI agent 理解输入意图、判断处理路线并调用相应工具，在各个门控节点返回可检查的中间结果，直至操作员确认进入硬件执行。
理解自然语言需求、判断处理路线、调用工具并推进工作流。
仅在复杂输入需要时，将图片转化为更适合机械绘制的视觉形式。
完成图像规范化、复杂度检查、路径规划、G-code 生成与执行前检查。
完成中间结果确认、归零与标定、执行授权及最终物理安全判断。
-
1输入
- 图像与自然语言输入
-
2理解与路线
- agent 理解与路线判断
- A_DIRECT直接进入预处理
- B_IMAGE_EDIT经本地 Diffusion Model 处理
-
3图像处理
- 确定性预处理
- processed image review门控
- complexity gate门控
-
4路径与代码
- 确定性路径规划
- G-code 生成与静态检查
- 路径预览与 dry-run
-
5硬件执行
- 操作员确认门控
- 同会话硬件执行
- 实体绘制输出
任何 review 或检查未通过时，流程停止并返回对应处理阶段，不继续生成或执行后续硬件动作。
复杂照片先经过图像模型简化，再进入确定性路径构建与实体绘制。
清晰图形保留原始结构，直接进入确定性处理与实体绘制。
结构更复杂的图像在二值化后仍具有足够的可读性，可以直接进入路径构建与实体绘制。
关键工程决策
明确 AI、确定性工具与人的职责边界
让 AI 处理语义与不确定输入，让确定性工具生成并检查路径与 G-code，让操作员保留硬件准备和最终执行权。
先预览，再执行
图像处理结果、路径、G-code 和 dry-run 都需要经过检查，只有通过当前门控后才进入下一阶段。问题可以在硬件动作发生前被发现，操作员也始终保留明确的介入点。
结合语义判断与视觉统计选择处理路线
多模态模型从语义与视觉风格层面作出判断，确定性脚本则评估主体分离、背景复杂度、二值化可读性等视觉特征。两类结果共同决定直接处理或先进行视觉转换；判断不充分时采用更保守的处理路线。两条路线均需经过后续 review 与门控。
Technical Contributions
面向实体绘制的确定性路径构建
处理后的图像经过矢量化，被拆分为中心线笔画、填充路径与填充边界，并在 G-code 生成阶段组合为最终绘制路径。填充区域采用连续蛇形路径，减少重复抬笔、落笔与空行程，使硬件运动更加连续。
保持硬件状态连续的同会话执行桥
工作流将硬件执行拆分为归零、Z 轴标定、执行确认和 G-code 发送等多个步骤。为避免反复连接控制器导致状态重置或位置不一致，执行桥在同一硬件会话中完成归零、标定、确认、发送与结束后回位，同时保留各阶段的操作员门控。
验证结果
Validation验证覆盖实体输出、工作流路径和工程契约三个层级：
A_DIRECT与B_IMAGE_EDIT均完成从输入图像、处理结果、路径预览到实体绘制的证据闭环。- 图像处理服务迁移至本地 ComfyUI 后，完成包含真实硬件执行的全链路验证，G-code 发送过程无 stream error，实体输出经操作员确认。
- 自动化测试覆盖路由结果校验、复杂度门控、G-code 静态检查、离线 build、provider 配置与失败处理等关键契约。
图像处理服务迁移至本地 ComfyUI 后完成的真实硬件全链路验证。
当前版本定位为经过验证的 proof-of-concept，验证范围集中在工作流架构、安全门控与真实硬件闭环。
- 输入图像需要能够被转化为结构清晰、复杂度可控的黑白视觉形式；细节过密或结构过于复杂的结果会被退回处理或由 complexity gate 拒绝。
- 图像模型的输出存在波动，每一份 processed image 都需要经过人工 review。
- 当前适用场景是有人监督的半自动绘图流程，硬件执行始终保留操作员确认与物理停止手段。
可复用的方法
What Carries Over从硬件到 agent，串成一条链
从机械结构、运动系统与控制硬件出发，将 agent 编排、确定性工具链和真实硬件验证组织为完整系统。
最终执行权，还是要留给人
根据 AI、确定性工具与人的不同能力，划分职责、接口与门控，并将最终硬件执行权保留给操作员。
收尾的标准是随时能接手
通过测试、冻结基线、文档和 handoff，将 PoC 整理为可暂停、可恢复、可继续迭代的项目，并在 provider 迁移后重新完成全链路验证。