本篇要点

• 关键矛盾。包装缺件不在工厂暴露，而在客户拆箱时暴露；节拍快、料件软、还常换型。
• 五个算子一条张量流。视频流相机、图像预处理、语义分割、事件探测、状态机依次连接，组成从画面采集到流程判定的完整处理链。
• 少样本起步。底板、泡沫纸、纸箱、背板、说明书五类目标，每类 1–10 张现场图即可在标注工具里定下来。
• 顺序由状态机约束。S0–S6 状态图管理七步推进，非预期事件一律自环——跳步不推进，缺步走不到终点。
• 一次工程翻译。把「包装要按步骤装齐」拆成目标、顺序、状态、异常和输出，最终落到软件配置里。

案例 01包装工位实拍：俯拍画面里识别料件与动作节点，右侧工作流按 SOP 逐步打勾。

包装是产品出厂前的最后一道人工工序，也是最容易「看起来没问题」的一道：箱子封好了，里面少一份说明书、少一块背板、泡沫纸没垫，从外面都看不出来。这个工位 30 秒出一件、七步逐步确认，难点在于料件多为白色薄软物、节拍快，还经常换型换箱规。

01关键矛盾

缺件为什么总在客户拆箱时才暴露

把问题拆开看，这道工序难在三处：封箱后内容物不可见，终检称重、抽检只能抓住部分缺件；人眼盯 30 秒一件的连续包装不可持续，事后翻录像也难复核；箱规和步骤一换，靠专用外观模型的旧办法就要重采重训，跟不上换型节奏。

所以方案的选择是：把问题定义为「包装步骤是否按顺序发生」，而不是「再训练一个专用外观模型」——用视觉大模型看见料件与动作，用状态机判定顺序，用边缘侧实时输出。换箱规、换步骤主要改配置，不必长期驻场训练。

关键矛盾不是「看不看得清」，而是「看得见却留不住证据」：封箱前每一步都要留下可复核的判定。

02张量流

五个算子在画布上连成一条流

视觉智能体软件部署在边缘侧，检测任务的配置、执行、展示和结果输出都在同一套软件里。本案例通过零代码拖拉编排完成配置：从左侧算子库拖出算子、按数据流向连接，不需要写算法代码。

界面 01包装过程点检张量流画布。视频流相机、图像预处理、语义分割、事件探测、状态机五个算子依次连接，组成从画面采集到流程判定的张量流。

• 视频流相机：接入包装工位的俯拍画面，为后续算子持续提供图像。
• 图像预处理：去噪、增强、归一化，使输入满足模型的处理要求。
• 语义分割：认出料件像素，并在画面上生成贴合外形的轮廓与类别标签。
• 事件探测：把识别结果按原语组合，转成「料件到位」这类事件信号。
• 状态机：按事件推进 SOP 步骤，维护当前流程状态并给出判定依据。

三个子编辑器都靠双击节点进入：语义分割 → 标注工具（界面 02），事件探测 → GPU 事件编排器（界面 03），状态机 → 状态图编辑器（界面 04）。同一份配置跑起来逐步打勾的样子，见页首视频。

03少样本分割

先让系统看见料件像素，再谈步骤打勾

包装料件多是白色薄软物，还常隔着透明袋：泡沫纸会皱、说明书会歪、背板贴着箱壁。这类目标用框回归很难贴合，本方案用像素级语义分割——每类 1–10 张现场样本即可在标注工具里定下来，输出掩膜后做存在与面积判定。

界面 02双击「语义分割」节点进入标注工具。左边是标注画布，右边是检测结果图——绿色轮廓沿纸箱与塑料袋边缘走，不是矩形框。底部一排就是一轮训练闭环：保存标注 → 迁移 → 检测 → 迁移曲线。

「翻转纸箱」不另建类别：同一个纸箱掩膜，翻转前后的长短轴比与主轴角度明显变化，用角度检测原语区分即可——少一类目标就少一轮标注。训练与推理都在边缘 GPU 本地完成，工位画面不出厂；换型补样本再迁移一轮即可。

04事件判定

在原语编排器里把像素变成「发生了什么」

分割只负责看见像素，业务要的是「泡沫纸到位」「说明书放入」这类可判定事件。事件清单在状态机里定义，判定逻辑在 GPU 事件编排器里搭：从原语库拖判定积木、配参数，再用「与 / 或 / 非」组合成成立条件——改判定只动参数，不必重训模型。

界面 03GPU 事件编排器。选一个事件 → 拖判定原语 → 配目标类别与检测区域。E1「泡沫纸到位」只用「物体存在」一个原语；E3「翻转纸箱」与 E5「说明书放入」各用两个原语，用「与 (AND)」串起来。

05状态机

顺序由状态图约束，漏放当场可见

右侧工作流不是展示清单，而是 SOP 状态机：S0–S6 七个状态对应七步等待，E0–E6 七个事件推进转移。顺序强制不靠额外写 NG 规则，而是靠「非预期事件一律自环」：跳步不推进，缺步走不到终点。

界面 04状态图编辑器。S0 等待起点底板，S1–S6 依次等待泡沫纸、纸箱、翻转、背板、说明书、终点底板；E0–E6 连接相邻状态，E6 完成回到 S0 等下一件。

界面 05同一份配置的规则表视图：对角线格填目标状态，其余一律「↻ 自环」。跳步不会推进，缺步永远走不到终点，不需要额外写 NG 规则。

一件包装完成七个事件全数推进才算 OK；说明书没放进去，S5 就一直等，终点事件即使发生也不推进，这一件不会记成 OK。

06项目体会

把现场要求翻译成系统能执行的规则

这个项目最深的体会，是现场要求与系统之间需要一次完整的「工程翻译」。「按 SOP 把件装齐」听上去只有一句话，真正落地时，识别哪些料件、怎样判定每一步、什么情况算漏放、结果怎样留存，每一项都要明确口径。

这项要求经历了三层拆解：

1. 业务要求：封箱前按 SOP 装齐，缺件、跳步要当场发现。
2. 判定规则：识别五类料件、核对七步顺序，逐步留证并给出 OK / NG。
3. 软件配置：五个算子连成张量流，S0–S6 状态图规定推进关系。

三层对齐后，模型的识别结果才进入现场流程。本工位实测单件耗时 32–39 秒，异常件的耗时会明显偏离——耗时本身就是一个可用的巡检线索。这套做法的适用边界也很清楚：适合料件多、步骤多、换型频繁的人工包装工位；箱内深腔遮挡的小件，需要工艺配合或加近景相机。

回看整个项目，四个问题贯穿实施过程：系统看什么、什么时候算完成、什么情况算漏放、结果怎样留存。