LNG碰钉-装板机器人系统

摘要

• LNG碰钉-装板机器人系统：适配不同机器人，各类工业相机，传感器，业务流程，实现高移植性，高兼容性的软件平台，完成LNG运输船中焊钉和安装绝缘板工艺
• 在公司做的一个AI+机器人相关的产品，借助面试整理PPT的机会复盘一下这个软件产品和自己做过的工作。

项目背景

• LNG碰钉–装板机器人
  • 客户：江南造船集团，
  • 应用场景：液化天然气运输船中焊钉和安装绝缘板工艺。
  • 目标：机器人代替人工，提升作业精度和效率，帮助客户完成数字化转型吗，实现智能制造。
• 产品研发分为硬件和软件。
  • 硬件由机械臂和移动地盘构成，针对LNG运输船内作业环境设计复合要求的机器人本体
  • 软件由上位机和下位机构成，下位机基于德国倍福的TwinCAT开发的机器人控制系统；上位机基于Qt框架开发的操控软件。
• 我负责上位机软件研发，上位机定位是一个通用的机器人平台软件，由工具，视觉，任务，人机交互四个模块组成，根据需求完善和开发平台软件。

技术选型

• 编程语言：C++，Python
• 数据库：Sqlite3
• GUI：Qt5
• 模型部署：Onnxruntime，TensorRT
• 平台：Windows10
• 构建工具：CMake

硬件选型

• 工业摄像头：海康摄像头 * 10
• 点激光：点激光 * 4
• 十字激光：十字激光 * 4
• 轮廓激光：轮廓激光 * 4
• 机器人本体：机械臂＋移动地盘
• 遥控器：遥控器 * 1
• 装板工装：灯光 * 6，电动推杆 * 2
• 碰钉工装：焊枪 * 10，打磨 * 10，电磁铁 * 4

视觉应用架构

• 传感与感知
  • 工业相机（海康）
  • 传感器：测距激光（深圳博亿精科），标线激光，轮廓激光
• 计算与处理
  • 工控机 win10 + NVIDIA 3080
  • GPU加速（CUDA， TensorRT，OpenVino）
  • CPU处理（Onnxruntime）
• 视觉算法
  • 边线检测
• 通信与集成
  • 通信协议（Tcp，Serial）

技术难点

Qt

• HMI开发
• QTcpSocket
• QSerialPort

任务状态机

自动调整算法

软件架构图