简介

  • 2023年工作笔记

20230101 - 20230131

  • 机械臂主控系统后端服务器开发
    • restful 接口

20230201 - 20230230

  • 机械臂主控系统后端服务器开发
    • V1版本发布,测试,moveJoint moveLine功能

20230301 - 20230331

  • 03.01 - 03.13
    • 机械臂主控系统后端服务器开发
  • 03.13 - 03.18
    • V1版本重新打包,测试
    • 编程模块的接口实现,各自测试
      • Json数据格式应用
  • 03.20 - 03.26
    • 前后端联调,编程模块 单步调试,任务下发
  • 03.27 - 03.31
    • 解决任务下发bug
    • 整理V2版本代码,文档,程序打包,demo测试

20230401 - 20230408

  • 拖动示教功能,示教点保存

202304011 - 20230415

  • 遗留物检测 更新版

20230417 - 20230421

  • 基于位置的拖动示教
  • 基于力矩的拖动示教

20230424 - 20230428

  • rockchip平台适配

20230501 - 20230507

  • 端午节放假

20230509 - 20230513

  • rk平台开发
    • 边缘计算产品 底层服务器开发

20230514 - 20230528

  • rk平台,工地盒子,业务流程开发 管理界面开发

20230529 - 20230604

  • rk平台,管理节点,基础功能开发
    • 用户管理
    • 算法管理
    • 任务管理
    • 告警信息管理
    • 增删改查

20230605 - 20230609

  • rk平台,完成算力节点,业务发开
    • 安全帽检测
    • 反光衣检测
    • 烟火检测
    • 区域入侵
  • 完成图片和结构化数据传输
    • 共享内存方式,传输图片

20230612 - 20230616

  • rk平台,图片流服务,管理节点集成工作
  • 基本实现了单个任务,单个检测的管理
  • 解决机械臂使能时间长问题

20230619 - 20230625

  • 后端各模块联调,保证各模块对外接口可用,前后端联调
  • arm平台编译

20230626 - 20230630

  • rk平台的补充和优化
  • 对vca的交互由命令式改为网络请求式
  • 对外提供任务参数,灵敏度,告警间隔,区域
  • 优化任务启动,停止任务
  • 告警模块的优化

20230703 - 20230709

  1. 优化大屏视频播放功能,实现多任务功能
  2. 实现原图保存功能:保存图片到磁盘;实现最大告警数量限制:防止占满磁盘容量

20230710 - 20230716

  1. RK平台工地项目部署,测试,现场视频取回
  2. 协作机械臂SDK修复,优化;辅助算法组手动完成手眼标定测试

20230717 - 20230723

  1. 机械臂:增加上电复位功能,拖动示教bug排查
  2. rk平台:增加盒子信息页面和系统配置页面
  3. 卓尔:车牌识别和遗留物检测模型测试和部署

20230724 - 20230728

  1. rk平台:增加说明文档接口,事件推送接口
  2. 机械臂:解决相机标定,机械臂坐标系不统一问题,标定流程打通

20230731 - 20230804

  • VCR:
    1. 电动吸盘基本功能调试完成
    2. 正在开发电动吸盘服务
  • RK:
    1. 增加任务自启动
    2. 增加设备ID

20230807 - 20230811

  • VCR:
    1. 机械臂控制,电动吸盘控制的连接和测试,前端–后端–设备端技术路线打通
    2. 后两周:
      1. 接入相机,通过SDK拉取视频流,解码成一张张图片,通过模型获取轮廓信息和旋转角度,再通过深度信息获取3D姿态
      2. 接入传送带
  • 周一
    • VCR
      • vca增加vcr目录
      • 增加base server
    • RK
      • 制作rk镜像
  • 周二
    • VCR
      • server工具改成Comm类
      • 测试控制电动吸盘
    • RK
      • 增加HTTPS请求
      • 修复相机编辑bug
  • 周三
    • VCR
      • 增加电动吸盘的控制
      • 增加机械臂的控制
  • 周四
    • VCR
      • 优化电动吸盘和机械臂请求
  • 周五
    • VCR
      • 增加图漾SDK,在unit-test实现获取图片功能
  • VCR
    • 开发VCR项目,增加电动吸盘控制,增加机械臂控制,与后端联调机械臂和电动吸盘的连接和控制测试
  • RK
    • 事件推送支持HTTPS协议

20230814 - 20230818

  • VCR:
    • 图漾相机拉流,获取图片
    • yolov5s_6_OBB模型的工程化,输入图片,输出目标的轮廓数据
  • 周一
    • VCR
      • 图漾相机在VideoProcess项目下的调试
  • 周二
    • VCR
      • 增加图漾相机设备控制模块,可以拉取图片
      • 增加检测器模块,可以检测目标,输出结构化数据
      • 优化电动吸盘的控制
  • 周三
    • VCR
      • 重构设备管理层
      • 优化接口文档
  • 周四
    • RK
      • 修复检测框错位问题
      • 增加相机地址测试功能
  • 周五
    • RK
      • 修复重复告警问题
      • 修复任务删除bug
  • VCR
    • 增加图漾相机控制模块,增加检测器模块,能够拉取图片,检测,返回结构化数据
  • RK
    • 修复检测框错位问题
    • 增加相机地址测试功能
    • 完成rk1126操作文档-简版

20230821 - 20230825

  • VCR
    • 位姿检测算法工程化
  • 周一
    • 检测目标的点云 : yolov5_obb算法检测出来的目标,结合相机的深度图,输出这个目标的点云数据
  • VCR
    • 点云计算算法工程化
    • 坐标转换算法工程化
    • 结果: 能够输出正确的目标中心点位置和姿态数据
  • RK
    • 完成第一版操作手册

20230828 - 20230901

  • VCR
    • 实现无序抓取
  • 08.28
    • 测试算法输出的目标点是否可用
  • 08.29
    • 优化点云处理算法
  • 08.30
    • 增加多目标检测,结构化数据输出
  • 08.31
    • 解决多目标检测bug
    • 完成第一次无序抓取试验
  • 09.01
    • 优化错误处理
    • 优化检测器模块,修复kdtree计算bug
  • VCR
    • 实现平面下多目标的无序抓取

20230904 - 20230908

  • VCR
    • 优化位姿检测
    • 拆垛 + 定点放置 流程!
    • 末端工具增加检测工件是否吸取接口
    • 调试最新版机械臂主控系统SDK,可进行速度控制,正解, 逆解

20230911 - 20230915

  • VCR
    • 无序抓取优化版本
      • 可调节速度
      • 高抓取率
      • 连续抓取
  • 09.11
    • 机械臂接口异步封装成同步
    • 末端工具检测是否抓取到工件 第一次测试成功
    • 解决机械臂控制问题,原因是使用的是debug版本,需要使用release版本
    • 优化检测区域,增大检测区域,不再检测区域,也会保存图片,便于调试
    • 速度可调节,在参数中设置,建议关节空间移动为20-30,笛卡尔空间直线移动为0.2-0.3
  • 09.12
    • 机械臂测试,优化python测试代码,调试了机械臂的速度:机械臂的速度不能是全局统一的,每个步骤的速度都要定制
    • 安装了ubuntu22.04系统
    • 梳理任务清单:
      • vcr后端服务器,处理api模块重构,使用查表方式
      • 相机模块,添加相机曝光参数
      • 末端工具,电动吸盘判断是否抓到工件接口bug修复
      • 机械臂模块,统一接口的处理,统一请求的数据格式
  • 09.13
    • 联合python后端,一起测试,调整无序抓取业务流程
      • 编译离线的机械臂SDK,自己测自己的。
      • 北京的支持脱离机械臂调试
    • 同一个目标,同一个位置,多次抓取测试,定位算法检测精度问题
      • 点云转换时出现了误差,手动调整标定数据
  • 09.14
    • 优化Status类,增加JSON数据
    • 目标位姿增加偏移量算法
  • 09.15
    • 优化服务器层面,由同步改为异步,为每一个请求申请一个线程 [完成]
    • 优化机械臂控制层面,对机械臂的控制指令加上原子锁 [完成]
    • 修改代码,增加相对位姿和绝对位姿 [完成]
    • 欧拉角和轴角的相互转化
    • rk平台视频流重连bug修复

20230918 - 20230922

  • 09.18
    • 无序抓取步骤测试 [完成]
    • 输出数据由 小数 转为 整数
  • 09.19
    • 姿态控制修复
      • 欧拉角转为旋转矩阵,轴角转为旋转矩阵,两个旋转矩阵做运算,最后再转为欧拉角或者轴角 [完成]
    • 输出格式
      • 姿态对外统一单位为 角度,并且取整数 [完成]
      • 小数点统一乘以 1000000 取整数 [完成]
    • 拖动示教接口调试
      • 金属板质量 : 0.637 kg
      • 电动吸盘质量 : 1.405 kg
      • 电动吸盘质心 : -0.035310, -0.000020, 0.001640
    • 获取当前位置和姿态
  • 09.20
    • 输出格式 [完成]
      • 姿态
      • 位置 输出米
      • 关节角 输出 角度
    • 检测器输出的结构体
      • 长宽高
      • 位置 [完成]
      • 刻度值(由轴角转换得到的欧拉角) [完成]
  • 09.21
    • 检测器输出的结构体 [完成]
      • 长宽高
  • 09.22
    • 传送带 [完成]
    • rk平台远程安装 [完成]
    • 机械臂调试
    • yolov8 掩码 模型
  • 下周工作
    • rk 优化,推送视频流 rtmp
    • 机械臂 输出位姿数据优化
      • 滤波,
      • 多次计算,选在指定区间的数据
    • yolov8 掩码 点云

20230925 - 20230928

  • 机械臂 姿态 滤波
    • 解决输出姿态数据跳跃问题,实现稳定输出和稳定控制
  • 北京 机械臂本体控制,输入多个中间点,连续运动,实现连续规划
    • 是否支持,用于避障
    • 怎么使用
  • 无锡,作为展示基地

  • 12月底,实现两个demo
    • 无序抓取 + 传送带
    • 臂上相机 + 打磨
  • 09.25
    • 姿态数据滤波
      • 范围 : 现在 -180 到 180 , 限制范围 0 - 360
      • 数据 : 稳定,不再跳变
      • rx 设置0,ry设置180 可用,但是使3D退变成2D
  • 09.26
    • 姿态控制的两个问题
      • 硬件控制层:输出的姿态数据不稳定,表示含义不够清晰,或者表达的不够清晰
      • 业务应用层:对当前输出的姿态数据,不知道怎么应用,以最小的代价旋转到目的姿态
    • 试验公式
    • 找出rx , ry 正负数的规律,我认为是rx,ry影响了最终旋转方向
    • 点云计算,X轴法向量处理问题 [完成]
      • VCR版本 vcr_release/20230926
    • 3D 模型适配
  • 09.27
    • 3D 模型适配
      • YOLOv8-Infer boxs.onnx
      • VideoProcess/test/old/test.cpp:: test_get_mask
      • 输入检测图,输出检测信息
        • 目标的最小外接矩形
        • 目标的掩码图
  • 09.28
    • 3D 模型适配
      • 平面下抓取 [完成]
      • 倾斜物体,等待变换算法更新 [完成]
        • 使用之前的坐标变换算法
    • 待解决的问题
      • Z轴方向量正负号过滤,防止Z轴方向朝上
      • 位置有误差,测试和微调
      • 姿态测试,尽量趋近于理想情况,平行于物体表面
      • 输出轮廓信息
    • 设备的启动和停止服务优化
      • 检测器 [完成]
      • 图漾相机
      • 电动吸盘

20230929 - 20231006

  • 国庆 + 中秋 假期

20231007 - 20231013

  • VCR项目 研发环境 到 工作环境
  • 3D 倾斜物体的抓取和放置
  • 检测图像,目标三维信息上传,支持前端仿真 [完成]
  • 传送带,接口和速度参数 [完成]
  • RK平台,视频流播放

  • 10.07
    • 设备的启动和停止服务优化
      • 检测器 [完成]
      • 图漾相机 [完成]
      • 电动吸盘 [完成]
      • 机械臂 [待完善]
    • 检测图像,目标三维信息上传
    • 配置文件[完成]
      • 使用JSON
      • YAML 需要用到yaml-cpp第三方库,这个库需要编译静态库,所以使用JSON
      • 模型的加载 升级为由配置文件控制
    • RK
      • 收到的两个盒子: 升级固件,更新docker [完成]
  • 10.08
    • 检测图像,目标三维信息上传 [完成]
    • 传送带 配置信息由配置文件获取 [完成]
  • 10.09
    • 请求分发结构优化,增强可扩展性 [完成]
    • 3D 倾斜物体的抓取和放置 [ing]
      • 检测器层优化,能够正常抓取,位置与中心点有偏差,需要查看点云数据,分析问题
  • 10.10
    • YoloV8 检测模型 优化
      • 解决Z轴法向量正负号问题 [完成]
      • 解决中心点位置误差问题 [完成]
        • 法向量,相机坐标系下的中心点坐标: 误差看着不大
        • 坐标转换
    • 实际抓取,放置测试
  • 10.11
    • 实际抓取,放置测试 [完成]
      • python测试代码
      • 空间中两点的直线 [业务实现]
    • 姿态问题
  • 10.12
    • 姿态问题 [完成]
      • 优化坐标转换算法
    • 支持后端业务开发
    • 垂直于物体表面上方的某一点
  • 10.13
    • VCR测试 [完成]
    • 只解决能力问题(添加接口),精度问题(协作算法)
    • 检测精度 [ing]
      • 相机坐标系下,检测出来的盒子高度为 7cm
    • 增加真实世界的长度和宽度,坐标系偏移量
  • 小结
    • 解决3D物体位姿抓取问题
      • 分析并解决Z轴法向量正负号问题,这可能导致机械臂从下方抓取物体
      • 优化坐标转换算法,解决抓取姿态问题
    • 传送带功能完成,接口文档发给后端
    • 上传目标三维信息,真实宽度和高度,坐标系偏移量,为划区域回显提供数据
    • 优化检测精度
      • 试验和分析导致检测出现误差的原因,和算法组沟通优化检测精度

20231016 - 20231022

  • RK平台视频流转发功能

  • 10.16
    • 安全帽,反光衣算法延迟问题测试 [完成]
      • 不是算法的问题
    • NVR 接口接入
      • 熟悉了nvr服务的使用
  • 10.17
    • RK平台增加rtmp流转发功能
      • 完成NVR客户端 [完成]
      • nvr配置文件 读取 [完成]
        • 路径:/data/static/config/nvr_config.json
      • 修改相机数据库表[完成]
      • x86开发环境下功能测试 [完成]
      • rk运行环境下部署 [完成]
        • 启动 MediaServer
        • 启动 nvr
        • 启动 vca
        • 启动 mnc
      • rk镜像打包 [完成]
  • 10.18
    • 辅助算法组标定板标定 [完成]
    • rk平台优化
      • 前端界面的走势图
        • 按周,按月展示,
        • 按检测类型,展示多类检测结果总数
      • 算法界面
        • 型号,算力平台修改
      • 盒子界面
        • 子网掩码添加
      • 系统配置
        • 按照时间自动清理
      • nvr更新
        • 对vca使用MediaServer输出的rtsp流
        • 对外输出rtmp流地址
  • 10.19
    • rk平台优化
      • 前端界面的走势图[完成]
        • 按周,按月展示,
        • 按检测类型,展示多类检测结果总数
      • nvr更新 [完成]
        • 对vca使用MediaServer输出的rtsp流
        • 对外输出rtmp流地址
      • 算法界面 [完成]
        • 型号,算力平台修改
      • 盒子界面 [完成]
        • 子网掩码添加
      • 系统配置 [完成]
        • 按照时间自动清理
          • autoDeleteEventTimeThreshold
    • hugo 网络博客第一次搭建 [完成]
  • 10.20
    • 自动标定算法测试 [完成]
      • 与手动标定误差不大,可以使用
    • rk平台优化
      • 代码优化 [完成]
        • 编译告警
      • 任务切换卡顿
      • 前端联调
    • 相机曝光参数api
  • 小结
    • RK平台
      • 接入nvr服务,添加rtmp流格式转发
      • 走势图接口优化,自动清理策略增加按时间清理策略
    • VCR项目
      • 自动标定算法结果测试
      • 自动标定结果测试和优化

20231023 - 20231029

  • RK前端联调,docker镜像制作
  • VCR
    • 精度问题
    • 自动标定算法工程化
  • 10.23
    • RK
      • 前端联调
      • docker镜像制作
    • VCR
      • 算法精度,增加位置补偿 [完成]
      • 测试设备接口,交给后端测试 [完成]
  • 10.24
    • RK
      • docker 镜像制作
    • VCR
      • 新模型检测精度测试
      • 臂上相机运行环境配置
        • 192.169.0.162: user/123456
        • 搞清楚底层运行环境,总线协议
      • 自动标定算法工程化
      • 模板匹配模型
  • 10.25
    • 十公斤机械臂标定环境搭建
    • 自动标定算法集成
  • 10.26
    • 十公斤机械臂标定 [完成]
      • 主控系统前端控制
      • 标定
    • 英伟达驱动安装 [完成]
    • RK平台视频推流服务 [ing]
  • 10.27
    • 10kg机械臂环境搭建
      • 主控系统 [完成]
      • 视觉控制系统 [完成]
      • 手眼标定 [完成]
      • 检测算法 [完成]
      • 相机设备
      • 末端工具-夹爪
    • RK平台视频推流服务
    • 抓取运动物体
      • 检测一次,耗时太久
        • 添加标志位,默认传输图像,如果关闭,就不传输,节省计算时间 [后续在加]
      • 优化检测器模块
        • 增加图片获取时间戳 [完成]
        • 算法检测耗时
          • 注释掉VCR_DEBUG,编译release版本,检测一次,平均0.7秒
  • 小结
    • VCR
      • 和算法组协调,增加位置补偿,缩小抓取点误差
      • 10kg机械臂环境搭建,通过自动标定算法完成标定
      • 检测接口,增加图片时间戳,便于计算时间误差;注释掉调试代码,编译release版本,经过测试,检测一次,耗时0.7秒左右
      • 正在做自动算法工程化,加入到VCR项目,动态物体抓取

20231030 - 20231105

  • VCR
    • base64图像编码 – GPU版本
    • 电动夹爪
    • 自动标定算法
    • 运动目标抓取
  • RK
    • 新版NVR
    • 点播相机
    • frp服务
  • 10.30
    • 提供动态检测接口
      • 获取目标位姿 [完成]
      • 时间戳 [完成]
      • 瞬时速度 [完成]
      • 隐含的速度检测参数
    • 测试
      • 检测的速度波动较大,0.02 到 1.10
    • 目标:
      • 保证检测的速度尽量准确,稳定
      • 其次,才是单元测试
  • 10.31
    • 优化速度检测算法 [完成]
      • 多检测几次
      • 检测时间可配置
      • 是否检测到目标的判断 [可选]
    • 增加检测器配置文件,用于外部控制是否保存文件,便于调试和测试 [完成]
    • 测试算法耗时
    • 优化单元测试逻辑
  • 11.01
    • 新版本机械臂服务 [完成]
      • boost 库使用
    • 机械臂移动到目标位置业务逻辑优化 [待试验]
      • 如果moveLine失败,则调用逆解,获取目标位姿的关节角,使用moveJoint
      • 最后,再次调用moveLine,调整位置,以达到目标位置
    • 测试算法耗时 [完成]
    • 优化单元测试业务逻辑
      • 固定抓取点
  • 11.02
    • 优化速度检测算法 [完成]
      • 增加了检测区域参数
    • 优化抓取业务逻辑:固定点抓取 [完成]
  • 11.03
    • 动态抓取测试demo [完成]
    • 标定:[完成]
      • 数据采集
    • 机械臂本体:
      • 机械臂最大速度设置
      • MoveTo接口增加异步接口 [完成]
      • 任务相关接口封装 [完成]
        • 暂停任务
        • 继续任务
        • 清除所有任务
        • 检查是否有任务在运行
    • 图漾相机 [完成]
      • 查找获取时间的接口
    • 动态检测接口:
      • 增加物体运动方向 [完成]
        • 向哪一个方向运动
          • 象限
      • 增加检测间隔和次数 [完成]
  • 小结
    • VCR(协作机器人视觉控制系统)
      • 新增动态目标检测接口,可设置检测区域,检测次数,检测间隔,可获取目标的运动速度,运动方向,用于上层业务开发
      • 编写动态目标抓取测试用例,用于测试动态目标检测接口,可以比较顺利的抓取动态目标,保证接口可正确工作,后面提供给上层作业务开发
      • 机械臂服务适配最新版本代码,增加异步控制接口,清空任务接口,查询是否有任务在运行接口,用于上层业务开发
      • 协助算法组测试标定精度,采集位姿数据用于标定结果的补偿矩阵计算并测试,误差在五毫米左右

20231106 - 20231113

  • VCR
    • 速度检测算法测试
    • 增加自动标定功能
      • 星源哲相机SDK
      • 自动标定算法测试
      • 流程设计
      • 结果测试
      • 自动标定算法工程化
  • NodeMCU
    • 点灯
    • 连接WiFi
  • 11.06
    • VCR
      • 速度检测算法测试 [完成]
    • NodeMCU
      • 点灯 [完成]
  • 11.07
    • VCR
      • 机械臂抓取延迟测试 [完成]
      • 3kg机械臂标定 [完成]
    • NodeMCU
      • 连接WiFi [完成]
    • 10kg机械臂任务
      • 臂上相机 星猿哲相机SDK适配
        • RGB图
        • 深度图
        • 点云
      • 标定
      • 测试标定结果
  • 11.08
    • 10kg机械臂 臂上相机标定
      • 获取标定结果 [完成]
      • 标定结果测试
        • vcr适配星猿哲相机
  • 11.09
    • 标定结果测试
      • 末端工具标定
        • 末端工具标定接口使用
          • 新版本机械臂 [完成]
          • 末端工具标定新接口使用 [完成]
          • 拖动示教模式 测试 [完成]
      • 相对于机械臂末端的位姿数据变换到机械臂基底坐标系的位姿
        • 机械臂末端位姿–》矩阵–》矩阵的逆
        • 目标的位姿–》矩阵 –》左乘机械臂末端矩阵的逆
        • moveRel接口 [完成]
          • 在指定空间(关节/笛卡尔基座/笛卡尔工具中心点)中做指定的相对运动。运动轨迹为对应空间中的直线。
    • 标定结果测试的结果 [完成]
      • x轴,z轴误差 1cm以内
      • y轴误差 2.5cm左右
  • 11.10
    • VCR
      • 主线任务: 标定算法的功能集成到VCR基础服务
    • 星猿哲相机适配
      • RGB图,目标检测
      • 目标点云获取
      • 目标点云处理,获取目标位姿
    • 末端工具适配
      • 气泵工具
      • 末端夹爪
    • 模板匹配算法适配
    • 项目名称更正
      • vcr : version control robot
  • 小结
    • VCR
      • 速度检测算法解决延迟问题
      • 10kg机械臂,眼在手上的手眼标定,标定结果的测试,误差为1.1厘米
      • 自动标定算法集成到VCR项目中,
      • 配合后端,测试VCR已完成的功能

20231113 - 20231120

  • 11.13
    • 动态物体速度检测优化。高速情况,尽量1-2秒内测速完成 [完成]
      • 传送带速度: 11 cm/s
    • 修复多任务检测时,服务崩溃的问题 [完成]
  • 11.14
    • 整合所有已经完成的功能到测试机 [完成]
    • 检测,抓取,放置整个过程3-5秒内完成,成功率不少于90%. [ing]
    • 联合算法组验证标定数据准确性 [完成]
    • 末端旋转速度验证 [完成]
  • 11.15
    • 检测,抓取,放置整个过程3-5秒内完成,成功率不少于90%. [ing]
    • 解决vcr稳定性问题 [完成]
      • 段错误
      • 崩溃
      • gpu泄露
    • 臂上相机标定
  • 11.16
    • 更新测速算法
  • 11.17
    • 增加动态物体测速算法

20231120 - 20231127

  • 11.20
    • 新增动态物体测速算法 [完成]
      • 梳理代码逻辑:选取X最大的目标为同一目标,增加检测区域
      • 增加标准差和速度差阈值
  • 11.21
    • 移植机械臂控制模块到基础组件 [ing]
    • 准备rk盒子 [完成]
  • 11.22
    • 移植机械臂控制模块到基础组件
    • rk盒子增加视频点播功能,启用新版本的nvr [完成]
  • 11.23
    • 移植机械臂控制模块到基础组件
    • rk盒子与前端联调,解决稳定性问题
  • 11.24
    • 完成机械臂控制模块移植工作
    • rk平台完成管理平台增删改查接口
    • 辅助算法组完成10kg机械臂相机标定
  • 小结
    • 新增动态目标测速算法
    • rk平台适配新版本NVR,增加视频点播功能,增加管理平台的增删改查接口
    • 辅助算法组完成10kg机械臂眼在手上的相机标定
    • 机械臂控制模块移植剩余部分功能未实现,下周继续完成

20231127 - 20231203

  • 11.27
    • 机械臂控制模块移植 [完成]
  • 11.28
    • 在测试环境验证新的动态物品抓取算法和流程。(眼在手外) [ing]
      • 相机模块 [ok]
      • 检测器模块
      • 机械臂模块 [ok]
      • 电动吸盘模块
  • 11.29
    • 在测试环境验证新的动态物品抓取算法和流程。(眼在手外) [ing]
      • 相机模块 [ok]
      • 检测器模块 [ok]
      • 机械臂模块 [ok]
      • 电动吸盘模块
  • 11.30
    • 在测试环境验证新的动态物品抓取算法和流程。(眼在手外) [ing]
      • 相机模块 [ok]
      • 检测器模块 [ok]
      • 机械臂模块 [ok]
      • 电动吸盘模块
      • 解耦
        • 获取目标位姿流程
          • 目标池化
        • 决策算法流程
        • 实际抓取流程
      • 控制流程测试
        • 静态的平面抓取
        • 静态的斜面抓取
        • 动态的平面抓取
  • 12.01
    • 在测试环境验证新的动态物品抓取算法和流程。(眼在手外) [ing]
      • 相机模块 [ok]
      • 检测器模块 [ok]
      • 机械臂模块 [ok]
      • 电动吸盘模块
      • 解耦
        • 获取目标位姿流程
          • 目标池化
        • 决策算法流程
        • 实际抓取流程
      • 控制流程测试
        • 静态的平面抓取
        • 静态的斜面抓取
        • 动态的平面抓取

20231204 - 20231210

  • 12.04
    • 多个静态目标的抓取 [ok]
    • rk平台
      • 不稳定bug
      • ip修改功能增加
      • 任务启动等待时间太长 [ok]
        • 改为异步的
    • 动态目标的抓取
    • glog
      • 限制日志文件大小 [ok]
  • 12.05
    • 动态目标抓取
  • 12.06
    • 请假
  • 12.07
    • 动态抓取流程优化
    • rk平台
      • ip修改 [ok]
  • 12.08
    • 动态抓取流程
    • 机械臂版本SDK集成

20231211 - 20231217

  • 12.11
    • vcr
      • 接入吸盘 [ok]
    • rk
      • 优化ip配置接口 [ok]
      • 与前端联调 [ok]
  • 12.12
    • vcr
      • 解决姿态旋转问题
        • 静态拍摄几组不同姿态的目标,做测试
      • python版本
        • 解决相对移动问题,增加相对运动接口 [ok]
      • 眼在臂上的抓取 [ok]
    • rk
      • 测试新功能,制作docker镜像
      • 发货 5.63 [ok]
  • 12.13
    • rk
      • 掩码解析 [pl]
      • vca问题查找 [ok]
    • vcr
      • 末端姿态最小代价 [ok]
  • 12.14
    • vcr
      • 优化速度检测算法
        • 误差在2mm/s以内
        • master分支
          • 参数化
    • rk
      • 制作镜像
  • 12.15
    • 第一版本vcr封版
    • 第二版本vcr
      • 网络工具使用 httplib
        • 试验JSON数据和图片的传输

20231218-20231224

  • 12.18
    • vcr_0.5 [ing]
      • 设备和算法模块 12.21完成
    • rk
      • 任务配置增加音柱,系统平台增加音箱配置 12.23完成
  • 12.19
    • vcr_0.5 [ing]
      • 设备和算法模块 12.21完成
        • 算法模块 [ing]
          • 作业算法
            • 眼在臂外
            • 眼在臂上
            • 眼在臂上的打磨
          • 视觉算法 [ok]
            • YOLOV5OBB
            • YOLOV8BOX
  • 12.20
    • vcr_0.5 [ing]
      • 设备和算法模块 12.21完成
        • 算法模块 [defer]
          • 作业算法
            • 眼在臂外
            • 眼在臂上
            • 眼在臂上的打磨
          • 视觉算法 [ok]
            • YOLOV5OBB
            • YOLOV8BOX
        • 设备模块 [ing]
          • 机械臂 [ok]
          • 相机
          • 传送带
          • 末端工具
  • 12.21
    • vcr_0.5 [ing]
      • 设备和算法模块 12.21完成
        • 算法模块 [defer]
          • 作业算法
            • 眼在臂外
            • 眼在臂上
            • 眼在臂上的打磨
          • 视觉算法 [ok]
            • YOLOV5OBB
            • YOLOV8BOX
        • 设备模块 [ing]
          • 机械臂 [ok]
          • 相机
          • 传送带 [pass]
          • 末端工具
    • rk
      • 事件播报功能开发
        • play + mp3文件(通过HTTP传输)
        • clear
    • personal
      • C 实现 HTTP 服务器 [ok]
  • 12.21
    • vcr_0.5 [defer]
      • 设备和算法模块 12.21完成
        • 算法模块 [defer]
          • 作业算法
            • 眼在臂外
            • 眼在臂上
            • 眼在臂上的打磨
          • 视觉算法 [ok]
            • YOLOV5OBB
            • YOLOV8BOX
        • 设备模块 [defer]
          • 机械臂 [ok]
          • 相机
          • 传送带 [pass]
          • 末端工具
    • rk [ing]
      • 事件播报功能开发
        • play + mp3文件(通过HTTP传输)
        • clear
    • personal
      • C 实现 HTTP 服务器
      • Mongoose 实现HTTP动态请求文件和上传文件
  • 12.21
    • vcr_0.5 [defer]
      • 设备和算法模块 12.21完成
        • 算法模块 [defer]
          • 作业算法
            • 眼在臂外
            • 眼在臂上
            • 眼在臂上的打磨
          • 视觉算法 [ok]
            • YOLOV5OBB
            • YOLOV8BOX
        • 设备模块 [defer]
          • 机械臂 [ok]
          • 相机
          • 传送带 [pass]
          • 末端工具
    • rk [ok]
      • 事件播报功能开发
        • play + mp3文件(通过HTTP传输)
        • clear
    • personal [ok]
      • C 实现 HTTP 服务器
      • Mongoose 实现HTTP动态请求文件和上传文件

20231225 - 20240101

  • 12.25
    • vcr_0.5 [ing]
      • 设备和算法模块
        • 算法模块
          • 作业算法 [defer]
            • 拆码垛
            • 打磨
            • 焊接
          • 视觉算法 [ok]
            • YOLOV5OBB
            • YOLOV8BOX
        • 设备模块 [defer]
          • 机械臂 [ok]
          • 相机
          • 传送带 [pass]
          • 末端工具
      • 网络通讯
        • 制定对外接口,与后端联调
  • 12.26
    • vcr_0.5 [ing]
      • 设备和算法模块
        • 算法模块
          • 作业算法 [defer]
            • 拆码垛
            • 打磨
            • 焊接
          • 视觉算法 [ok]
            • YOLOV5OBB
            • YOLOV8BOX
        • 设备模块 [ing]
          • 机械臂 [ok]
          • 相机 [defer]
          • 传送带 [pass]
          • 末端工具 [ing]
      • 网络通讯
        • 制定对外接口,与后端联调
          • 所有设备字段相同,不一样的使用冗余字段
  • 12.27
    • vcr_0.5
      • 所有设备列表接口 [ok]
      • 相机模块开发 [ok]
      • 作业算法接口 [ok]
      • 机械臂功能接口
  • 12.28
    • vcr_0.5
      • 机械臂功能接口 [ing]
  • 12.29
    • vcr_0.5
      • 机械臂功能接口 [ing]