基于手势理解的UR机器人视觉引导与控制方法研究

	基于手势理解的UR机器人视觉引导与控制方法研究
	刘宇航
	2016-10-01
发表期刊	中国科学院长春光学精密机械与物理研究所
期号	6
摘要	随着机器人技术在工业制造、军事作战和医疗领域中的广泛应用,人与机器人的交互方式更多地向着“以人为主体”的方向发展。依赖鼠标、键盘、操作面板等硬件设备的传统交互方式已经越来越无法满足人们的需要,因此,基于手势理解的控制方式已逐步发展为实现自然人机交互的新趋势。本文的主要研究内容是基于手势理解的UR机器人视觉引导与控制方法,对手势识别方法、手势跟踪方法、UR机器人远程控制方法进行了详细的阐述和验证,并建立了基于手势识别与跟踪的人机交互系统,实现了对机械臂末端运动的视觉引导控制。在手势识别方面,提出了结合肤色分割和Viola-Jones算法的识别方法,先对输入图像应用肤色分割模块去除背景中大部分非肤色区域,再由Viola-Jones算法离线训练的手势目标检测器完成识别。在肤色分割模块,在YCb Cr色彩空间中建立肤色模型,实现待检测图像中肤色区域与背景的分割,然后通过形态学滤波操作去除噪声的干扰;应用Viola-Jones算法时,采用Haar特征、积分图策略以及级联结构来训练识别三种目标手势的检测器。通过本文的识别方法与传统检测器对于三种手势识别效果的对比试验,结果表明本文提出的方法对手势识别较为理想,满足人机交互系统的要求。在手势跟踪方面,结合改进的Shi-Tomasi特征点提取算法与融合KLT跟踪算法和Kalman滤波器所构造的双模块跟踪器完成手势跟踪。通过改进的ShiTomasi算法,剔除未分布在手势目标上以及对噪声敏感的特征点,将可靠稳定的特征点送入跟踪器,由跟踪器中的KLT模块匹配特征点进而实现对手势目标的定位。特征点丢失时,启动跟踪器中的Kalman滤波模块预测手势位置,缩小检测器的检测范围,从而实现高效检测与连续跟踪,解决了由于发生遮挡或重叠而导致的跟踪失败、跟踪引导信号不连续问题。在UR机器人远程控制方面,深入剖析了UR机器人的运动控制机制,设计了一种UR机器人的远程运动控制方法。通过MATLAB平台验证该方法,使UR机器人末端实现了正弦轨迹跟踪,并且完成了对机器人的状态监控,验证了本方法的正确性和有效性。最后在上述研究基础上,将手势检测、手势跟踪与机器人远程控制方法相结合,应用到机器人视觉控制引导系统中,建立了一个以用户手势为输入的人机交互系统,通过对手势的识别与跟踪来控制机械臂运动,从而实现了操作者与UR机械臂平台的实时、友好交互,实现了基于手势理解的UR机器人视觉引导控制。
关键词	视觉引导控制 Ur机器人手势识别手势跟踪 Shi-tomasi算法 Klt算法
语种	中文
文献类型	期刊论文
条目标识符	http://ir.ciomp.ac.cn/handle/181722/57866
专题	中科院长春光机所知识产出
推荐引用方式 GB/T 7714	刘宇航. 基于手势理解的UR机器人视觉引导与控制方法研究[J]. 中国科学院长春光学精密机械与物理研究所,2016(6).
APA	刘宇航.(2016).基于手势理解的UR机器人视觉引导与控制方法研究.中国科学院长春光学精密机械与物理研究所(6).
MLA	刘宇航."基于手势理解的UR机器人视觉引导与控制方法研究".中国科学院长春光学精密机械与物理研究所 .6(2016).