本发明提供了一种手势的多语义识别方法，属于手势识别领域。该方法包括：步骤1：捕获操作者的手部运动并得到手势图像，对所述手势图像进行处理，然后判断是否为开始的手势，如果是，则转到步骤2，如果否，则转向步骤1；步骤2：判断手势是否为平移，若是，则转向步骤3，若否，则转向步骤4；步骤3：记录并计算每隔10帧的手势的质心的位移和时间，求出速度的均值，转向步骤5；步骤4：记录手势张开与闭合的角速度变化的时间，获得角速度，转向步骤7；步骤5：若速度的方向出现变化，即左右交替移动，则判定该手势的语义为为扫动物体，转向步骤1；否则，转向步骤6；步骤6：判断该手势的语义为拖移物体还是快速滑动物体，判断完毕后转向步骤1.步骤7：判断该手势的语义是抓取物体还是缩小物体，判断完毕后转向步骤1。
