本申请公开了一种基于增强现实的手势识别方法、系统及装置，该方法包括：获取人手的手势深度图和手势深度信息，将手势深度图分为训练集和测试集，将训练集和测试集中的手势深度图剪切为大小相等的n个单元，利用DTW算法对两个集合中的动态视频帧进行优化，建立一双结构网络识别模型，然后将测试集输入至该识别模型中进行测试，获取手势识别结果；在增强现实环境中，根据手势深度信息和该识别模型，对手势进行识别。该系统包括：信息获取模块、集合分类模块、剪切模块、优化模块、识别模型建立模块、测试模块和识别模块。该装置包括处理器以及与其通信连接的存储器。通过本申请，能够有效提高手势识别的实时性和手势识别率，从而提高用户体验。
