本发明提供了一种异常手势的识别与处理方法，包括：通过kinect获取人手深度图像；将[0, n/2]、[n/2, n]帧内的每一帧手势图像作CNN模型的正向传播，提取特征图像，对特征图像中的像素点进行聚类，获取第一特征值、第二特征值；利用RNN无监督学习深度网络，比较第一特征值与第二特征值的相似性；对神经网络分类后的手势图像进行正向特征提取，获取第一特征向量，将[0, n/2]帧和[n/2, n]帧进行融合，获取第二特征向量；对第一特征向量和第二特征向量进行误差逆向传播算法训练；反复迭代，得到最大相似手势。本发明解决了现有技术中对于手势的识别容易出现无法识别或者识别错误的异常问题，实现提高对异常手势的识别准确度，提升用户体验。