本发明提供了一种基于多手势与语义之间柔性映射的手势操控方法，首先筛选出操作者可能的交互意图，再结合交互上下文信息，进一步把操作者的手势语义压缩到更小的语义集合。其次，利用SSFBM特征，找到替代手势，进一步锁定操作者手势语义。本发明的有益效果是：能够实现多个手势表达一个语义，减少了需要定义的手势命令数量，从而让用户不记忆或尽量少记忆手势命令就可以完成手势命令交互，可以自然地完成交互任务而不受记忆大量手势命令的困扰，不会因为操作者的误操作而中断从而影响交互的流畅性，极大减轻了给用户带来的认知负荷和操作负荷。