本发明公开了一种基于三维自然手势的三维跟踪和交互方法，其特征在于，包括如下步骤：初始化三维手势模型；通过概率统计方法初始化行为模型库，该行为模型包括四个矩阵：矩阵一Obje-matrix, 矩阵二Gest-matrix, 矩阵三Beha-matrix和矩阵四Path，矩阵一表示在操作场景中完成对物体i进行操作后选择物体j进行操作的概率；矩阵二表示由基本手势i到基本手势j的转移概率；矩阵三Beha-matrix[i]表示基本手势i的行为模型；矩阵四表示由物体i到物体j的路径。