本发明涉及一种动作辨识系统，其用动态影像通过影像辨识方式来控制一移动通讯装置，本发明特别涉及一种具有自动记忆学习功能的辨识系统，其摄取一动态影像，经转换成数字影像数据后，在影像数据库中搜寻产生出相对应的对比结果的信号，该结果对比信号最后转换为一控制信号，用以控制该移动通讯装置；该辨识系统依照形象辨识结合移动轨迹法的对比方式来进行数据库搜寻。