数字笔,手写的数字和手势识别使用基于三轴加速度计的轨迹识别算法——审查

小姐Leena Mahajan G.A.kulkarni教授
建设工程系S.S.G.B.C.O.新墨西哥州E&T, BhusawalU, Jalgaon印度。

文摘

综述论文我们将讨论系统的轨迹识别算法框架,可以构造有效的分类器手写作和手势识别。回顾手写数字的数字笔和手势识别使用基于加速度计的轨迹识别算法讨论二维手写数字的识别和三维手势。这个实现我们要使用三轴加速度计,单片机,一个射频无线传输模块传感和采集加速度的笔迹和手势轨迹。拟议的轨迹识别算法程序的组成加速度采集,信号处理,特征生成、特征选择和特征提取。该算法能够将时间序列加速度信号转换成重要的特征向量。用户可以使用钢笔写数字或做手势,手势的加速度测量的加速度计是无线传输到电脑在线轨迹识别。基本上这个算法分为两个部分。第一部分是讨论的实现手写数字识别在第二部分讨论实现手势识别。

关键字

人机交互(HCI),微惯性测量单元(μIMU),光学跟踪系统(OTS)、隐马尔可夫模型(HMM),线性判别分析(LDA),概率神经网络(并通过无处不在的数字书写工具(UDWI)。

介绍

在电子电路不稳定增长的有效技术和组件的尺寸和重量大大减少消费电子产品,如智能手机和掌上电脑,从而使他们更方便的和方便的。由于计算机技术的迅速发展,人机交互(HCI)技术[1]-[3]已成为我们日常生活不可或缺的组成部分。最近,一个有吸引力的选择,便携设备嵌入惯性传感器,提出了对人类的活动和捕捉他/她从加速度运动轨迹信息识别手势或书法。惯性传感器的一个重要的优势一般运动传感是他们可以操作没有任何外部引用,在工作条件限制。然而,运动轨迹识别相对比较复杂,因为不同的用户有不同的速度和方式产生不同的运动轨迹。因此,许多研究人员试图缩小问题领域提高手写识别系统的准确性。最近,一些研究人员集中在减少书写错误的轨迹重建通过操纵惯性传感器的加速度和角速度信号[4],[8]。然而,重建的轨迹遭受各种固有的惯性传感器错误。因此,许多研究人员致力于开发有效的误差补偿算法的惯性传感器来提高识别精度。仅举几例,杨等。[9]提出了笔式输入设备跟踪轨迹在三维空间中利用加速度计和陀螺仪。 An efficient acceleration error compensation algorithm based on zero velocity compensation was developed to reduce acceleration errors for acquiring accurate reconstructed trajectory. An extended Kalman filter with magnetometers (micro inertial measurement unit (μIMU) with magnetometers), proposed by Luo et al. [10], was employed to compensate the orientation of the proposed digital writing instrument. If the orientation of the instrument was estimated precisely, the motion trajectories of the instrument were reconstructed accurately. Dong et al. [11] proposed an optical tracking calibration method based on optical tracking system (OTS) to calibrate 3-D accelerations, angular velocities, and space attitude of handwriting motions. The OTS was developed for the following two goals: 1) to obtain accelerations of the proposed ubiquitous digital writing instrument (UDWI) by calibrating 2-D trajectories and 2) to obtain the accurate attitude angles by using the multiple camera calibration. However, in order to recognize or reconstruct motion trajectories accurately, the aforementioned approaches introduce other sensors such as gyroscopes or magnetometers to obtain precise orientation. This increases additional cost for motion trajectory recognition systems as well as computational burden of their algorithms. In order to reduce the cost of systems and simplify the algorithms, much research effort has been devoted to extract important features from time-series inertial signals. To name a few, Lim et al. [12] computed correlation coefficients of the absolute value of acceleration and the absolute value of the first and second derivatives of acceleration to form feature vectors. They then applied principal component analysis (PCA) and Fisher linear discriminates to reduce the dimension of the feature vectors. With the reduced features, a time-lagged feed forward network was trained to recognize 2-D handwriting gestures and the best performance with an overall accuracy of 95%. In [13], the acceleration, velocity, and position features were generated from raw acceleration signals, and then, the PCA was utilized to reduce the feature dimension size. They successfully employed a hidden Markov model (HMM) with dynamic time warping algorithms to recognize 3-D handwriting digits with a recognition rate of 90%. Krishnan et al. [14] calculated the time- and frequency-domain features (such as mean, variance (VAR), correlation, spectral entropy, and spectral energy) of the acceleration signals measured from the accelerometers worn simultaneously on different positions of a participant’s hand. Subsequently, the AdaBoost, HMM, and k-NN classifiers were utilized to classify hand motions, and the AdaBoost classifier achieved the best performance with an overall accuracy of 86%.

在本文中,我们开发了一种笔式便携设备和轨迹识别算法。笔式便携设备包括一个三轴加速度计,单片机,一个射频无线传输模块。加速度三轴加速度计的测量信号传输到电脑通过无线模块。用户可以使用这个数字笔写数字,让手势以正常速度。这些运动的加速度测量信号可以被轨迹识别算法。识别过程是由加速度采集、信号预处理、特征生成、特征选择和特征提取。手运动的加速度信号测量的笔式便携设备。信号预处理过程包括校准、移动平均滤波器,高通滤波器,规范化。首先,加速度校准漂移删除错误和补偿从原始信号。这两个过滤器应用于去除高频噪声和重力加速度的原始数据,分别。 The features of the preprocessed acceleration signals of each axis include mean, correlation among axes, interquartile range (IQR), mean absolute deviation (MAD), root mean square (rms), VAR, standard deviation (STD), and energy. Before classifying the hand motion trajectories, we perform the procedures of feature selection and extraction methods. In general, feature selection aims at selecting a subset of size m from an original set of d features (d > m). Therefore, the criterion of kernel-based class reparability (KBCS) with best individual N (BIN) is to select significant features from the original features (i.e., to pick up some important features from d) and that of linear discriminate analysis (LDA) is to reduce the dimension of the feature space with a better recognition performance (i.e., to reduce the size of m). The objective of the feature selection and feature extraction methods is not only to ease the burden of computational load but also to increase the accuracy of classification. The reduced features are used as the inputs of classifiers. In this paper, we adopted a probabilistic neural network (PNN) as the classifier for handwritten digit and hand gesture recognition. The contributions of this paper include the following: 1) The development of a portable digital pen with a trajectory recognition algorithm, i.e., with the digital pen, users can deliver diverse commands by hand motions to control electronics devices anywhere without space limitations, 2) An effective trajectory recognition algorithm, i.e., the proposed algorithm can efficiently select significant features from the time and frequency domains of acceleration signals and project the feature space into a smaller feature dimension for motion recognition with high recognition accuracy. The rest of this paper is organized as follows. In Sections II and III, we survey related work on digital pen trajectory recognition and similar HCI applications and introduce the hardware components of the digital pen in detail, respectively. The proposed trajectory recognition algorithm consisting of acceleration acquisition, signal preprocessing, feature generation, feature selection, feature extraction, and a PNN is presented in Section V. In Section VI, simulation results are presented to validate the proposed approach. Finally, conclusions are given in the last section.

相关工作

最近,一些研究主要集中在数字笔的发展轨迹识别和人机交互的应用程序。例如,传统的平板电脑的另一种方法——基于手写识别提出了米尔纳[15]。在他的体系中,两种双轴加速度计安装在笔产生时变的x轴和y轴为笔迹运动加速度。作者采用一个嗯带通滤波和采样下来过程分类的七个手写的字。最好的识别率是96.2%的状态数的嗯= 60。哦等。[16]提出了一个魔杖像输入设备中嵌入一个三轴加速度计和三轴陀螺仪为在线3 d人物手势识别。采用Fisher判别分析,不同的组合传感器信号被用来测试他们的设备的识别性能。当所有六轴原始信号作为输入识别系统的识别率为93.23%。此外,他们提出了一个识别器组成的三个子识别器以下信号作为输入:加速度、角速度,估计手写轨迹。识别器的识别率为95.04%。 Similarly, a gesture recognition system consisting of a gesture input device, a trajectory estimation algorithm, and a recognition algorithm in 3-D space was proposed by Cho et al. [17]. The trajectory estimation algorithm based on an inertial navigation system was developed to reconstruct the trajectories of numerical digits and three hand gestures, and then, a Bayesian network was trained to recognize the reconstructed trajectories. The average recognition rate was 99.2%. Zhou et al. [18] proposed a μIMU for 2-D handwriting applications. They extracted the discrete cosine transform features from x- and y-axis acceleration signals and one angular velocity and used an unsupervised self-organizing map to classify 26 English alphabets and ten numerical digits. The recognition rate of 26 English alphabets and ten numerical digits achieved 64.38% and 80.8%, respectively.

我们的数字笔由电容式三轴加速度计(LIS3L02AQ3,意法半导体),生成的三轴加速度计测量加速度信号用户的手势。电容器电极和移动电极之间形成领域。加速度的变化会改变输出电压的电容。LIS3L02AQ3是一种低成本的电容微机械加速度计,温度补偿功能。单片机收集模拟加速度信号,将信号转换为数字的人通过A / D转换器。C8051F206集成了一个高性能12 b a / D转换器和一个优化信号周期25-MHz 8 b微控制器单元(MCU)(8051指令集兼容)芯片上的一个信号。无线收发器将加速度信号无线传输到一个个人电脑(PC)。加速度计的输出信号采样12 b在100 Hz的A / D转换器。然后,感知加速度计的所有数据无线传输到PC的射频收发器在2.4 - ghz传输频带和1 mb / s的传输速率。这个模块是一个直线代替串行通信它不需要额外的硬件,没有额外的编码来把你的有线通信到无线。它工作在半双工模式即它提供通信在两个方向上,但只有一个方向同时(不同时)。 This switching from receiver to transmitter mode is done automatically. The overall power consumption of the digital pen circuit is 30 mA at 3.7 V. Therefore, if a typical AA battery (2000 mAh at 1.5 V) is used as the power of the system, the system requires three batteries simultaneously, and the lifetime is about 67 h.

三世。轨迹识别算法

轨迹识别算法组成的加速度采集、信号预处理、特征生成、特征选择和特征提取。识别过程是由加速度采集、信号预处理、特征生成、特征选择和特征提取。手运动的加速度信号测量的笔式便携设备。

答:信号预处理

信号预处理过程包括校准、移动平均滤波器,高通滤波器,规范化。首先,加速度校准漂移删除错误和补偿从原始信号。这两个过滤器应用于去除高频噪声和重力加速度的原始数据,分别。

b .特性生成:

每个轴的加速度信号进行预处理的特点(三轴)包括的意思是,轴之间相关性,四分位范围(差),平均绝对偏差(疯狂),均方根(rms), VAR,标准偏差(STD),和精力。不同手运动信号的特征可以从预处理特征提取得到的x, y,和z轴信号,我们从三轴加速度信号中提取八个功能,包括的意思是,性病,VAR,差[19],轴之间的相关性[20],疯了,rms,和能源[21].Before分类手运动轨迹,我们执行程序的特征选择和提取的方法

c .特征选择

特征选择和特征提取方法的目的不仅仅是减轻计算负载的负担,也提高分类的准确性。减少特征作为分类器的输入。

d .特征提取

对于模式识别问题,LDA[23]是一种有效的特征提取(或降维方法),使用一个线性变换将原始的特性集转换为低维的特征空间。

e .并通过

并通过的概率神经网络作为分类器手写数字和手势识别。并保证收敛于一个贝叶斯分类器,因此,它有一个巨大的潜力为分类决策准确、提供为每个分类概率和可靠性的措施。对所测试使用的最重要的优点是其高速的学习。通常,并由一个输入层、一个模式层,求和层,一层决定,如图4所示。每一层的神经元的功能并通过定义如下。

第1层:第一层是输入层,这一层执行任何计算。

层2:第二层是图案层,这一层的神经元数量等于问。

第三层:第三层是求和层。每个类的输入的贡献总结在这一层产生的输出向量的概率。求和层中的每个神经元代表一个类的活动状态。

层4:第四层是决定层

表我识别利率的不同组合特征选择和提取方法并通过和模糊神经网络。

表二世总CPU运行时(以秒为单位)的培训和测试阶段使用组合特征选择和提取方法并通过和模糊神经网络。

预期结果

即为认可。1)手写数字识别和2)手势识别。我们要收集大约十加速度信号。一些女性和一些男性。以计算算法的有效性。轨迹识别算法包括以下程序:加速度采集、信号预处理、特征生成、特征选择和特征抽取,月初解释部分。我们也期望结果向总CPU时间相对比其他算法也是平板电脑数字化仪的钢笔的识别率是97.2%,而IMUPEN使识别率约90.4吗?% [5]。我们的期望是提高这方面。我们要使用不同的组合特征选择和提取方法和使用并通过识别手写的数字和手势。此外,我们还使用并通过培训更好的识别结果的所有功能比不同的特征工程方法与前馈神经网络(fnn)。

结论

在这篇文章中,我们将使用轨迹识别算法由加速度采集、信号预处理、特征生成、特征选择和特征提取。并可以快速训练作为一种有效的分类器。在本文中,我们使用2 d手写数字和3 d手势来验证该装置和算法的有效性。

引用

e .佐藤t山口,f . Harashima”自然接口使用指向行为进行人机交互手势,“IEEE反式。印第安纳州。电子。,vol. 54, no. 2, pp. 1105–1112, Apr. 2007.
b . s . y . s . Kim Soh, S.-G。李”,一个新的可穿戴式输入设备:匆匆”,IEEE反式。印第安纳州。电子。,vol. 52, no. 6, pp. 1490–1499, Dec. 2005.
公元Cheok y秋k, k·g·库马尔,“结合无线硬件和实时计算机视觉界面的复杂现实,”IEEE反式。印第安纳州。电子。,vol. 54, no. 4, pp. 2174–2189, Aug. 2007.
z盾,c . Wejinya和w·J·李,“MEMS-based数字书写工具的感光追踪标定方法,“IEEE参议员J。,10卷,不。10日,第1551 - 1543页,2010年10月。
j·S。王、y l .许和j . n .刘”inertial-measurement-unit-based笔的轨迹重建算法及其应用,“IEEE反式。印第安纳州。电子。,vol. 57, no. 10, pp. 3508–3521, Oct. 2010.
工程学系。p .获胜,w·w·米勒,f . Golnaraghi“卡尔曼/粒子基于过滤器使用位置传感器位置和姿态估计方法/惯性测量单元混合系统,“IEEE反式。印第安纳州。电子。,vol. 57, no. 5, pp. 1787–1798, May 2010.
工程学系。p .获胜,f . Golnaraghi和w·w·米勒,”一个紧固工具跟踪系统使用一个IMUand位置传感器与卡尔曼滤波器和模糊专家系统,“IEEE反式。印第安纳州。电子。,vol. 56, no. 5, pp. 1782–1792, May 2009.
y s Suh”的态度由multiple-mode卡尔曼滤波器估计,“IEEE反式。印第安纳州。电子。,vol. 53, no. 4, pp. 1386–1389, Jun. 2006.
j·杨,w . Chang w . c .爆炸崔e . s . k . h . Kang s . j .赵和d . y .金”的误差分析和补偿基于惯性传感器的输入设备,“在Proc, IEEE Int。相依之正,抛光工艺。编码和计算,2004年,页790 - 796。
y罗,c . c . Tsang g .张董z, g .施s . y .郭w·j·李·h·w·梁和m . y . Wong“态度补偿技术,基于MEMS运动传感器的数字书写工具,“在Proc, IEEE Int。相依纳米/微Eng。摩尔。系统。,2006, pp. 909–914.
z, g . Zhang y罗,c . c . Tsang g .施s . y .郭w·j·李·h·w·梁和m . y . Wong“MEMS惯性传感器的标定方法基于光学追踪,“在Proc, IEEE Int。相依纳米/微Eng。摩尔。系统。,2007, pp. 542–547.
j·g . Lim郑胜耀金,d . s . Kwon”模式实现实时终点检测专门用于加速度计信号,“在Proc, IEEE / ASME Int。Conf。放置智能。Mechatron。,2009, pp. 203–208.
崔s . d . a . s . Lee, s . y .李”与3 d加速器联机手写字符识别,”在Proc, IEEE Int。Conf。Inf。收购,2006年,页845 - 850。
n·c·克里希,c . Juillard d . Colbry和s . Panchanathan“识别手部运动使用可穿戴式加速度计,”j .环境智能。智能环境。,1卷,不。2,页143 - 155,2009年4月。
“概率神经网络,”米尔纳,Proc。本月,选出。Eng。Colloq。Doc。图像的过程。多媒体,1999,pp。5/1-5/6。
j·K哦,s . j .赵w . c .爆炸w . Chang e . Choi j .杨j .赵和d . y .金,“基于惯性传感器的3 d人物手势识别分类器的一个乐团,“在Proc车间前沿笔迹Recognit IEEE 9日Int。,2004年,页112 - 117。
s . j .赵,j·k·哦,w . c .爆炸w . Chang e . Choi y, j .赵和d . y .金正日“魔杖:手绘手势输入设备与惯性传感器,在三维空间”在Proc车间前沿笔迹Recognit IEEE 9日Int。,2004年,页106 - 111。
z s周董,w·j·李和c·p·邝,“手写字符识别使用MEMS运动传感技术,“在Proc, IEEE / ASME Int。Conf。放置智能。Mechatron。,2008, pp. 1418–1423.
s . j . Preece j . y . Goulermas l . p . j .肯尼·d·霍华德,“比较分类的特征提取方法从加速度计数据的动态活动,“IEEE反式。生物医学。Eng。,vol. 56, no. 3, pp. 871–879, Mar. 2009.
l .包和s . s . Intille”活动识别从user-annotated加速度数据,”无处不在,课堂讲稿在计算机科学中,没有。3001年,1卷,2004页。
j . y . y . p . Chen Yang Liou、g . y . Lee和j·s·王,“人类活动的在线分类器构造算法使用三轴加速度计检测,“达成。数学。第一版。,pp. 849–860, Nov. 2008.
l .王”,与内核类可分性特征选择,”IEEE反式。模式肛门。马赫。智能。,vol. 30, no. 9, pp. 1534–1546, Sep. 2008.
a . m .马丁内斯和a . c .谷湖PCA与LDA, IEEE反式。模式肛门。马赫。智能。,vol. 23, no. 2, pp. 228–233, Feb. 2001.
d . f . Specht概率神经网络,神经。,3卷,不。1页。109 - 118年,1990年。
Jeen-Shing Wang会员,IEEE, Fang-Chen壮族“基于加速度计的数字笔轨迹为手写数字识别算法和手势识别”IEEE工业电子、卷59岁。2012年7月7日,