A New Residual Dense Network for Dance Action Recognition From Heterogeneous View Perception

At present, part of people's body is in the state of sub-health, and more people pay attention to physical exercise. Dance is a relatively simple and popular activity, it has been widely concerned. The traditional action recognition method is easily affected by the action speed, illumination, occlusion and complex background, which leads to the poor robustness of the recognition results. In order to solve the above problems, an improved residual dense neural network method is used to study the automatic recognition of dance action images. Firstly, based on the residual model, the features of dance action are extracted by using the convolution layer and pooling layer. Then, the exponential linear element (ELU) activation function, batch normalization (BN) and Dropout technology are used to improve and optimize the model to mitigate the gradient disappearance, prevent over-fitting, accelerate convergence and enhance the model generalization ability. Finally, the dense connection network (DenseNet) is introduced to make the extracted dance action features more rich and effective. Comparison experiments are carried out on two public databases and one self-built database. The results show that the recognition rate of the proposed method on three databases are 99.98, 97.95, and 0.97.96%, respectively. It can be seen that this new method can effectively improve the performance of dance action recognition

CAVIAR: Context-driven Active and Incremental Activity Recognition

Activity recognition on mobile device sensor data has been an active research area in mobile and pervasive computing for several years. While the majority of the proposed techniques are based on supervised learning, semi-supervised approaches are being considered to reduce the size of the training set required to initialize the model. These approaches usually apply self-training or active learning to incrementally refine the model, but their effectiveness seems to be limited to a restricted set of physical activities. We claim that the context which surrounds the user (e.g., time, location, proximity to transportation routes) combined with common knowledge about the relationship between context and human activities could be effective in significantly increasing the set of recognized activities including those that are difficult to discriminate only considering inertial sensors, and the highly context-dependent ones. In this paper, we propose CAVIAR, a novel hybrid semi-supervised and knowledge-based system for real-time activity recognition. Our method applies semantic reasoning on context-data to refine the predictions of an incremental classifier. The recognition model is continuously updated using active learning. Results on a real dataset obtained from 26 subjects show the effectiveness of our approach in increasing the recognition rate, extending the number of recognizable activities and, most importantly, reducing the number of queries triggered by active learning. In order to evaluate the impact of context reasoning, we also compare CAVIAR with a purely statistical version, considering features computed on context-data as part of the machine learning process

A Light Weight Smartphone Based Human Activity Recognition System with High Accuracy

With the pervasive use of smartphones, which contain numerous sensors, data for modeling human activity is readily available. Human activity recognition is an important area of research because it can be used in context-aware applications. It has significant influence in many other research areas and applications including healthcare, assisted living, personal fitness, and entertainment. There has been a widespread use of machine learning techniques in wearable and smartphone based human activity recognition. Despite being an active area of research for more than a decade, most of the existing approaches require extensive computation to extract feature, train model, and recognize activities. This study presents a computationally efficient smartphone based human activity recognizer, based on dynamical systems and chaos theory. A reconstructed phase space is formed from the accelerometer sensor data using time-delay embedding. A single accelerometer axis is used to reduce memory and computational complexity. A Gaussian mixture model is learned on the reconstructed phase space. A maximum likelihood classifier uses the Gaussian mixture model to classify ten different human activities and a baseline. One public and one collected dataset were used to validate the proposed approach. Data was collected from ten subjects. The public dataset contains data from 30 subjects. Out-of-sample experimental results show that the proposed approach is able to recognize human activities from smartphones’ one-axis raw accelerometer sensor data. The proposed approach achieved 100% accuracy for individual models across all activities and datasets. The proposed research requires 3 to 7 times less amount of data than the existing approaches to classify activities. It also requires 3 to 4 times less amount of time to build reconstructed phase space compare to time and frequency domain features. A comparative evaluation is also presented to compare proposed approach with the state-of-the-art works

Enhancement of high-level context recognition performance based on smartphone data using user information

학위논문 (석사)-- 서울대학교 대학원 : 공과대학 산업공학과, 2018. 8. 박종헌.개인화 기기인 스마트폰의 사용이 보편화되고 있고 이를 이용한 다양한 종류의 서비스가 등장함에 따라, 사용자의 상황에 따른 맞춤형 서비스에 대한 요구가 증가하고 있다. 스마트폰은 음성 통화나 문자 메시지 등과 같은 기존의 휴대전화의 기능 외에도 데이터 통신이나 다종 센서 데이터 등을 활용 가능한 애플리케이션의 활용이 가능한 개인용 컴퓨터로서의 역할을 수행하고 있다. 많은 수의 스마트폰 사용자들은 일상생활 대부분의 시간에 스마트폰을 휴대하고 있기 때문에, 스마트폰으로부터 수집할 수 있는 데이터를 활용하여 사용자의 상황을 인지하는 연구들과 사용자 특성 정보를 추론하는 연구들이 다양하게 진행되어왔다. 센서 데이터를 통해 물리적 운동에 따라 구분되는 저수준 컨텍스트를 인지하는 연구에 비해, 사회나 문화적 차이에 따라 의미가 달라질 수 있는 고수준 컨텍스트 인지에 대한 연구는 상대적으로 물리 센서 데이터의 의존도가 낮기 때문에, 인지 난이도도 높고 아직까지 상대적으로 미진하였다. 고수준 컨텍스트 인지 정확도가 좋을수록 상황별 맞춤형 서비스의 다양화나 정교화에 있어서 활용 방안이 다양하다. 이에 본 연구에서는 사용자 특성에 따라 센서 데이터의 분포가 달라진다는 점을 통해, 센서 데이터 기반의 사용자 상황 인지 모형에 사용자 특성 정보를 함께 사용하여 사용자의 고수준 컨텍스트 상황 인지 모형의 정확도를 향상시킬 수 있는 기법을 제안한다. 본 연구에서 제안하는 기법은 두 단계로 구성된다. 그 첫번째 단계로, 순간적으로 획득이 가능한 스냅샷 데이터를 이용하기 때문에 즉시 추론이 가능한 사용자 특성 정보 추론을 수행한다. 두번째 단계로는, 첫 단계에서 얻은 사용자 특성 정보를 인지 대상이 되는 센서 데이터와 병합하여 상황 인지 모형의 입력값으로 사용하여 인지 대상의 사용자의 상황 인지를 수행한다. 사용자 특성 추론 모형은 스냅샷 데이터인 사용자의 스마트폰 애플리케이션 목록으로부터 생성한 요인벡터를 이용해 학습을 수행하여 사용자 특성 정보를 추론한다. 상황 인지 모형은 가속도 센서 데이터와 오디오 센서 데이터를 이용하여 앙상블 학습 방법의 일종인 랜덤 포레스트 분류 모형을 통해 수면, 식사, 수업, 공부, 음주, 이동의 총 여섯 가지 상황을 인지 한다. 자체 제작한 애플리케이션을 통해 100명의 피실험자들로부터 실험 데이터를 수집하고 제안 기법의 성능을 확인하였다. 여섯 가지 상황과 열두 가지 사용자 특성 정보를 조합하여 각 특성 정보가 클래스 별로 인지 성능에 미치는 영향력을 살펴보았다. 그 결과, 제안 기법을 통해 기존의 상황 인지 모형에서 13%의 성능 향상을 확인할 수 있었다.초록 i 목차 v 표 목차 vi 그림 목차 vii 제 1 장 서론 1 1.1 연구 배경 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 연구 목적 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.3 연구 내용 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 제 2 장 배경 이론 및 관련 연구 5 2.1 배경 이론 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.1.1 랜덤 포레스트 .... . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.1.2 Doc2Vec . . . . .... . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.1.3 TF-IDF ... . . . . . . .... . . . . . . . . . . . . . . . . . . . . . . 11 2.2 관련 연구 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 2.2.1 사용자 상황 인지 . . . . . . . . . . . . . . . . . . . . . . . . . 13 2.2.2 사용자 특성 정보 추론 . . . . . . . . . . . . . . . . . . . . . 15 제3 장 제안 기법 16 3.1 전체 과정 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.2 데이터 전처리. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.2.1 데이터 수집 구간 동기화 . . . . . . . . . . . . . . . . . . . . 18 3.2.2 가속도 센서 데이터 보정. . . . . . . . . . . . . . . . . . . . . 20 3.2.3 오디오 센서 데이터 전처리 . . . . . . . . . . . . . . . . . . . 22 3.3 인지 모형 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.3.1 사용자 상황 인지 . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.3.2 사용자 특성 정보 추론 . . . . . . . . . . . . . . . . . . . . . . 23 제 4 장 실험 및 결과 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 4.1 실험 데이터 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 4.1.1 데이터 수집용 애플리케이션 . . . . . . . . . . . . . . . . . . . 25 4.1.2 데이터 수집 실험 . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 4.2 실험 설계 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 4.3 실험 환경 및 평가 지표 . . . . . . . . . . . . . . . . . . . . . . . . 30 4.3.1 실험 환경 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 4.3.2 평가 지표 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 4.4 실험 결과 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 4.4.1 사용자 상황 인지 모형 최적 매개변수 . . . . . . . . . . . . . 32 4.4.2 사용자 특성 정보 적용 여부 . . . . . . . . . . . . . . . . . . . . 34 4.4.3 사용자 특성 정보 추론 실험 . . . . . . . . . . . . . . . . . . . . 38 4.4.4 실제 추론한 사용자 특성 정보를 적용한 상황 인지 모형의 성능 39 제 5 장 결론 41 5.1 요약 및 연구 의의 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 5.2 향후 연구 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 참고문헌 44 Abstract 51Maste

Activity recognition with weighted frequent patterns mining in smart environments

In the past decades, activity recognition has aroused a great interest for the research groups majoring in context-awareness computing and human behaviours monitoring. However, the correlations between the activities and their frequent patterns have never been directly addressed by traditional activity recognition techniques. As a result, activities that trigger the same set of sensors are difficult to differentiate, even though they present different patterns such as different frequencies of the sensor events. In this paper, we propose an efficient association rule mining technique to find the association rules between the activities and their frequent patterns, and build an activity classifier based on these association rules. We also address the classification of overlapped activities by incorporating the global and local weight of the patterns. The experiment results using publicly available dataset demonstrate that our method is able to achieve better performance than traditional recognition methods such as Decision Tree, Naive Bayesian and HMM. Comparison studies show that the proposed association rule mining method is efficient, and we can further improve the activity recognition accuracy by considering global and local weight of frequent patterns of activities