Advanced Human Activity Recognition through Data Augmentation and Feature Concatenation of Micro-Doppler Signatures

Developing accurate classification models for radar-based Human Activity Recognition (HAR), capable of solving real-world problems, depends heavily on the amount of available data. In this paper, we propose a simple, effective, and generalizable data augmentation strategy along with preprocessing for micro-Doppler signatures to enhance recognition performance. By leveraging the decomposition properties of the Discrete Wavelet Transform (DWT), new samples are generated with distinct characteristics that do not overlap with those of the original samples. The micro-Doppler signatures are projected onto the DWT space for the decomposition process using the Haar wavelet. The returned decomposition components are used in different configurations to generate new data. Three new samples are obtained from a single spectrogram, which increases the amount of training data without creating duplicates. Next, the augmented samples are processed using the Sobel filter. This step allows each sample to be expanded into three representations, including the gradient in the x-direction (Dx), y-direction (Dy), and both x- and y-directions (Dxy). These representations are used as input for training a three-input convolutional neural network-long short-term memory support vector machine (CNN-LSTM-SVM) model. We have assessed the feasibility of our solution by evaluating it on three datasets containing micro-Doppler signatures of human activities, including Frequency Modulated Continuous Wave (FMCW) 77 GHz, FMCW 24 GHz, and Impulse Radio Ultra-Wide Band (IR-UWB) 10 GHz datasets. Several experiments have been carried out to evaluate the model\u27s performance with the inclusion of additional samples. The model was trained from scratch only on the augmented samples and tested on the original samples. Our augmentation approach has been thoroughly evaluated using various metrics, including accuracy, precision, recall, and F1-score. The results demonstrate a substantial improvement in the recognition rate and effectively alleviate the overfitting effect. Accuracies of 96.47%, 94.27%, and 98.18% are obtained for the FMCW 77 GHz, FMCW 24 GHz, and IR- UWB 10 GHz datasets, respectively. The findings of the study demonstrate the utility of DWT to enrich micro-Doppler training samples to improve HAR performance. Furthermore, the processing step was found to be efficient in enhancing the classification accuracy, achieving 96.78%, 96.32%, and 100% for the FMCW 77 GHz, FMCW 24 GHz, and IR-UWB 10 GHz datasets, respectively

A Study on the Generation of Synthetic Data using Generative Adversarial Network for Optimization of Diagnostic Performance on Paranasal Sinusitis Radiography

딥러닝 기술은 최근들어 다양한 의료 분야에 적용되고 있다. 딥러닝 모델의 효과적인 학습을 위해서는 방대한 양의 데이터가 필요한데, 실제로 환자가 의료기관에서 받은 검사를 통해 얻어지는 의료 데이터의 특성상 데이터가 부족한 경우가 많으며, 이는 딥러닝 기술을 의료 분야에 적용함에 있어 큰 한계점이다. 이러한 학습 데이터 부족을 극복하기 위한 다양한 연구들이 현재까지도 활발히 진행되고 있다. 본 연구에서는 학습용 의료 데이터가 부족한 상황에서 우수한 판독 성능에 도달할 수 있도록 생성적 적대 신경망 (Generative Adversarial Network, GAN)을 이용하여 합성 데이터 증강 (data augmentation)을 수행하고 가장 우수한 성능에 최적화된 모델을 자동적으로 찾아 줄 수 있는 방법을 제안한다. 기존의 관련 연구에서는 GAN 모델을 이용하여 합성 데이터를 생성하고 데이터 증강 개수가 학습 모델의 성능에 미치는 영향에 대한 실험을 진행하였다. 앞선 연구는 데이터 증강 샘플을 일정한 간격없이 임의적으로 증가시켰기 때문에 정량적이지 않다는 점과 적절한 양을 탐색하기 위해 증강 개수를 매번 조정해야되는 수동 작업이 개입되므로 상당한 시간이 소요된다는 한계점이 있다. 본 연구에서는 GAN 기반의 합성 데이터 증강을 수행하는 과정에서 어느 시점에서 가장 최적화된 모델 성능이 나타나는지에 대하여 자동화 개념으로 접근한다. 연구 데이터는 2차 병원에서 수집한 부비동 (Paranasal Sinuses, PNS) X-ray 이미지와 일반성을 확보하기 위해 외부 검증 (external validation)용으로 3차 병원에서 수집한 PNS X-ray 이미지로 구성되어 있다. 실험에 사용될 모든 데이터는 전처리 과정에서 상악동 (maxillary sinus)부위를 기준으로 잘라내어 (cropping) 영상 패치를 생성하였다. 데이터 증강 기법은 두 가지의 방법으로 수행하였다. 첫 번째 방법은 전통적 데이터 증강 기법 (Conventional data augmentation)에서 흔히 사용되는 회전 (-10도에서 10도 범위 내로)과 좌우 뒤집기 (horizontal flipping) 를 적용하였고, 두 번째 방법으로는 GAN을 이용하여 합성 데이터를 생성 후 원본 데이터와 결합시켜 증강을 하는 합성 데이터 증강 기법이다. GAN기반의 합성 데이터 증강을 수행하기 위해서는 Auxiliary Classifier GAN (ACGAN) 모델을 기존 학습용 데이터에 적용하여 새로운 데이터를 생성하였다. 본 과정을 통해 생성된 데이터를 일정한 배율로 증가시키며, 이를 바탕으로 학습된 딥러닝 모델이 가장 높은 성능을 보이는 최적의 배율 (optimal multiples)을 발견할 수 있도록 자동화 방법을 구축하였다. 이미지 분류 과정에서는 CheXNet 모델을 이용하여 전이 학습 (transfer learning)을 수행하였고 이후, 본 연구의 모델 성능을 평가하기 위해서 전통적 데이터 증강 기법을 이용하여 학습한 모델의 성능과 GAN 기반의 합성 데이터 증강 기법의 최적의 증강 배율로 학습한 모델의 성능을 비교하였다. 더불어 두 모델의 성능 간의 통계적 유의성을 제시하였다. 모델 성능 평가 결과, 본 연구에서 제안한 GAN 기반의 데이터 증강 기법 모델이 전통적 데이터 증강 기법보다 내부 및 외부 검증에서 모두 우수한 성능을 보였음을 입증할 수 있었다. 본 연구에서 제시한 GAN 기반의 데이터 증강 기법은 X-ray 영상 뿐만 아니라 다양한 의료 영상에서도 적용될 수 있으며, 증강시킬 데이터 양의 크기를 수동으로 설정해주는 이전 방식과는 달리 일정한 배율로 증가시키며 가장 우수한 성능에 최적화된 모델 및 증강 배율을 자동적으로 찾아주기 때문에 편리성과 정확성을 제공할 것이다. 추후 데이터 증강 기법 관련 연구에서 GAN 기반의 합성 데이터 증강 자동화 알고리즘이 더 활용될 것으로 기대한다.Recently, rapid development of deep learning has led to a state-of-the-art performance in a wide range of computer vision tasks, mainly through large-scale datasets. However, acquiring a large amount of dataset is restricted and challenging in medical domain. This study aimed to investigate the feasibility of synthetic data augmentation using generative adversarial networks (GAN) by suggesting an automatic method to determine the ideal amount of data augmentation in order to develop deep learning-based model optimized for best performance in a limited datasets. This retrospective study evaluated the Water’s view radiographs of 250 patients diagnosed with chronic sinusitis, who underwent radiographic examination, between January 2010 and January 2020. Image patches of 177 healthy sinuses and 212 maxillary sinusitis were created and randomly split into a training set (80%) and a test set (20%) to develop a deep learning model. During synthetic data augmentation process, Auxiliary Classifier GAN (ACGAN) was applied to generate synthetic images from the original training set. A method to determine the optimal amount of GAN-generated synthetic data to train the model with the highest performance was proposed herein. Transfer learning techniques were applied using a pre-trained CheXNet model for classification. The model was trained using conventional data augmentation and the proposed synthetic data augmentation. The performance of the models was evaluated based on the statistical analyses of the accuracy, sensitivity, specificity, positive and negative predictive values, area under the curve (AUC), and receiver operating characteristic, in both internal and external datasets. The experimental results verified that the proposed approach achieved a higher performance than conventional data augmentation, with an accuracy of 0.949, sensitivity of 0.917, specificity of 0.955, and an AUC of 0.964 using internal test set, and 0.917, 0.924, 0.909, and 0.955, respectively, using external test set. These values showed significant differences compared with the model trained using conventional data augmentation. The findings of this study suggest that the proposed deep learning approach could be used to assist radiologists and improve diagnosis with the use of deep learning technique even in a presence of lack of training data.제 1 장 서 론 1 제 1 절 연구의 배경 1 제 2 절 관련 연구의 동향 3 제 3 절 관련 연구의 한계점 5 제 4 절 연구의 목적 6 제 2 장 연구 방법 6 제 1 절 데이터 수집 및 구성 6 제 2 절 데이터 전처리 과정 10 제 3 절 ACGAN 모델을 이용한 데이터 생성 13 제 4 절 데이터 증강 기법 18 제 5 절 분류 모델 학습 과정 23 제 6 절 모델 성능 평가 및 유의성 검증 방법 24 제 3 장 연구 결과 26 제 1 절 GAN 기반의 데이터 증강 기법의 최적 배율 27 제 2 절 모델 성능 평가 35 제 4 장 고 찰 40 제 5 장 결 론 45 참고문헌 46 Abstract 49석

Trustworthy and Intelligent COVID-19 Diagnostic IoMT through XR and Deep-Learning-Based Clinic Data Access

This article presents a novel extended reality (XR) and deep-learning-based Internet-of-Medical-Things (IoMT) solution for the COVID-19 telemedicine diagnostic, which systematically combines virtual reality/augmented reality (AR) remote surgical plan/rehearse hardware, customized 5G cloud computing and deep learning algorithms to provide real-time COVID-19 treatment scheme clues. Compared to existing perception therapy techniques, our new technique can significantly improve performance and security. The system collected 25 clinic data from the 347 positive and 2270 negative COVID-19 patients in the Red Zone by 5G transmission. After that, a novel auxiliary classifier generative adversarial network-based intelligent prediction algorithm is conducted to train the new COVID-19 prediction model. Furthermore, The Copycat network is employed for the model stealing and attack for the IoMT to improve the security performance. To simplify the user interface and achieve an excellent user experience, we combined the Red Zone's guiding images with the Green Zone's view through the AR navigate clue by using 5G. The XR surgical plan/rehearse framework is designed, including all COVID-19 surgical requisite details that were developed with a real-time response guaranteed. The accuracy, recall, F1-score, and area under the ROC curve (AUC) area of our new IoMT were 0.92, 0.98, 0.95, and 0.98, respectively, which outperforms the existing perception techniques with significantly higher accuracy performance. The model stealing also has excellent performance, with the AUC area of 0.90 in Copycat slightly lower than the original model. This study suggests a new framework in the COVID-19 diagnostic integration and opens the new research about the integration of XR and deep learning for IoMT implementation