메모리 스왑 패턴 분석을 통한 스왑 시스템 최적화

학위논문 (석사) -- 서울대학교 대학원 : 공과대학 컴퓨터공학부, 2021. 2. 염헌영.The use of memory is one of the key parts of modern computer architecture (Von Neumann architecture) but when considering limited memory, it could be the most lethal part at the same time. Advances in hardware and software are making rapid strides in areas such as Big Data, HPC and machine learning and facing new turning points, while the use of memory increases along with those advances. In the server environment, various programs share resources which leads to a shortage of resources. Memory is one of those resources and needs to be managed. When the system is out of memory, the operating system evicts some of the pages out to storage and then loads the requested pages in memory. Given that the storage performance is slower than the memory, swap-induced delay is one of the critical issues in the overall performance degradation. Therefore, we designed and implemented a swpTracer to provide visualization to trace the swap in/out movement. To check the generality of the tool, we used mlock to optimize 429.mcf of Spec CPU 2006 based on the hint from swpTracer. The optimized program executes 2 to 3 times faster than the original program in a memory scarce environment. The scope of the performance improvement with previous system calls decreases when the memory limit increases. To sustain the improvement, we build a swap- prefetch to read ahead the swapped-out pages. The optimized application with swpTracer and swap-prefetch consistently exceeds the performance of the original code by 1.5x.메모리의 사용은 현대 컴퓨터 아키텍처(폰 노이만 아키텍쳐)의 핵심 부분 중 하 나이기 때문에, 메모리가 부족한 환경은 성능에 치명적인다. 하드웨어와 소프트웨 어의 발전으로 빅데이터, HPC, 머신러닝과 같은 분야들이 빠른 속도로 발전하여 그에 따라 메모리의 사용량도 증가한다. 따라서, 메모리가 제한된 임베디드 환경 이나, 여러 작업이 동시에 수행되는 서버에서 메모리 부족으로 작업이 중단되는 문제가 발생한다. 시스템이메모리가부족하면운영체제는일부페이지를저장소로내보낸다음 요청된 페이지를 메모리에 로드한다. 스토리지 성능이 메모리보다 느리다는 점에 서 스왑에 의한 지연은 전반적인 성능 저하의 중요한 문제 중 하나이다. 따라서 스왑이 프로그램 수행 시간에 영향을 미치지 않도록 프로그램의 스왑 발생 추이를 분석하여 스왑 발생을 줄일 수 있도록 힌트를 주는 도구인 swpTracer를 설계, 실 행했다. mlock을 사용하여 Spec CPU 2006 벤치마크 중 429.mcf에 적용했을 때 기존 프로그램 대비 2, 3 배 성능이 빨라졌다. 기존의 시스템 콜을 사용하여 최적화했을 때 메모리가 살짝 부족한 경우에는 비슷한성능을보여주지만, 메모리가 50% 부족한순간부터성능향상폭이줄었다. 이를 보완하기 위해 스왑 아웃 되었던 페이지를 미리 읽어두는 swap-prefetch를 구현했다. 배열을 3번 횡단하는 프로그램을 대상으로 배열의 크기를 조절하면서 swap-prefetch의 성능을 시험했다. 원본 코드와 시스템 함수인 madvise를 사용 했을 때보다 평균적으로 1.5 좋아졌다. 또, swap-prefetch를 다른 시스템 함수를 사용했을 때와 mlock과 비교했을 때 평균 1.25배 성능이 빨라졌다.Abstract Chapter 1 Introduction 1 Chapter 2 Background 4 2.1 Page Reclamation Policy . . . . . . . . . . . . . . . . . . . . . . . 4 2.2 Linux Swap Management . . . . . . . . . . . . . . . . . . . . . . 6 2.3 Linux System Calls . . . . . . . . . . . . . . . . . . . . . . . . . . 6 Chapter 3 Design and Implementation 8 3.1 Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 3.2 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 3.2.1 Kernel Level . . . . . . . . . . . . . . . . . . . . . . . . . 8 3.2.2 Application Level . . . . . . . . . . . . . . . . . . . . . . . 10 Chapter 4 Evaluation 15 4.1 Experimental Setting . . . . . . . . . . . . . . . . . . . . . . . . . 15 4.2 Experiment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 4.2.1 Generality of swpTracer . . . . . . . . . . . . . . . . . . . 16 4.2.2 Memory Optimization Method Comparison . . . . . . . . 17 Chapter 5 Related Work 20 Chapter 6 Conclusion 22 Bibliography 초록 28Maste

Image-based malware classification: A space filling curve approach

Anti-virus (AV) software is effective at distinguishing between benign and malicious programs yet lack the ability to effectively classify malware into their respective family classes. AV vendors receive considerably large volumes of malicious programs daily and so classification is crucial to quickly identify variants of existing malware that would otherwise have to be manually examined. This paper proposes a novel method of visualizing and classifying malware using Space-Filling Curves (SFC\u27s) in order to improve the limitations of AV tools. The classification models produced were evaluated on previously unseen samples and showed promising results, with precision, recall and accuracy scores of 82%, 80% and 83% respectively. Furthermore, a comparative assessment with previous research and current AV technologies revealed that the method presented her was robust, outperforming most commercial and open-source AV scanner software programs

Binary visualisation for malware detection

It is becoming increasingly harder to protect devices against security threats; as malware is steadily evolving defence mechanisms are struggling to persevere. This study introduces a concept intended at supporting security systems using Self-Organizing Incremental Neural Network (SOINN) and binary visualization. The system converts a file to its visual representation and sends the data for classification to SOINN. Tests were done to evaluate its performance and obtain an accuracy rate, which rounds the 80% figures at the moment, and false positive and negative rates. Bytes prevalence were also analysed with malware samples having a higher amount of null bytes compared with software samples, which may be a result of hiding malicious data or functionality. The patterns created by the samples were examined; malware samples had more clustering and created different patterns across the images whereas software samples presented mostly static and constant images although exceptions were noted in both categories

VMIFF - Visualization metrics for the identification of file fragments

Visualization of complex data, such as a file system or file, allows a forensic analyst or reverse engineer to rapidly locate areas of interest amidst a large quantity of data. While visualization provides a promising form of analysis, is the subject of much skepticism, as human interaction is required in order for this method to be successful. As a result of this, visualization methods face two major obstacles: tediousness and time. As our contribution, we propose a unique method of graphing visual information into a measurable format suitable for use with machine learning algorithms. This method will still utilize the visual layout of the data but streamline this form into one that can be rapidly processed by a machine. In this work we examine existing methods of file fragment analysis, determine how to apply visualization to this analysis, and transform this visual data into a measurable format for machine leaning algorithms using our tool called VMIFF (Visualization Metrics for the Identification of File Fragments). In its breadth, this work aims to demonstrate that such transformations will still yield meaningful results

Técnicas e ferramentas de análise visual de malwares

Trabalho de conclusão de curso (graduação)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, Curso de Engenharia de Redes de Comunicação, 2016.Devido ao crescimento de ameaças de códigos e programas maliciosos, o monitoramento de redes, computadores e dispositivos móveis está se tornando cada vez mais importante. Pesquisadores podem precisar utilizar uma análise manual estática ou dinâmica para estudar novas amostras. Quanto maior o for o tempo utilizado para analisar um malware, maior será o dano causado. Este crescimento de ameaças fez com que surgissem ferramentas cujo propósito é analisar tais malwares. Estas ferramentas têm como objetivo auxiliar os analistas para rapidamente detectarem e classificar uma nova amostra de malware. A visualização dos dados e o uso de métodos de análise visual durante a exploração de dados são abordagens que podem auxiliar a análise de novos programas maliciosos. Existem diferentes métodos de visualização disponíveis que fornecem interação para a exploração de dados. Este trabalho apresentará uma visão geral das técnicas de visualização e ferramentas existentes para análise de malware a partir da análise visual. Após obter os resultados experimentais será verificada a capacidade das ferramentas em destacar os pontos relevantes nas imagens e a aceitabilidade de personalização das imagens criadas. Com base em todos os resultados esperasse comprovar a eficácia dos métodos de análise visual para auxiliar e complementar as técnicas atuais.Due to the growth of threats and malicious programs, monitoring of networks, computers and mobile devices is becoming increasingly important. Researchers may need to use a static or dynamic manual analysis to study new samples. The longer the time consumed to analyze malware, the greater the damage caused. This growth of threats made to appear tools whose purpose is to analyze such malware. These tools are intended to assist the analysts to quickly detect and classify a new malware sample. The visualization of data and the use of visual methods of analysis for the exploration of data are approaches that can assist the analysis of new malicious programs. There are different preview methods available that provide interaction for data exploration. This paper will present an overview of visualization techniques and existing tools for malware analysis from the view of visual analysis. After obtaining the experimental results will be verified the ability of tools to highlight relevant points in the images and the acceptability of customization of images created. Based on all the results expected prove the effectiveness of the methods of visual analysis to assist and complement the current techniques

Image‐based malware classification using VGG19 network and spatial convolutional attention

In recent years the amount of malware spreading through the internet and infecting computers and other communication devices has tremendously increased. To date, countless techniques and methodologies have been proposed to detect and neutralize these malicious agents. However, as new and automated malware generation techniques emerge, a lot of malware continues to be produced, which can bypass some state‐of‐the‐art malware detection methods. Therefore, there is a need for the classification and detection of these adversarial agents that can compromise the security of people, organizations, and countless other forms of digital assets. In this paper, we propose a spatial attention and convolutional neural network (SACNN) based on deep learning framework for image‐based classification of 25 well‐known malware families with and without class balancing. Performance was evaluated on the Malimg benchmark dataset using precision, recall, specificity, precision, and F1 score on which our proposed model with class balancing reached 97.42%, 97.95%, 97.33%, 97.11%, and 97.32%. We also conducted experiments on SACNN with class balancing on benign class, also produced above 97%. The results indicate that our proposed model can be used for image‐based malware detection with high performance, despite being simpler as compared to other available solutions

Técnicas de detecção e classificação de malwares baseada na visualização de binários

Trabalho de Conclusão de Curso (graduação)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2018.O presente trabalho discorre sobre o cenário atual da segurança da informação, as amea- ças constantes por parte dos malwares e as possibilidades inovadoras que permitam facilitar e agilizar a análise destes códigos maliciosos. A cada dia, milhares de novos tipos de malwa- res inundam a internet. Estes novos programas mal-intencionados não são de imediato reco- nhecidos por programas antivírus, pois essas ameaças precisam ser analisadas e então suas assinaturas são submetidas aos bancos de dados das companhias Antivírus. Por isso, aqui são apresentadas técnicas que auxiliam a identificação e classificação dessas ameaças com base em representações visuais de seus arquivos binários, permitindo lidar de forma mais ágil e eficiente com esse constante e incessante fluxo de novas ameaças. São apresentados algoritmos para a comparação de imagens e de hashing perceptivo, os quais serão aplicados às assinaturas visuais dos malwares. Em seguida, os mesmos serão comparados quanto à eficácia na classificação e deteção de malwares. Os resultados obtidos, estão dispostos no capítulo 4. Os métodos propostos alcançaram 94,2% de precisão na classificação em tipo de ameaça para um banco de dados de 2.134 amostras, 87,6% de acerto na detecção de 41 malwares que não foram detectados pelo antivírus escolhido como padrão para o trabalho e 100% de acerto para arquivos benignos. Ajustando-se os algoritmos aplicados, foi possível obter 100% na detecção destes 41 malwares com 81,5% de acerto em relação aos arquivos limpos.This paper discusses the current scenario of information security, malware threats and innovative possibilities for speeding up the analysis of these malicious codes. Every day, thousands of new types of malware flood on the internet. These new malicious codes are not immediately recognized by antivirus programs. Those malicious samples have to be analyzed, detected as harmful and then, submitted to the databases of antivirus companies. Therefore, some techniques are hereby presented aiming to assist the identification of malwa- res through their visual signature representation, allowing a different approach when dealing with this constant and never ceasing stream of new threats. Algorithms are presented for images and perceptual hashes comparison, which will be applied to the visual signatures of the malware that were obtained after applying data visualization techniques on the binaries of malicious programs. At the end, the effectiveness of the proposed algorithms is going to be evaluated, measuring how effective are malware classifications and detections with proposed methods. Results are shown in chapter 4. It’s been achieved a 94,2% correct classification on malwares types using 2.134 samples and 87,6% detection rate on 41 malicious codes that weren’t detected by the default antivirus program chosen while not detecting 100% of clean Windows files. Adjusting the algorithms, it was possible to achieve a 100% detection rate for those 41 samples with 81,5% of success on the clean files

Avaliação de técnicas de análise de texturas para classificação de famílias de malware

Orientador: André Ricardo Abed GrégioDissertação (mestrado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa : Curitiba, 21/12/2018Inclui referências: p. 58-64Resumo: A quantidade de variantes de arquivos maliciosos lançadas diariamente já fez com que a análise manual de malware se tornasse inviável há algum tempo. Para isso, foram propostos diversos tipos de análise automatizadas, entre eles a análise estática e a dinâmica, os mais utilizados atualmente. Porém, desenvolvedores de malware já conseguiram identificar as falhas de cada um deles e conseguem criar novos arquivos maliciosos que não são nem mesmo detectados pelos antivírus atuais. Para resolver esse problema, pesquisadores têm proposto outros tipos de análise e investido em métodos de classificação mais rápidos e precisos. Neste trabalho de pesquisa, é feito um levantamento bibliográfico sobre o assunto e optou-se por avaliar a classificação utilizando a análise de texturas. Foram selecionadas diversas técnicas para classificação de malware usando análise de texturas através de uma revisão sistemática da literatura. Com as técnicas encontradas foram realizados experimentos em um dataset da literatura (Malimg) e reaplicados nas amostras de um dataset local, mais robusto e semelhante ao cenário do mundo real. Em ambos o algoritmo KNN apresenta os melhores resultados de classificação, mostrando-se a alternativa mais viável em direção à solução do problema de agrupamento de variantes de programas maliciosos em suas famílias corretas através da análise de texturas. As técnicas de classificação usando o descritor global GIST obtêm maior taxa de acerto quando comparadas com o descritor local LBP e o uso de uma escala maior das texturas também apresenta melhor resultado. O dataset local atinge resultados bons apenas após uma seleção de dados, apresentando uma discussão sobre o uso de datasets não apropriados pela literatura para construção de classificadores genéricos de malware. Quanto a resiliência às técnicas de ofuscação utilizadas por criadores de malware para descaracterizar um binário, os experimentos ainda apontam como outra falsa teoria sobre a análise de texturas, pois apresenta resultados de classificação bastante ruins mesmo quando utilizadas técnicas bastante simples. A análise de texturas apresenta bons resultados apenas para variantes muito similares, não podendo ser utilizadas num cenário real onde há uma grande variedade de famílias e uso de técnicas bastante sofisticadas de ofuscação. Palavras-chave: Segurança computacional. Malware. Análise de textura. Classificação de malware. Visualização de malware.Abstract: The number of malicious software variants released daily turned manual malware analysis into an impractical task a long time ago. Due to that, automated analysis techniques were proposed, such as static and dynamic code analysis, which are the most used nowadays for the malware problem. However, malware authors already identified the shortcomings of each one of these analysis types so as to create new malicious files that are not even detected by current antiviruses. To solve this problem, researchers have proposed other types of analysis and invested in faster and more accurate classification methods. In this research work, I did a bibliographic survey on the subject, which led to the decision of performing classification using texture analysis. Several techniques were filtered to classify malware using texture analysis through a literature systematic review. Experiments were carried out with these techniques applied in a literature dataset (Malimg) and then reapplied to the samples of our lab's malware dataset, more robust and similar to the real world scenario. In both datasets, KNN algorithm presented the best classification results, showing that it is the most viable approach towards solving the problem of grouping malware variants correctly into their families based on texture analysis. The classification techniques using the global descriptor GIST obtain a higher accuracy rate when compared to the local LBP descriptor and the use of a larger scale of the textures also presents better results. The local dataset achieves good results only after a data selection, presenting a discussion on the use of non-appropriate datasets in the literature for building generic malware classifiers. Related to the resilience to obfuscation techniques used by malware writers to deprive a binary, the experiments also point to another false theory about texture analysis, since it presents very bad results even when using fairly simple techniques. The texture analysis presents good results only for very similar variants, and can not be used in a real world scenario where there is a great variety of families and use of quite sophisticated techniques of obfuscation. Keywords: Computer security. Malware. Texture analysis. Malware classification. Malware visualization