Log Event Management Server Menggunakan Elastic Search Logstash Kibana (ELK Stack)

This study aims to build an Event Management Server Log using ELK Stack (Elastic searchLogstash Kibana) which can make it easier to read and analyze log services on the server. TheEvent Management Server log in this study uses CentOS 7 as the Central Server and CentOS7 as a client-server with ssh services installed. This research consists of five stages. The stagesare analysis, network design, server configuration, client configuration, and testing. Theexperimental results show that all ssh log services that occur on the client-server sent inrealtime to the central server. Even though the contents of the log file on the client-server hasdeleted. In This study, in addition to sending logs, it can also display a percentage of successreferences

Implementasi Elastic Stack Pada Sistem Pendeteksi Tingkat Stres Menggunakan Sensor GSR dan DS18B20 Berbasis Raspberry Pi

Kesehatan tubuh mencakup kesehatan fisik dan mental. Salah satu faktor penentu kesehatan mental adalah stres. Selama ini, telah tersedia alat pendeteksi stres dengan memanfaatkan indikator fisiologis akibat reaksi yang muncul dari symphatetic nervous system, namun alat cenderung mahal dan masih bekerja secara terpisah. Dalam penelitian ini, dibuat dua buah prototipe pendeteksi tingkat stres menggunakan Galvanic Skin Response, DS18B20, dan Raspberry Pi. Skenario sistem dirancang untuk dua orang pasien dari dua rumah sakit berbeda yang ditangani oleh satu orang tenaga medis. Untuk memastikan reliabilitas jaringan dalam transmisi data, mempertimbangkan pengolahan database dan visualisasi pengguna, implementasi Elastic Stack dilakukan pada sistem. Data dikirimkan dari Raspberry Pi sebagai client menggunakan Beat dan ditampung ke dalam Logstash sebelum dimasukkan ke dalam database (Elasticsearch). Hasil pengolahan data divisualisasikan menggunakan Kibana dashboard. Dalam penelitian, kalibrasi sensor GSR menunjukkan percentage difference sebesar 0,79% dan sensor DS18B20 sebesar 0,095%. Rata-rata delay dalam proses transmisi data berlangsung sekitar 3-4 detik. Hal ini terjadi karena Filebeat akan menyesuaikan kecepatan pengiriman data agar tidak membebani server. Mekanisme harvester dan prospector pada Filebeat juga memastikan semua data terkirim dan tersimpan dalam registry file, sehingga sistem akan melakukan pengiriman kembali sekalipun server down. Secara kesuluruhan, hasil pengujian QoS menggunakan standar TIPHON menunjukkan bahwa transmisi data dari Beat menuju Logstash berkategori memuaska

DESAIN PLATFORM MONITORING DAN OBSERVABILITY UNTUK MICROSERVICE BERBASIS ELASTIC STACK

Sistem monitoring dan observability untuk microservice menggunakan Elastic Stack ini merupakan implementasi dashboard dan pelaporan yang bertujuan untuk menghadirkan sistem yang tersentralisasi bagi tim bizops dan tim teknis di Logee Trans untuk memudahkan proses pendeteksian, diagnosis, dan penyelesaian masalah pada sistem yang sedang beroperasi. Sistem ini dibangun menggunakan Elastic Stack yang terdiri atas Elasticsearch, Kibana, dan Logstash. Metode penelitian yang digunakan adalah pendekatan Software Development Life Cycle (SDLC) dan telah berhasil menghasilkan produk berupa dasbor yang dapat memberikan rangkuman aktivitas sistem dan performanya. Setelah dilakukan dua sesi pengukuran untuk mengidentifikasi masalah performa, penggunaan dasbor ini dapat membantu developers untuk meningkatkan performa sistem sebesar 30%.  

Pelacakan Lokasi Pasien berbasis Internet of Things untuk Sistem Pendukung Layanan Kesehatan Ibu dan Anak

Aplikasi berbasis Internet of Things (IoT) di bidang kesehatan memberikan kemudahan dalam melakukan pemantauan terhadap kondisi pasien. Sejumlah perangkat sensor dapat mengukur dan mengirimkan data kondisi pasien beserta lokasinya. Dari data tersebut dokter maupun paramedis kemudian dapat melakukan analisis dalam waktu nyata dari jarak jauh sehingga kondisi pasien dapat selalu terpantau dan pendeteksian dini terhadap kondisi darurat dapat dilakukan. Rekomendasi tindakan terkait kondisi dan lokasi pasien dapat diberikan dengan lebih tepat. Begitu pula dalam kasus pelayanan kesehatan ibu dan anak, adanya informasi lokasi akan memudahkan tidak hanya dokter maupun paramedis dalam penentuan tindakan tapi juga membantu pasien dalam melakukan tindakan secara mandiri jika diperlukan. Dengan demikian pengolahan dan penyajian data lokasi pasien yang baik dalam pelayanan kesehatan ibu dan anak sangat dibutuhkan. Aplikasi Elasticsearch, Logstash, dan Kibana (ELK) merupakan sebuah teknologi yang memiliki performa yang sangat baik dalam mengumpulkan data log dan data lainnya yang berasal dari berbagai sumber secara kontinyu dalam jumlah yang sangat besar dan menampilkannya dalam bentuk grafik dan peta. Penelitian ini bertujuan untuk mengembangkan sebuah sistem yang dapat menampilkan hasil pencatatan kondisi dan lokasi dari sejumlah pasien dalam waktu yang nyata menggunakan aplikasi ELK untuk kebutuhan pelayanan kesehatan ibu dan anak

Elasticsearch-based data management proof of concept for continuous integration

Abstract. The rise of big data has brought challenges in data management, especially regarding storage, visualization and analytics. Traditional data processing applications and databases cannot handle the massive amount of data that is generated by today’s companies. The challenges have been met by developing tools that can store and process big data effciently and scale accordingly. One of these tools is a distributed search and analytics engine called Elasticsearch. Elasticsearch offers a distributed and scalable data management solution to store, search and analyse data in near real-time and it is the core component of this thesis. This thesis was done in a Finnish technology company that wanted to discover what Elasticsearch is capable of as a data management tool. Elasticsearch is being considered as a free and open-source alternative for their current expensive closed-source data management platform in order to reduce costs. A PoC (proof of concept) was built to demonstrate the use of Elasticsearch and its data visualization tool, Kibana. To build the PoC, Elasticsearch and other tools in the Elastic Stack were studied to see how they work. An implementation was built based on the requirements set by the company. In short, the implementation should be able to automatically ship data from a CI/CD (continuous integration/continuous delivery) pipeline into Elasticsearch, after which the data is visualized in Kibana. When the fnished implementation satisfed the requirements, it was optimized and presented to a CI-related team in the company along with two sets of questions. The survey answers deemed Elasticsearch and Kibana useful and powerful. The respondents showed interest in utilizing Kibana dashboards in the future. The implementation did leave room for further improvement, such as clustering, which in this thesis could not be tested due to unavailable hardware.Elasticsearch-pohjainen tiedonhallinnan soveltuvuusselvitys jatkuvalle integraatiolle. Tiivistelmä. Big datan nousu on tuonut mukanaan haasteita tiedonhallintaan, erityisesti tiedon varastoimiseen, visualisointiin sekä analytiikkaan. Perinteiset tiedon prosessointiohjelmat ja tietokannat eivät pysty käsittelemään nykypäivän yritysten generoimaa massiivista tiedon määrää. Näihin haasteisiin on vastattu kehittämällä työkaluja, jotka pystyvät varastoimaan ja prosessoimaan big dataa tehokkaasti ja skaalautuvat asianmukaisesti. Yksi näistä työkaluista on hajautettu haku- ja analytiikkamoottori nimeltä Elasticsearch. Se tarjoaa hajautetun ja skaalautuvan ratkaisun tiedon varastointiin, hakuun ja analysointiin lähes reaaliajassa ja on tämän diplomityön ydinkomponentti. Tämä diplomityö tehtiin suomalaisessa teknologiayrityksessä, joka halusi selvittää, mihin Elasticsearch kykenee tiedonhallintatyökaluna. Elasticsearchia harkitaan ilmaisena ja avoimen lähdekoodin korvikkeena heidän nykyiselle kalliille suljetun lähdekoodin tiedonhallinta-alustalle. Elasticsearchin ja sen tiedon visualisointityökalun, Kibanan, käytön havainnollistamista varten tehtiin soveltuvuusselvitys. Selvitystä varten Elasticsearchia ja muita Elastic Stackiin kuuluvia työkaluja tutkittiin niiden toimivuuden selvittämiseksi. Toteutus tehtiin yrityksen asettamien vaatimusten pohjalta. Lyhyesti sanottuna toteutuksen tuli pystyä automaattisesti lähettämään tietoa jatkuvan integraation/jatkuvan käyttöönoton putkistosta Elasticsearchiin, jonka jälkeen tieto täytyi visualisoida Kibanalla. Kun valmis toteutus täytti vaatimutkset, se optimoitiin ja esiteltiin tiimille, joka työskentelee jatkuvan integraation parissa. Tiimille annettiin kaksi joukkoa kysymyksiä vastattaviksi. Kysymysten vastausten perusteella tiimi totesi Elasticsearchin hyödylliseksi ja tehokkaaksi ja osoitti kiinnostusta Kibanan kojelautojen hyödyntämiseen tulevaisuudessa. Toteutus jätti parantamisen varaa esimerkiksi klusteroinnin osalta, koska sitä ei pystytty testaamaan puuttuvan laitteiston vuoksi

Optimizing Performance and Resource Consumption of Cloud-Native Logging Application Stacks

Nowadays cloud-based applications and Internet of Things use-cases are becoming more and more common in the field of IT benefiting from the virtually limitless resources and microservice-based deployment options available in the cloud. Observability in such environments is key for tracing application execution to detect possible malfunctions and anomalies. Collecting logs can greatly help in this regard, however, a high volume of logging data can add huge costs for the maintenance of the infrastructure gathering monitoring data. In order to increase the profitability of the application, monitoring-related infrastructure needs to have the lowest cost possible while still being able to fully serve the application’s monitoring needs. In this work, we investigate this aspect and provide an evaluation of the resource footprint of one of the most prominent log collection services, Elastic Stack, from the perspective of its write path

DESAIN DAN IMPLEMENTASI LOG EVENT MANAGEMENT SERVER MENGGUNAKAN ELASTICSEARCH LOGSTASH KIBANA (ELK STACK)

Penggunaan server yang harus berjalan selama 24 jam dan services yang berjalan pada server tersebut pasti menghasilkan sebuah log yang cukup banyak. Hal ini mengharuskan seorang sistem administrator dalam pengecekannya masih harus berinteraksi langsung dengan server tersebut. Dalam penelitian ini bermaksud untuk melakukan suatu perancangan untuk membangun Log Event Management Server menggunakan ELK Stack (Elasticsearch Logstash Kibana) yang dapat memudahkan dalam membaca sekaligus menganalis log services pada server. Implementasi Log Event Management Server dalam penelitian kali ini menggunakan CentOS 7 Server, dan Ubuntu 14.04 sebagai server client dengan SSH services yang terpasang. Dari hasil pengujian ELK Stack sebagai Log Event Management yang telah dibangun dengan tingkat keberhasilan 100% menunjukan bahwa semua log services SSH yang terjadi pada server client dapat dikirimkan secara realtime ke server utama ELK Stack sekalipun isi file log pada server client tersebut dihapus

MakeSense: An IoT Testbed for Social Research of Indoor Activities

There has been increasing interest in deploying IoT devices to study human behaviour in locations such as homes and offices. Such devices can be deployed in a laboratory or `in the wild' in natural environments. The latter allows one to collect behavioural data that is not contaminated by the artificiality of a laboratory experiment. Using IoT devices in ordinary environments also brings the benefits of reduced cost, as compared with lab experiments, and less disturbance to the participants' daily routines which in turn helps with recruiting them into the research. However, in this case, it is essential to have an IoT infrastructure that can be easily and swiftly installed and from which real-time data can be securely and straightforwardly collected. In this paper, we present MakeSense, an IoT testbed that enables real-world experimentation for large scale social research on indoor activities through real-time monitoring and/or situation-aware applications. The testbed features quick setup, flexibility in deployment, the integration of a range of IoT devices, resilience, and scalability. We also present two case studies to demonstrate the use of the testbed, one in homes and one in offices.Comment: 20 pages, 11 figure