A Multiple Memory Server Management Scheme for Massive Explosive Data Streams

학위논문 (박사)-- 서울대학교 대학원 : 전기·컴퓨터공학부, 2015. 8. 박근수.메모리 가격이 큰 폭으로 하락하면서 대용량 데이터를 디스크에 저장하지 않고 다수의 서버 메모리에 모든 데이터를 저장하고 관리하는 메모리 기반 시스템이 여러 분야에서 활용되고 있다. 메모리 기반 시스템은 데이터의 전송량이나 처리량이 많은 증권사의 실시간 트레이딩 서버, 하둡 기반의 빅데이터 분석 서버 및 엔터프라이즈 서버 등에 적용되어 기존의 하드디스크 기반 분산 시스템 보다 더 우수한 성능을 보여주고 있다. 이러한 메모리 기반 시스템들은 메인 메모리에 저장된 데이터를 효율적으로 관리해야만 서비스의 품질과 시스템의 신뢰성을 높일 수가 있다. 그러나 기존의 메모리 데이터 관리 기법들은 사용자 요청의 특성이 달라지거나 결함이 자주 발생할 경우 시스템의 성능이 크게 떨어지는 문제점이 있다. 본 논문에서는 폭증 대용량 다중 서버 메모리 기반 시스템에서 데이터 관리를 위한 효율적인 해시 기법과 복구 기법을 제안한다. 제안한 해시 기법은 데이터 검색 시에는 이중화된 해시 테이블을 사용하고 데이터 삽입 시에는 연결형 해시 테이블을 사용하여 데이터 검색과 삽입이 모두 상수 시간에 수행되게 한다. 또한 제안한 복구 기법은 데이터 서버 결함 발생 시 다수의 백업 서버에서 동시에 데이터 서버로 백업 데이터를 전송할 수 있도록 하여 사용자의 요청 처리 시간을 줄인다. 본 논문에서는 제안한 해시 기법과 복구 기법의 성능 분석을 위해 시간 복잡도를 확률적으로 분석하여 검색과 삽입이 평균적으로 상수 시간에 수행됨을 확인하고, 사용자 요청에 대한 예상 처리 시간을 모델링 기반의 정형화된 수식으로 유도하여 제안한 기법의 예상 처리 시간이 줄어듬을 보인다. 또한 성능 평가를 위해 제안한 기법을 구현하고 실제 데이터 워크로드를 기반으로 실험하여 기존 다중 서버 메모리 기반 시스템의 관리 기법보다 제안한 기법이 데이터 처리율이 높아지고 복구 시간이 짧아짐을 보인다.제 1 장 서론 1.1 연구 배경 1.2 연구 목적 및 범위 1.3 논문의 구성 제 2 장 관련 연구 2.1 메인 메모리 데이터 관리 2.2 메모리 데이터 관리 모델 2.3 메모리 접근 시간을 줄이는 해시 기법 2.3.1 체인 해시 2.3.2 양방향 해시 2.3.3 쿠쿠 해시 2.3.4 구글 해시 제 3 장 시스템 모델 3.1 시스템 모델 3.2 메인 메모리 데이터 분배 제 4 장 효율적인 해시 기법 4.1 해시 기법 개요 4.2 해시 기법 동작 과정 4.2.1 삽입 4.2.2 검색, 갱신 및 삭제 4.2.3 동적 재배치 4.2.4 동적 재배치의 문제점 제 5 장 시간 복잡도 기반 성능 분석 5.1 해시 테이블 모델 5.2 시간 복잡도 기반 성능 분석 제 6 장 데이터 복구 기법 6.1 데이터 백업 6.2 데이터 복구 6.3 예상 처리 시간 모델 기반 성능 분석 제 7 장 성능 평가 7.1 구현 및 실험 환경 7.2 제안하는 해시 기법 성능 평가 7.3 제안하는 복구 기법 성능 평가 7.4 분산 메모리 시스템 성능 평가 제 8 장 결론 및 향후 연구 방향 8.1 결론 8.2 향후 연구 방향 참고문헌 Abstract 감사의 글Docto