Design and Implementation of A High Performance Storage Leveraging the DRAM Host Interface

학위논문 (박사)-- 서울대학교 대학원 : 전기·컴퓨터공학부, 2016. 8. 민상렬.스토리지는 중앙처리장치, 메인 메모리 등과 함께 컴퓨터 시스템의 성능을 결정하는 주요 요소이다. 컴퓨터 시스템이 처리해야 할 데이터의 양이 지속적으로 증가함에 따라 이를 효과적으로 처리할 수 있는 고성능 컴퓨터 시스템이 요구되고 있다. 이러한 고성능 컴퓨터 시스템을 구성하기 위해서는 고성능 스토리지가 필수적인데, NAND 플래시 메모리를 저장 매체로 사용함에 따라 스토리지의 성능은 비약적으로 발전하면서 고성능 스토리지에 대한 요구를 충족시킬 수 있었다. 스토리지는 스토리지 인터페이스를 통해 호스트 시스템과 연결된다. 스토리지 인터페이스는 호스트 시스템이 스토리지의 성능을 최대로 활용할 수 있도록 스토리지와 함께 발전해왔다. 향후에도 스토리지의 성능 향상에 따라 스토리지 인터페이스 또한 계속해서 변경되고 발전될 것이다. 특히 NAND 플래시 메모리의 급격한 발전과 PRAM, ReRAM 등의 고성능 차세대 메모리의 등장은 스토리지 인터페이스의 발전을 더욱 가속화 할 것으로 예상된다. 한편 컴퓨터 시스템에는 주로 메인 메모리로 사용되는 DRAM을 위한 인터페이스도 존재한다. 메인 메모리의 대역폭과 레이턴시는 전체 컴퓨터 시스템의 성능에 직접적인 영향을 미치므로, DRAM 인터페이스는 스토리지 인터페이스를 포함한 다른 인터페이스에 비해 항상 고성능의 대역폭과 레이턴시를 제공해왔다. 이러한 고성능 DRAM 인터페이스를 스토리지 인터페이스로 활용할 수 있다면 기존의 스토리지 인터페이스에 비해 고속의 인터페이스를 확보할 수 있으며 별도의 스토리지 인터페이스를 개발할 필요가 없다. 그러나 스토리지 인터페이스와 DRAM 인터페이스는 사용하는 매체의 특성에 따라서 상호호환성 없이 발전해왔기 때문에 현재의 스토리지를 그대로 DRAM 인터페이스에 연결하여 사용하는 것은 불가능하다. 이 논문에서는 고속의 DRAM 인터페이스를 스토리지 인터페이스의 물리 계층으로 활용하는 스토리지 아키텍쳐를 설계, 구현, 평가함으로써 제안된 아키텍쳐의 타당성을 증명한다. 제안된 스토리지 아키텍쳐는 기존의 DRAM 인터페이스를 스토리지 인터페이스의 물리 계층으로 활용하기 위해서 DRAM과 동일한 동작 특성을 갖는 작은 크기의 공유 메모리 버퍼를 사용한다. 이 공유 메모리 버퍼는 스토리지에 의해 제공되며 호스트 시스템의 메모리 주소 공간에 매핑된다. DRAM 프로토콜 자체로는 제안된 스토리지 장치를 동작시킬 수 없기 때문에 제안된 스토리지 인터페이스를 기반으로 동작하는 소프트웨어 수준의 신규 스토리지 프로토콜을 정의한다. 제안된 프로토콜을 기반으로 DRAM (LPDDR3) 호스트 인터페이스를 사용하는 스토리지, 호스트 시스템을 설계하고 구현한다. 최종적으로 제안한 스토리지와 호스트 시스템을 결합하여 완전한 Android 시스템을 구성함으로써 본 연구의 타당성을 검증한다. 먼저 구현된 스토리지에 대한 정량적 평가를 통해 신규 스토리지 프로토콜이 매우 낮은 오버헤드를 갖고 있으며 제안된 스토리지가 최신의 UFS 2.0 스토리지와 비교될만한 성능을 확보했음을 보인다. 또한 제안된 스토리지에 대한 정성적 평가를 통해 해당 스토리지를 효과적으로 활용하기 위해 필요한 개선점에 대해 살펴본다Storage is a key factor that determines the overall performance of a computer system. In the era of big data, the demand for high performance computer systems has been ever increasing. High performance storage is also needed in order to construct a high performance computer system. The performance of a storage has increased dramatically with the adoption of NAND fash memory. A storage is connected with a host system via a storage interface. The storage interface has evolved in order to fully exploit the performance of a storage. Its performance will evolve as storage advances. However, we already have faster interface in current computer system: the DRAM interface. It provides up to 25.6 GB/s in case of latest DDR4 specifcation. Since the protocols for storage and DRAM are not compatible, we cannot exploit the DRAM interface as a storage interface as is. In this work, a new storage protocol is proposed in order to turn the DRAM interface to a storage interface. It runs on top of the DRAM interface. This protocol builds on a small host interface buffer structure mapped to the host systems memory space. Given the protocol, a design of storage controller and frmware is proposed. The storage controller natively supports the DRAM (LPDDR3) interface. Also a new host platform including both hardware and software is proposed for the proposed storage since the storage cannot be connected with conventional computer systems. Finally the feasibility of this work is proved by constructing a full Android system running on the developed storage and platform. Evaluation result shows that the proposed storage architecture has very low protocol handling overheads and compares favorably to a latest commercial UFS 2.0 storage.I. 서론 1 1.1 연구 동기 1 1.2 연구 내용 4 1.3 논문의 구성 7 II. 배경 지식 및 관련 연구 10 2.1 스토리지 인터페이스 10 2.1.1 데스크탑/서버 스토리지 인터페이스 11 2.1.2 모바일 스토리지 인터페이스 16 2.2 DRAM 19 2.2.1 DRAM 구조와 특성 20 2.2.2 DRAM 오퍼레이션 21 2.2.3 DRAM DIMM 21 2.3 NAND 플래시 메모리 24 2.3.1 NAND 플래시 메모리의 구조 24 2.3.2 NAND 플래시 메모리 오퍼레이션과 인터페이스 26 2.3.3 플래시 변환 계층 30 2.3.4 플래시 파일 시스템 35 2.4 NVDIMM 장치 37 2.4.1 NVDIMM-N 38 2.4.2 NVDIMM-F 41 2.4.3 NVDIMM-P 47 2.4.4 Intel DIMM 47 2.5 NVDIMM 소프트웨어 48 2.5.1 BIOS 49 2.5.2 Linux 지원 51 2.5.3 Microsoft Windows 지원 52 2.5.4 NVM Programming Model 52 III. 스토리지 인터페이스 설계 56 3.1 물리 계층 56 3.2 스토리지 프로토콜 57 3.3 고려사항 60 3.3.1 명령 실행 완료 전달 60 3.3.2 명령 제출시 무결성 보장 62 3.3.3 데이터 전송 부하 분배 63 IV. 스토리지 설계 65 4.1 컨트롤러 65 4.1.1 호스트 인터페이스 블록 66 4.1.2 백본 (backbone) 블록 68 4.1.3 플래시 메모리 인터페이스 블록 69 4.2 펌웨어 (Firmware) 70 4.2.1 호스트 인터페이스 계층 (Host Interface Layer) 70 4.2.2 플래시 변환 계층 (Flash Translation Layer) 72 4.2.3 플래시 인터페이스 계층 (Flash Interface Layer) 73 V. 호스트 시스템 설계 75 5.1 호스트 시스템 플랫폼 하드웨어 75 5.2 부트 로더 (boot loader) 76 5.3 디바이스 드라이버 77 5.4 소프트웨어 최적화 80 5.4.1 DMA를 이용한 데이터 전송 80 5.4.2 I/O 분할 처리 81 5.4.3 캐시 무효화 비용 최소화 83 5.4.4 데이터 버퍼의 외부 단편화 최소화 83 5.4.5 Linux I/O 스케쥴러 미사용 84 VI. 평가 86 6.1 평가 환경 86 6.2 정량적 평가 88 6.2.1 프로토콜 오버헤드 88 6.2.2 스토리지 인터페이스 버퍼 크기와 최대 전송속도 91 6.2.3 읽기/쓰기 성능 94 6.2.4 성능 비교 95 6.3 정성적 평가 98 6.3.1 DRAM 버스 대역폭 사용량 증가 98 6.3.2 유연한 DRAM 주소 매핑 98 6.3.3 DRAM 인터페이스와의 물리적 접속 101 6.3.4 메모리 트랜잭션 순서 보장 103 6.3.5 부팅 지원 104 6.3.6 고성능 범용 DMA 지원 107 VII. 결론 및 향후 연구 108 7.1 결론 108 7.2 향후 연구 108 참고 문헌 111 Abstract 117Docto