STORAGE SYSTEM AND STORING METHOD OF RELATIONAL DATABASE FOR HIGH QUERY PERFORMANCE WITH LOW DATA REDUNDANCY AND PROCESSING METHOD OF QUERY BASED ON STORING METHOD OF RELATIONAL DATABASE

일 실시예에 따른 관계형 데이터베이스 저장 방법은 데이터베이스 테이블들 간의 참조 및 제약 조건에 대한 정보를 포함하는 데이터베이스 스키마 및 조인 술어 정보를 포함하는 쿼리 집합를 기초로, 테이블들 및 엣지들을 포함하는 조인 그래프를 생성하고, 조인 그래프에 포함된 테이블들 간의 조인 연산의 비용에 기초하여 테이블들의 타입을 구분하고, 엣지에 의해 서로 연결되는 상기 테이블들의 타입에 기초하여, 조인 그래프 내의 엣지들의 타입을 구분하고, 조인 그래프 내에서 간접 엣지 조건을 만족하는 두 테이블 사이에 가상의 엣지를 추가하며, 가상의 엣지를 포함하는 엣지들의 타입에 기초하여, 조인 그래프에 대한 데이터베이스 분할 계획을 생성한다

METHOD AND APPARATUS FOR PROCESSING LARGE-SCALE DISTRIBUTED MATRIX PRODUCT

본 발명의 행렬 곱 연산 장치는 제1 입력 행렬 및 제2 입력 행렬을 저장하는 보조 기억 장치, 상기 제1 입력 행렬, 상기 제2 입력 행렬, CPU 메모리 크기 및 GPU 메모리 크기를 기초로 복수의 큐보이드 후보군 및 복수의 하위 큐보이드 후보군을 생성하는 큐보이드 후보군 결정 모듈, 상기 복수의 큐보이드 후보군 중 상기 CPU 메모리 크기를 기초로 상기 복수의 큐보이드의 크기를 결정하고, 상기 복수의 하위 큐보이드 후보군 중 상기 GPU 메모리 크기를 기초로 상기 복수의 하위 큐보이드의 크기를 결정하는 큐보이드 크기 결정 모듈, 상기 큐보이드 크기 결정 모듈에서 결정한 복수의 큐보이드의 크기를 기초로 상기 제1 입력 행렬 및 상기 제2 입력 행렬을 상기 복수의 큐보이드로 분할하는 행렬 분할 모듈, 상기 큐보이드 크기 결정 모듈에서 결정한 복수의 하위 큐보이드의 크기를 기초로 획득된 상기 복수의 하위 큐보이드에 대한 행렬 곱 연산을 수행하는 행렬 곱 계산 모듈 및 상기 행렬 곱 계산 모듈에서 획득한 상기 복수의 하위 큐보이드에 대한 행렬 곱 연산을 누적하는 행렬 블록 누적 모듈을 포함할 수 있다

DistME: A Fast and Elastic Distributed Matrix Computation Engine using GPUs

Matrix computation, in particular, matrix multiplication is time-consuming, but essentially and widely used in a large number of applications in science and industry. The existing distributed matrix multiplication methods only focus on either low communication cost (i.e., high performance) with the risk of out of memory or large-scale processing with high communication overhead. We propose a distributed elastic matrix multiplication method called CuboidMM that achieves both high performance and large-scale processing. We also propose a GPU acceleration method that can be combined with CuboidMM. CuboidMM partitions matrices into cuboids for optimizing the network communication cost with considering memory usage per task, and the GPU acceleration method partitions a cuboid into subcuboids for optimizing the PCI-E communication cost with considering GPU memory usage. We implement a fast and elastic matrix computation engine called DistME by integrating CuboidMM with GPU acceleration on top of Apache Spark. Through extensive experiments, we have demonstrated that CuboidMM and DistME significantly outperform the state-of-the-art methods and systems, respectively, in terms of both performance and data size