Enhancing graphics quality and optimizing power consumption considering the human visual system in mobile devices

학위논문 (박사)-- 서울대학교 대학원 : 전기·컴퓨터공학부, 2016. 2. 신현식.최근까지 GPU의 하드웨어가 눈에 띄게 발전하고 있지만, 아직도 60fps를 만족하면서 높은 품질의 그래픽 요구사항을 만족하기 어렵다. 또한 최근 높은 해상도의 요구사항은 전력 소모와 온도 문제 관점에서도 매우 어려운 문제이다. GPU의 전력 소모는 GPU의 연산량과 정비례하기 때문에, 사람의 인지 능력 관점에서 이득이 없음에도 불구하고, 고정된 높은 해상도와 높은 프레임 속도로 인한 GPU 높은 연산량은 의미가 없다. 본 논문에서는 사람의 인지 능력을 고려한 GPU 연산량을 줄이는 새로운 방법들을 제안한다. 사람의 인지 능력을 고려한 GPU 연산량을 줄이는 시작 단계로, 전력 소모의 주요 요인들을 상용화된 LG G3 모바일 기기로 분석한다. 이 과정을 통해 모바일 GPU의 전력 소모의 3 가지 주요 요인인 해상도, 프레임 속도 그리고 데이터 중복성에 대해 분석한다. 이러한 주요 요인들을 기반으로 사람의 인지 능력을 고려한 새로운 렌더링 기법들을 통해 연산량을 효과적으로 절감하는 기법들을 제안한다. 첫째로 해상도 관점에서 GPU에서의 해상도 변경 기반 연산량 감소 기법들에 대해 제안한다. 최근의 연구들은 사람의 인지능력과 콘텐츠의 특성을 반영하지 못하여, 그래픽 결점이 지속적으로 관찰된다. 기존 연구들과는 다르게, 제안하는 동적 렌더링 화질 개선 스케일링 (Dynamic Rendering Quality Scaling: DRQS)은 최소한의 추가비용으로 변환 행렬을 활용한 프레임 간 변화량을 이용하여 해상도 조절 및 품질 개선 스케일링을 통해 성능을 최대 38%까지 개선한다. 또한 저 사양 그래픽스 응용프로그램의 경우에서는 사람의 인지 능력관점에서 그래픽 품질의 감소 없이 GPU의 연산량을 24%까지 줄인다. 둘째로 프레임 보간 기법을 활용한 그래픽 품질 향상 기법들에 대해서 제안한다. 최근의 프레임 보간 방식은 모션 보상 기반의 알고리즘 기반으로 중간프레임을 생성하기 때문에 요구되는 높은 비용은 모바일에서 적용할 수 없다. 이러한 문제를 개선하기 위해, 새로운 접근 방식인 GPU의 타일 렌더링을 이용한 중간 프레임 전달 방식의 프레임 보간 기법은 지연과 추가적인 높은 비용 없이 중간 프레임을 생성한다. 제안하는 기법을 통해 기존의 연구들 대비 시스템 관점에서 절반의 연산 비용으로 사람의 인지 능력 관점에서 동등한 그래픽 품질을 얻을 수 있다. 마지막으로 가장 최근에 발표된 OpenGL ES 3.0에서 제안된 기술인 Multi render target(MRT) 기술을 재사용 관점에서 최적화하기 위한 방법을 제안한다. MRT 는 지연 쉐이딩을 통한 복잡한 라이팅 연산을 효율적으로 처리하기 위해 많이 사용되는 기술이다. 하지만, 한꺼번에 렌더 타깃에 렌더링을 해야 하기 때문에 큰 메모리 대역폭을 요구한다, 이러한 문제는 제한된 모바일 환경에서는 큰 장애이다. 이 문제를 개선하기 위해 시간적 중복성을 이용한 데이터 재사용을 통해 이미 쓰인 렌더 타깃의 데이터를 선택적으로 재사용하여 GPU의 연산량 및 메모리 사용을 감소시킨다. 실험을 통해 사람의 인지 능력 과점에서 그래픽 품질을 유지하면서 18%의 시스템 레벨의 전력 소모 감소를 얻을 수 있다.제 1 장 서 론 1 1.1 연구 목적 1 1.2 연구 공헌 3 1.3 논문 구성 7 제 2 장 연구 배경 10 2.1 모바일 그래픽스의 발전 10 2.1.1 모바일 그래픽스 하드웨어의 진화 10 2.1.2 모바일 그래픽스 소프트웨어 진화 14 2.2 모바일 환경의 소모 전력 분석 19 2.3 해상도 23 2.4 프레임 속도 25 2.5 데이터 중복 26 제 3 장 가변 해상도 기반 최적화 29 3.1 거리 기반 가변 해상도 변환 기법 29 3.2 응용 프로그램 특성 기반 해상도 변환 기법 32 3.3 동적 렌더링 기반 전력 소모 최적화 및 품질 개선 33 3.3.1 인간 시각 시스템 기반 동적 렌더링 35 3.3.2 변환 행렬을 통한 변화량 계산 38 3.3.3 그래픽 품질 개선 스케일링 44 제 4 장 프레임 속도 기반 최적화 47 4.1 프레임 보간 47 4.2 정방향 재 투영 기법 49 4.3 역방향 재 투영 기법 52 4.4 폐색 영역 처리 및 한계 54 4.5 인간 시각 시스템 기반 홀드-타입 뭉개짐 55 4.6 타일 기반 GPU의 전력 소모 최적화 및 품질 개선 58 4.6.1 타일 기반 렌더링 60 4.6.2 중간 프레임 전달 기법 기반 프레임 속도 증가 63 4.6.3 인간 시각 시스템 기반 프레임 분석 69 4.6.4 렌더링 우선순위 계산 및 합성 72 제 5 장 데이터 재사용을 통한 최적화 77 5.1 데이터 재사용 77 5.2 멀티 렌더 타깃의 데이터 재사용을 통한 최적화 78 5.2.1 멀티 렌더 타깃 80 5.2.2 시간적 일관성 기반 데이터 재사용 83 5.2.3 렌더 타깃 저장 87 5.2.4 인간 시각 시스템 기반 렌터 타깃 재사용 88 제 6 장 성능 분석 92 6.1 실험 환경 93 6.1.1 구현 및 환경 93 6.1.2 실험 벡터 95 6.1.3 시각 시스템 기반 화질 평가 기준 96 6.2 성능 및 소모 전력 평가 99 6.2.1 프레임 간 변화량을 이용한 동적 렌더링 기법 99 6.2.2 타일 기반 GPU 를 위한 프레임 속도 증가 기법 104 6.2.3 멀티 렌더 타깃을 위한 데이터 재사용 기법 108 제 7 장 결론 115 참고 문헌 118 Abstract 126Docto