The Compiler-based Application Optimization Frameworks using Approximation, Precision Scaling, and In-storage Processing

Abstract

Graphic processing units (GPUs) and solid-state drives (SSDs) have become essential components in modern computing systems to meet the demands of applications that handle large amounts of data and require high throughput, such as big data processing, machine learning, and computer vision. Furthermore, various techniques have been introduced to enhance the performance of applications in this system, including approximate computing, precision scaling, and in-storage processing (ISP). Approximate computing involves a trade-off between the quality of the target output and the performance improvement. This is because emerging applications often do not require perfect accuracy, and increased performance with a tolerable accuracy loss is preferred. Precision scaling is a well-known and powerful approximation technique that adjusts the floating-point precision of target programs. ISP is a technique that allows storage devices to process workloads using their own resources or additional computing capabilities, without transferring data to host processors such as CPUs or GPUs. Current techniques have limited application coverage due to their coarse-grained approach, and they miss several optimization opportunities that can be found by system-level considerations. However, taking a fine-grained approach and considering additional factors can result in increased search costs, creating a new issue. To address these issues, this work performs more fine-grained optimizations by generalizing existing approaches at a low-level and considering the full program and system-level. Additionally, it minimizes runtime overhead by reducing the search space based on input, system, and application characteristics. Based on this insight, this work proposes three compiler-based application optimization frameworks: GATE, PreScaler, and ISP Agent. GATE generalizes existing approximate computing techniques to the dataflow level and minimizes runtime overhead by pre-classifying input-insensitive approximations. PreScaler applies precision scaling by considering the entire program flow, including data transfers, to find an optimal solution without runtime search overhead. The ISP Agent minimizes interference with host I/O performance by isolating resources for offloaded workloads from existing SSD firmware and provides additional optimization opportunities based on the SSD architecture.|빅데이터 처리, 기계 학습, 컴퓨터 비전 등 거대한 데이터를 다루며 높은 처리량을 필요로 하는 어플리케이션들의 요구에 따라 그래픽 처리 장치 GPU와 SSD등이 현대 컴퓨터 시스템의 주요 장치가 되었다. 이에 더해, 정확도 손실을 최소화하며 성능을 향상시키는 절충하는 근사 컴퓨팅, 정밀도로 낮추어 데이터 양을 감소시키고 계산을 빠르게 수행하는 정밀도 스케일링, 저장장치의 데이터를 호스트로 전송하지 않고 처리하는 스토리지 내 처리 (ISP)가 널리 사용되고 있다. 하지만 기존의 기술들은 고수준 접근으로 인해 다양한 어플리케이션에 보편적으로 적용하기 어렵고, 시스템 수준에서 얻을 수 있는 최적화 기회를 놓치고 있다. 이를 해결하기 위한 세밀한 접근이나 시스템 수준 고려는 큰 탐색 비용을 요구한다. 이 문제들을 해결하기 위해, 우리는 기존의 접근 방법을 저수준에서 일반화하고, 전체 프로그램 및 시스템 수준의 고려를 통해 새로운 보다 세밀하고 효과적인 최적화를 수행한다. 우리는 또한 입력, 시스템, 어플리케이션 특성을 분석하여 탐색 공간을 최소화한다. 본 논문은 컴파일러 기반 어플리케이션 최적화 프레임워크, GATE, PreScaler, ISP Agent를 제안한다. GATE는 기존의 근사 컴퓨팅 기법들을 컴파일러 수준에 일반화하고, 입력에 비민감한 근사화들을 미리 분류하여 런타임 오버헤드를 최소화한다. PreScaler는 데이터 전송을 포함해 전체 프로그램 흐름을 고려하여 정밀도 스케일링을 적용하고, 미리 구축된 시스템 성능 정보를 바탕으로 탐색 과정을 최소화한다. ISP Agent는 호스트 I/O 성능 간섭을 최소화하며 기존 프로그램을 ISP로 오프로딩 할 수 있는 매커니즘을 제공하며, SSD 아키텍처에 기반한 추가적인 최적화 기회를 제공한다.