Real Time Pixel Art Remasterization on GPUs

Abstract-Several methods have been proposed to overcome the pixel art scaling problem through the years. In this article we describe a novel approach to be applied through a massively parallel architecture that can address this issue in real time. To achieve this we design a local and context independent algorithm that enables an efficient parallel implementation on the GPU, delivering full frames output at response time for the user interaction. Our main goal is to apply the method on full frames of old games, which were based on pixel art graphics until the half of the 1990's, and keep the output frame rate good enough for playing

Membuat Pixel Art Menggunakan Learning Vector Quantization

Pixel art didesain untuk banyak kepentingan dalam merepresentasikan wujud real life look seni visual artefak kontemporer. Pixel art adalah kratifitas seni membangun gambar dari unit kecil berwarna yang disebut dengan piksel, dari sebuah citra digital. Melukis pixel art pada bidang tulis digital dengan komposisi lukisan yang kompleks memiliki beberapa tantangan yang serius. Permasalahannya adalah penggunaan warna dalam pixel painting mengandung prasyarat bahwa pixel diisi degan warna yang penuh, mampu menggambarkan warna transisi serta dapat menunjukan corak warna terang dan gelap. Dari pemahaman ini, dipandang penting untuk membuat suatu metode melukis pixel art alternatif. Berperan sebagai kanvas digital, bidang citra diterjemahkan kedalam painting surface yang berkorespondensi terhadap nilai panjang dan lebar citra sedangkan kuantitas satuan piksel yang memaknai ruang data spasial dan warna adalah sebagai kuas maya. Goresan tinta diproduksi melalui serangkaian olah matematis dengan pendekatan vector quantization untuk diajarkan agar mampu merepresentasikan wujud citra alami yang realisitis. Penelitian ini menunjukan keberhasilan pengorganisasian parameter kedekatan jarak antara piksel dan kelas utamanya pada nilai 0.5 satuan piksel sebagai ruang optimum sehingga voronoi area dapat tercipta dengan baik. Sebagai bahan uji kulifikasi disediakan sejumlah citra pixel art yang berhasil ditransformasikan dengan baik berdasarkan hasil evaluasi area yang tersegmentasi lebih artistis ketika codebook yang disebarkan adalah proporsional dengan jumlah objek pixel art. Sehingga ikhtisar untuk mendapatkan corak pixel art dengan vector quantization adalah dengan memastikan jumlah codebook yang disebar berdasarkan referensi pola informasi spasial dan warna objek citra

Penerapan Subpixel Animation Dalam Penganimasian Aset Visual Game " Panji Tales"

Fenomena penambangan cryptocurrency yang menyebabkan kelangkaan kartu grafis di pasaran. Hal ini secara tidak langsung berpotensi meningkatkan popularitas lightweight games karena game jenis ini tidak menuntut spesifikasi perangkat keras komputer yang tinggi. Salah satu lightweight games yang populer adalah game bergenre pixel art. Banyak cerita rakyat Indonesia yang berpotensi diadaptasi ke dalam game. Salah satu cerita rakyat potensial tersebut adalah Kisah Panji karena kisah ini terdokumentasi dengan baik dalam hal naskah maupun visual. Visual yang paling lengkap menampilkan setting Kisah Panji adalah Wayang Gebyok dan relief candi langgam Jawa Timur. Baik wayang gebyok maupun relief candi langgam Jawa Timur menampilkan tampak samping tokoh dengan kepala besar. Penggambaran tokoh dan lingkungan seperti ini dapat dengan mudah diadaptasi dalam karya pixel art. Karya 2D harus dianimasikan sebagai sprite ketika hendak diterapkan dalam game 2D. Proses pembuatan sprite dapat dilakukan dengan proses produksi yang terdiri dari pra produksi, produksi, dan pasca produksi. Tantangan muncul ketika yang dianimasikan adalah karya pixel art. Penganimasian gambar pixel art secara konvensional, yakni dengan sekedar menggerakkan siluet tokoh/obyek akan menghasilkan gerakan yang kasar akibat keterbatasan resolusi gambar. Untuk menghasilkan animasi pixel art yang halus, karya pixel art dapat digerakkan dengan metode subpixel animation. Penelitian ini bertujuan untuk membuat aset visual game berjudul “Panji Tales” yang merupakan game bergenre pixel graphics game yang dirancang sebagai antisipasi kemungkinan meningkatnya popularitas lightweight games. Luaran utama dari penelitian ini adalah artikel jurnal nasional terakreditasi minimal SINTA 5 dengan status submitted. Di samping luaran utama, terdapat pula luaran tambahan berupa HKI dengan target telah didaftaran. Luaran tambahan lain dari penelitian ini adalah purwarupa berupa playable demo. Penelitian ini merupakan pengintegrasian mendasar komponen-komponen teknologi yang berbeda. Pengintegrasian yang akan dilakukan bertujuan untuk memastikan bagian-bagian yang ada dapat berfungsi. Karena salah satu luaran penelitian ini adalah purwarupa, maka dapat dikatakan bahwa hasil penelitian ini terbatas pada ruang lingkup laboratorium. Oleh karena itu penelitian ini memiliki tingkat 3 dalam kesiapan teknologi

Відстеження періодичного руху об'єктів на статичному фоні на прикладі відеоігор

Метою роботи є розробка методу вилучення зображень об’єктів, що рухаються на відео зі статичним фоном. Головною складовою цього методу є пошук оптичного потоку. В ході роботи проаналізовано існуючі методи пошуку оптичного потоку, реалізовано алгоритм знешумлення бінарного зображення руху з використанням алгоритму пошуку мінімального розрізу на графі, узагальнено до роботи з кольором та спрощено для конкретного випадку алгоритм співставляння шаблону (template matching), що базуєтсья на швидких перетвореннях Фур’є (FFT), і головне — реалізовано алгоритм пошуку оптичного потоку на основі алгоритму імітації відпалу (simulated annealing) з розподілом Ґіббса (семплювання за Ґіббсом).The aim of this work is to develop a method of motion tracking from video with static background on example of video games. The main component of this method is the optical flow searching. We’ve analyzed the existing optical flow methods, implemented the algorithm of noise reduction for binary motion images using the min-cut/max-flow algorithm, generalized the template matching algorithm for colored images based on Fast Fourier Transforms (FFT), and most importantly — implemented optical flow algorithm based on simulated annealing with Gibbs distribution (Gibbs sampling)

Im2Vec: Synthesizing Vector Graphics without Vector Supervision

Vector graphics are widely used to represent fonts, logos, digital artworks, and graphic designs. But, while a vast body of work has focused on generative algorithms for raster images, only a handful of options exists for vector graphics. One can always rasterize the input graphic and resort to image-based generative approaches, but this negates the advantages of the vector representation. The current alternative is to use specialized models that require explicit supervision on the vector graphics representation at training time. This is not ideal because large-scale high quality vector-graphics datasets are difficult to obtain. Furthermore, the vector representation for a given design is not unique, so models that supervise on the vector representation are unnecessarily constrained. Instead, we propose a new neural network that can generate complex vector graphics with varying topologies, and only requires indirect supervision from readily-available raster training images (i.e., with no vector counterparts). To enable this, we use a differentiable rasterization pipeline that renders the generated vector shapes and composites them together onto a raster canvas. We demonstrate our method on a range of datasets, and provide comparison with state-of-the-art SVG-VAE and DeepSVG, both of which require explicit vector graphics supervision. Finally, we also demonstrate our approach on the MNIST dataset, for which no groundtruth vector representation is available. Source code, datasets, and more results are available at geometry.cs.ucl.ac.uk/projects/2021/Im2Vec

Make your own sprites: Aliasing-aware and cell-controllable pixelization

Pixel art is a unique art style with the appearance of low resolution images. In this paper, we propose a data-driven pixelization method that can pro- duce sharp and crisp cell effects with controllable cell sizes. Our approach overcomes the limitation of existing learning-based methods in cell size control by introducing a reference pixel art to explicitly regularize the cell structure. In particular, the cell structure features of the reference pixel art are used as an auxiliary input for the pixelization process, and for measuring the style similarity between the generated result and the reference pixel art. Furthermore, we disentangle the pixelization process into specific cell-aware and aliasing-aware stages, mitigating the ambiguities in joint learning of cell size, aliasing effect, and color assignment. To train our model, we construct a dedicated pixel art dataset and augment it with different cell sizes and different degrees of anti-aliasing effects. Extensive experiments demonstrate its superior performance over state-of-the-arts in terms of cell sharpness and perceptual expressiveness. We also show promising results of video game pixelization for the first time. Code and dataset are available at https://github.com/WuZongWei6/Pixelization

Pembentukan Pola Desain Motif Karawo Gorontalo Menggunakan K-Means Color Quantization dan Structured Forest Edge Detecion

Sulaman Karawo merupakan kerajinan tangan berupa sulaman khas dari daerah Gorontalo. Motif sulaman diterapkan secara detail berdasarkan suatu pola desain tertentu. Pola desain digambarkan pada kertas dengan berbagai panduannya. Gambar yang diterapkan pada pola memiliki resolusi sangat rendah dan harus mempertahankan bentuknya. Penelitian ini mengembangkan metode pembentukan pola desain motif Karawo dari citra digital. Proses dilakukan dengan pengolahan awal menggunakan k-means color quantization (KMCQ) dan deteksi tepi structured forest. Proses selanjutnya melakukan pengurangan resolusi menggunakan metode pixelation dan binarization. Luaran dari algoritma menghasilkan 3 citra berbeda dengan ukuran yang sama, yaitu: citra tepi, citra biner, dan citra berwarna. Ketiga citra tersebut selanjutnya dilakukan proses pembentukan pola desain motif Karawo dengan berbagai petunjuk pola bagi pengrajin. Hasil menunjukkan bahwa pola desain motif dapat digunakan dan dimengerti oleh para pengrajin dalam menerapkannya di sulaman Karawo. Pengujian nilai-nilai parameter dilakukan pada metode k-means, gaussian filter, pixelation, dan binarization. Parameter-parameter tersebut yaitu: k pada k-means, kernel pada gaussian filter, lebar piksel pada pixelation, dan nilai threshold pada binarization. Pengujian menunjukkan nilai terendah tiap parameter adalah k=4, kernel=3x3, lebar piksel=70, dan threshold=20. Hasil memperlihatkan makin tinggi nilai-nilai tersebut maka semakin baik pola desain motif yang dihasilkan. Nilai-nilai tersebut merupakan nilai parameter terendah dalam pembentukan pola desain motif berkualitas baik berdasarkan indikator-indikator dari desainer. AbstractKarawo embroidery is a unique handicraft from Gorontalo. The embroidery motif is applied in detail based on a certain design pattern. These patterns are depicted on paper with various guides. The image applied to the pattern is very low resolution and retains its shape. This study develops a method to generate a Karawo design pattern from a digital image. The process begins by using k-means color quantization (KMCQ) to reduce the number of colors and edge detection of the structured forest. The next process is to change the resolution using pixelation and binarization methods. The output algorithm produces 3 different state images of the same size, which are: edge image, binary image, and color image. These images are used in the formation of the Karawo motif design pattern. The motif contains various pattern instructions for the craftsman. The results show that it can be used and understood by the craftsmen in its application in Karawo embroidery. Testing parameter values on the k-means method, Gaussian filter, pixelation, and binarization. These parameters are k on KMCQ, the kernel on a gaussian filter, pixel width in pixelation, and threshold value in binarization. The results show that the lowest value of each parameter is k=4, kernel=3x3, pixel width=70, and threshold=20. The results show that the higher these values, the better the results of the pattern design motif. Those values are the lower input to generate a good quality pattern design based on the designer’s indicators

Adaptive image vectorisation and brushing using mesh colours

We propose the use of curved triangles and mesh colours as a vector primitive for image vectorisation. We show that our representation has clear benefits for rendering performance, texture detail, as well as further editing of the resulting vector images. The proposed method focuses on efficiency, but it still leads to results that compare favourably with those from previous work. We show results over a variety of input images ranging from photos, drawings, paintings, all the way to designs and cartoons. We implemented several editing workflows facilitated by our representation: interactive user-guided vectorisation, and novel raster-style feature-aware brushing capabilities