Засоби та методики оцінки ефективності передавання відеопотоку на основі технології GigE Vision з використанням процесору загального призначення

У роботі досліджено ефективність реалізації GigE Vision сумісного джерела відеопотоку на обчислю-вальній платформі, основаній на ARM процесорі загального призначення. Зокрема, для реалізації джерела створено прототип GigE Vision сумісної камери з використанням порівняно розповсюдженого одноплатного комп’ютера Raspberry Pi 4. З використанням програмного інтерфейсу Video4Linux2 розроблено програмну реалізацію проце-дури захоплення зображень із відеосенсора, підключеного до одноплатного комп’ютера та за допомогою бібліотеки Aravis створено процедуру конвертування і передавання мережею захоплених кадрів у сумісному з технологією GigE Vision форматі. Запропоновано метод вимірювання затримок передачі кадрів каналом Ethernet та проведено відповідні вимірювання. Встановлено, що програмна реалізація GigE Vision сумісної відеокамери на сучасних одноплатних комп’ютерах може вважатися перспективною, в особливості, за подальшого вдосконалення шляхом оптимізації відповідних програмних та/або апаратних складових.The paper investigates the possibility of efficient implementation of a GigE Vision compatible video stream source on a computing platform based on a system-on-a-chip with general-purpose ARM processor cores. In particular, to implement the aforementioned video source, a proprietary prototype of a GigE Vision compatible camera was developed based on the Raspberry Pi 4 single-board computer. This computing platform was chosen due to its widespread use and wide community support. The software part of the camera is implemented using the Video4Linux and Aravis libraries. The first library is used for the primary image capturing from a video sensor connected to a single board computer. The second library is intended for forming and transmission of video stream frames compatible with GigE Vision technology over the network. To estimate the delays in the transmission of a video stream over an Ethernet channel, a methodology based on the Precise Time Protocol (PTP) has been proposed and applied. During the experiments, it was found that the software implementation of a GigE Vision compatible camera on single-board computers with general-purpose proces-sor cores is quite promising. Without additional optimization, such an implementation can be successfully used to transmit small frames (with a resolution of up to 640 × 480 pixels), giving a delay less than 10 ms. At the same time, some additional optimizations may be required to transmit larger frames. Namely, a MTU (maximum transmission unit) size value plays the crucial role in latency formation. Thus, to implement a faster camera, it is necessary to select a platform that supports the largest possible MTU (unfortunately, it turned out that it is not possible with Raspberry Pi 4, as it supports relatively small MTU size of up to 2000 bytes). In addition, the image format conversion procedure can noticeably affect the delay. Therefore, it is highly desirable to avoid any frame processing on the transmitter side and, if it is possible, to broadcast raw images. If the conversion of the frame format is necessary, the platform should be chosen so that there are free computing cores on it, which will permit to distribute all necessary frame conversions between these cores using parallelization tech-niques

Засоби та методики оцінки ефективності передачі відеопотоку на основі технології GigE Vision з використанням процесору загального призначення

Магістерська дисертація складається з 83 сторінок, в якій міститься 15 рисунків, 23 таблиць, використано 23 джерела. Актуальність. З попитом рішень, побудованих на базі машинного зору, зростає потреба у якісному транспорту відепотоку. Це значить, що постає питання пропускної здатності, швидкості каналу, затримок передавання, надійності передавання, довжини окремного кабельного сегменту тощо. Відповідно, підприємства, для яких подібні параметри є основними вимогами, ставлять питання виробу методу та технології передачі відепотоку. На нашу думку, технологія GigE Vision є доволі цікавою для будь-якого рішення де необхідна зворотня сумісність, висока пропускна здатність тощо. Але проблемою є те, що рішення, які використовують дану технологію мають доволі високі цінники через високу ціну на внутрішні компоненти. Дана робота є актуальною через відсутність актуальних досліджень, щодо використання GigE Vision технології на базі процесорів загального призначення. Зв’язок роботи з науковими програмами, планами, темами. Дисертаційні дослідження проводилися у відповідності з науковими напрямками роботи кафедри конструювання електронно-обчислювальної апаратури КПІ ім. Ігоря Сікорського та пріоритетного напряму розвитку науки і техніки України “Інформаційні та комунікаційні технології ”. Метою дисертаційної роботи є визначення ефективності передачі відепотоку каналом Ethernet на основі технології GigE Vision з використанням саме процесорів загального призначення. Об’єктом дослідження є методи підвищення швидкодії передачі відеопотоку. Предметом дослідження є засоби та методики для оцінки ефективності передачі відеопотоку каналом Ethernet. Методи дослідження. Порівняння існуючих рішень, аналіз та синтез програмно-апаратної реалізації, метод дедукції, експериментальні дослідження. Наукова новизна отриманих результатів дослідження полягає в наступному: Запропоновано структурно-функціональну організацію джерела відеопотоку, що використовує технологією GigE Vision та реалізується на ARM процесорі загального призначення, що в порівнянні з існуючими рішеннями на основі FPGA володіють меншою вартістю та здатні забезпечити прийнятну (до 10-15 мс) затримку передавання кадрів. Розроблено методику для оцінювання затримки передавання кадрів відеопослідовності, що основана на використанні протоколу точного часу PTP (стандарт IEEE-1588), що для розроблюваного джерела відеопотоку дозволяє оцінювати затримку передавання з точністю до 100 мкс. Практичне значення отриманих результатів полягає у: Розробленні діючого прототипу джерела відеопотоку сумісного з технологією GigE Vision на основі поширеного одноплатного комп'ютера Raspberry Pi 4B, що використовує ARM процесор загального призначення. Формулюванні загальних рекомендацій щодо досягнення малих затримок передавання кадрів при реалізації GigE Vision сумісних камер, що побудовані на основі одноплатних комп'ютерів з процесорами загального призначення. Публікації. За матеріалами дисертації опубліковано 2 друковані праці, одна з яких включена до наукометричної бази Web of Science: Ходнєв Т.А., Голуб М.С., Кужильний О.В., Лисенко О.М., Варфоломєєв А.Ю. Акселерована реєстрація MIPI CSI відеопотоку в задачах передачі відео реального часу // Visnyk NTUU KPI Seriia – Radiotekhnika Radioaparatobuduvannia. – 2020. – №82. – С. 35–43. DOI: 10.20535/RADAP. 2020.82.35-43. Кужильний О.В., Варфоломєєв А.Ю. Ходнєв Т.А. Засоби та методики оцінки ефективності передачі відеопотоку на основі технології GigE Vision з використанням процесору загального призначення // Мікросистеми електроніка та акустика (у друці).Master's thesis consists of 83 pages, 15 figures, 23 tables, used 23 sources. Relevance. With the demand of solutions built based on machine vision, the need for high-quality transport of the video stream is growing. This means that there is a question of bandwidth, channel speed, transmission delays, transmission reliability, the length of a separate cable segment, etc. Accordingly, enterprises for which such parameters are the main requirements, ask questions about the product method and technology of video stream transmission. In our opinion, GigE Vision technology is quite interesting for any solution where backward compatibility is required, high bandwidth, etc. but the problem is that solutions that use this technology have quite high price due to the high price of internal components. Connection of work with scientific programs, plans, topics. Dissertation research were carried out in accordance with the scientific directions of the department of design of electronic computing equipment of Igor Sikorsky Kyiv National University. Igor Sikorsky and priority direction of development of science and technology of Ukraine "Information and communication technologies". The purpose of the dissertation is to determine the effectiveness of the transmission of the video stream by the Ethernet channel based on GigE Vision technology using general-purpose processors. The object of the study are methods to increase the speed of video stream transmission. The subject of the study is the means and techniques for assessing the effectiveness of video stream transmission over Ethernet. Methods of research. Comparison of existing solutions, analysis and synthesis of software and hardware implementation, deduction method, experimental research. The scientific contribution of the study is following: Structural and functional organization of the video stream source using GigE Vision technology and implemented on ARM general-purpose processor is proposed, which, compared to existing FPGA-based solutions, have a lower cost and are able to provide an acceptable (up to 10-15 ms) frame transfer delay. A methodology for assessing the delay in the transmission of video footage based on the use of the PTP exact time protocol (IEEE-1588 standard) has been developed, which allows the development of a video stream source to estimate the delay in transmission from accuracy up to 100 us. The practical significance of the obtained results is: Development of an existing prototype video stream source compatible with GigE Vision technology based on a widely used single-board Raspberry Pi 4B computer that uses a general-purpose ARM processor. Formulate general recommendations for achieving small frame transfer delays when implementing GigE Vision compatible cameras based on single-board computers with general-purpose processors. Publication. According to the dissertation materials 2 printed papers in the conference materials collection were published