This short report is an attempt of holistic analysis of Hadoop framework for Big
Data computations in terms of ecology and complexity, to expose the beauty and
ugliness of this system, imagine its future

Апуневич, Степан Євгенійович

Electronic archive of Ternopil National Ivan Puluj Technical University

Foss Lviv 2016                                                                                                 5калібровки  спектрів  Cluster-based  Peak  Alignment  (CluPA);  “Peaks”  надаєфункції для маніпуляцій із спектром, перенесений із ROOT/TSpectrum.   Ми використали дані комбінаційного розсіяння сполуки TeO2, отриманіза  допомогою  спектрографа  ДФС-52,  джерело  –  твердотільний  лазерпрацював на довжині  хвилі 532 нм.  Ми скористались пакетом prospectr длязгладжування даних та усунення шуму методом біжучого середнього, а такождля побудови графіків.Висновок:  Пакет  статистичних  обчислень  R  має  все  необхідне  длязастосування  до  опрацювання  даних  спектроскопічних  вимірювань,  і  мивважаємо доцільним внести R разом із сучасними методами статистики допрограми навчання фізиків-експериментаторів.Джерела:1. http://www.r-project.org/2. GNU Project: http://www.gnu.org3. Бібліотека CRAN: http://cran.r-project.org/4. Journal of Statistical Software http://www.jstatsoft.org/ January 2007, Volume 18, Issue 1.An Introduction to the Special Volume “Spectroscopy and Chemometrics in R”Бестіарій Великих Даних, або про екологію проектів навколоApache HadoopАпуневич С.Є.Астрономічна обсерваторія Львівського національного університету імені Івана Франка, EPAM Systems, вул. Кирила і Мефодія, 8, Львів 79005This short report is an attempt of holistic analysis of Hadoop framework for BigData computations in terms of ecology and complexity, to expose the beauty andugliness of this system, imagine its future.Бестіарій  [1]  –  це  особливий  жанр  старовинної  літератури,  щедроілюстровані збірки описів та оповідей, певною мірою предтечі енциклопедій.В них описували тварин, комах, потвор, і навіть камені, часто безоглядно дореальності описуваного, бо автори здебільшого самі не бачили цих сутностейі покладалися на непевні джерела. Бестіарії були популярні у Середньовіччі,коли різниця між реальністю та вигадкою була нечіткою, і ніхто не ставив підсумнів  правдивість   відомостей  викладених  у  книжці,  а  істинністьпотверджувалася моральним висновком, що  супроводжував кожен допис. Дочого тут  Apache  Hadoop?  Я висуваю тезу,  що така  ж суб'єктивність  частопанує у сфері сучасних високих інформаційних технологій.6                                                                                                  Foss Lviv 2016Apache  Hadoop  [2]  –  це  каркас,  що  надає  змогу  розподіленоопрацьовувати великі набори даних на кластерах комп'ютерів за допомогоюпростих моделей програмування. Він спроектований із метою масштабуваннявід кількох серверів до тисяч обчислювальних машин, використовуючи коженвузол для зберігання даних та обчислень; також у системі закладено стійкістьдо  несправностей,  що  дозволяє  знизити  вимоги  до  надійності  кожногоокремого  вузла.  Очевидно,  що  ці  властивості  досягнуто  за  рахуноккомпромісу,  звуження  функціональності  таких  систем  у  порівнянні  ізкласичними реляційними базами даними. Можна  стверджувати,  що  за  10  років  існування  проект  виконав  своїголовні  обіцянки.  Однак,  на  основі  цього  проекту  як  платформи  виниклобагато, навіть дуже багато супутніх проектів, які взаємодіють нетривіальнимчином між собою та із платформою. Дедалі частіше ці проекти мають на увазікомпенсувати  компроміси  закладені  у  Hadoop  під  час  проектування,  танаблизити операції над великими даними для користувача до оперативності,цілісності,  надійності “класичних” систем опрацювання та зберігання даних.Чи це можливо і яку ціну доведеться за це заплатити?Проекти Apache Hbase, Cassandra, Hive, Spark, ZooKeeper, Drill, Impala,Oozie та інші переслідуть різні  цілі,  часто конкурують між собою, деколидоповнюють  одне  одного.  Кожен  із  них  має  дивну  екзотичну  назву  таталісман  часто  у  вигляді  доволі  дивних  істот.  Спроби  оглядів  всієї  нішіпродуктів для Big Data вже стають бестіаріями, оскільки жоден із авторів вжене може мати досвід роботи із  всіма продуктами. Тобто, очевидна головнаціна, яку сплатили – це складність.Який головний принцип інтеграціїтаких складних систем, як вони взагаліпрацюють? На згадку приходить “тео-рема” відомого науковця,  винахідникаідеї  підпрограми,  Дейвіда  Вілера,[3]яка звучить наступним чином:“Всі  проблеми  у  комп'ютернихнауках можна розв'язати за допомогоюіще  одного  рівня  індирекції  (непря-мості) … окрім проблеми надто бага-тьох шарів індирекції.Аналогічна  думка  закладена  уІнтернет-меморандумі RFC 1925 [4]:“…(6)  Легше  переміститипроблему  деінде  (наприклад,  пере-містити  проблему  в  іншу  частинузагальної архітектури мережі), ніж її розв'язати.(6a) (висновок). Завжди можна додати іще один рівень індирекції. ...”Зображення слона із бестіарія, жовтий плюшевий слон є символом проекту Hadoop Foss Lviv 2016                                                                                                 7Саме  за  таким  прин-ципом  і  надбудовуєтьсяскладна,  багатошароваструктура  над  низовоюплатформою  Hadoop.  Чи-сленні  виклики  програм-них інтерфейсів  (як  черезRPC,  так  і  HTTP,  абозасоби  серіалізації)  пов'я-зують архітектуру докупи,хай і не надто елегантнимчином.Інша  аналогія,  щонапрошується  для  порів-няння  –  це  екологія  впервинному значенні цього слова, не як щось добре чи здорове у стосунку долюдини, а як наука про виживання та пристосування в складних біологічнихсистемах.  Не  слід  забувати,  що  відкрите/вільне  ПЗ  –  це  світ  жорсткоїконкуренції.  Очевидно,  що  світ  Великих  Даних  –  відомий  як  джерелонадприбутків,  і  проекти  Apache  Software  Foundation  зазнають  сильноговпливу комерціалізації, коли великі гравці на ринку намагаються диктувативласні  правила,  часто  виходячи  із  маркетологічних,  а  не  інженернихміркувань.  Спостереження  таке:  екологічна  ніша  росте  явно  швидше,  ніжзаповнюється,  отже  боротьба  за  виживання  гряде  у  майбутньому.  Маютьвижити  тільки  ті  проекти,  хто  запропонує  найбільші  ефективні  рішення.Швидке  зростання  проявляється  вже  зараз  через  брак  інтеграції,  технічнівимоги  до  продуктів  змінюються,  а  складність  стає  проблемою,  якунамагаються вирішити за допомогою ускладнення системи. А поки ми всі чекатимемо невмолимої дії екологічних законів, вже заразможна  тішитися  із  того,  що  розподілені  обчислення  стали  надзвичайнодоступними для широких мас,  а  майбутнє їх  спрощення тільки сприятимепоширенню високонавантажених обчислень.Джерела:1. https://uk.wikipedia.org/wiki/%D0%91%D0%B5%D1%81%D1%82%D1%96%D0%B0%D1%80%D1%96%D0%B9 2. http://hadoop.apache.org3. https://en.wikipedia.org/wiki/David_Wheeler_(British_computer_scientist) 4. http://www.rfc-base.org/rfc-1925.htmlПроекти екологічної ніші, укладені в подобу періодичної таблиці.

Бестіарій Великих Даних, або про екологію проектів навколо Apache Hadoop

http://elartu.tntu.edu.ua/bitstream/123456789/19195/2/FOSSLviv_2016_Apunevych_S_Ye-Bestiarii_Velykykh_Danykh_5-7.pdf

Бестіарій Великих Даних, або про екологію проектів навколо Apache Hadoop

Abstract

Similar works

Full text

Available Versions

Electronic archive of Ternopil National Ivan Puluj Technical University