Parallel Asynchronous Matrix Multiplication for a Distributed Pipelined Neural Network

Machine learning is an approach to devise algorithms that compute an output without a given rule set but based on a self-learning concept. This approach is of great importance for several fields of applications in science and industry where traditional programming methods are not sufficient. In neural networks, a popular subclass of machine learning algorithms, commonly previous experience is used to train the network and produce good outputs for newly introduced inputs. By increasing the size of the network more complex problems can be solved which again rely on a huge amount of training data. Increasing the complexity also leads to higher computational demand and storage requirements and to the need for parallelization. Several parallelization approaches of neural networks have already been considered. Most approaches use special purpose hardware whilst other work focuses on using standard hardware. Often these approaches target the problem by parallelizing the training data. In this work a new parallelization method named poadSGD is proposed for the parallelization of fully-connected, largescale feedforward networks on a compute cluster with standard hardware. poadSGD is based on the stochastic gradient descent algorithm. A block-wise distribution of the network's layers to groups of processes and a pipelining scheme for batches of the training samples are used. The network is updated asynchronously without interrupting ongoing computations of subsequent batches. For this task a one-sided communication scheme is used. A main algorithmic part of the batch-wise pipelined version consists of matrix multiplications which occur for a special distributed setup, where each matrix is held by a different process group. GASPI, a parallel programming model from the field of "Partitioned Global Address Spaces" (PGAS) models is introduced and compared to other models from this class. As it mainly relies on one-sided and asynchronous communication it is a perfect candidate for the asynchronous update task in the poadSGD algorithm. Therefore, the matrix multiplication is also implemented based GASPI. In order to efficiently handle upcoming synchronizations within the process groups and achieve a good workload distribution, a two-dimensional block-cyclic data distribution is applied for the matrices. Based on this distribution, the multiplication algorithm is computed by diagonally iterating over the sub blocks of the resulting matrix and computing the sub blocks in subgroups of the processes. The sub blocks are computed by sharing the workload between the process groups and communicating mostly in pairs or in subgroups. The communication in pairs is set up to be overlapped by other ongoing computations. The implementations provide a special challenge, since the asynchronous communication routines must be handled with care as to which processor is working at what point in time with which data in order to prevent an unintentional dual use of data. The theoretical analysis shows the matrix multiplication to be superior to a naive implementation when the dimension of the sub blocks of the matrices exceeds 382. The performance achieved in the test runs did not withstand the expectations the theoretical analysis predicted. The algorithm is executed on up to 512 cores and for matrices up to a size of 131,072 x 131,072. The implementation using the GASPI API was found not be straightforward but to provide a good potential for overlapping communication with computations whenever the data dependencies of an application allow for it. The matrix multiplication was successfully implemented and can be used within an implementation of the poadSGD method that is yet to come. The poadSGD method seems to be very promising, especially as nowadays, with the larger amount of data and the increased complexity of the applications, the approaches to parallelization of neural networks are increasingly of interest

Social Computing: Study on the Use and Impacts of Collaborative Content

Collaborative content, created with web2.0 technologies, is part of the social computing phenomenon. The key feature of collaborative content is that it is created, reviewed, refined, enhanced and shared by interactions and contributions of a number of people. The report provides an assessment of the use, adoption and impact of collaborative content applications, giving an in-depth description of YouTube, Wikipedia and blogging, and discussing the socio-economic impacts and challenges of collaborative content phenomenon. The great variety of collaborative content applications is providing people with access to a great diversity of content and information, new relations to other people based on common interests, and a new tool for collaboration. Organizations can not avoid responding to the challenges rising, but there are various ways in which they can also benefit from the opportunities available. A major challenge is how to nurture a responsible digital culture, where users adopt a critical attitude in both creating and using the content, and where the collaborative communities have sustainable models for participation and content quality management.JRC.J.4-Information Societ

Coordinative practices and information interaction performance in distributed work

Työelämässä lähes työssä kuin työssä keskeinen työn tekemisen resurssi on eri keinoin ja välinein käsitelty ja välitetty informaatio. Työtä tehdään monen toimijan yhteistyönä, ja usein maantieteellisesti ja ajan suhteen hajautuneesti. Käytettävissä olevien yhteistyötä tukevien informaatio- ja kommunikaatioteknologioiden kirjo on laaja, ja se monipuolistuu koko ajan. Tästä huolimatta yhteistyöhön liittyvä informaatiovuorovaikutus eli informaation jakaminen, hankinta, yhdistely ja hyödyntäminen työn tavoitteiden saavuttamiseksi eivät kuitenkaan suju optimaalisesti. Informaatio- ja kommunikaatioteknologioiden tuottavuuslupaus ei näytä työn arjessa aina täyttyvän, ja yhteistyön informaatiovuorovaikutusta leimaa kiire, sähläys, häiriöt ja monenlainen ylimääräinen tekeminen. Työelämän informaatiovuorovaikutuksen käytännön kehittämisen suuntaamista vaikeuttaa se, että työhön liittyvän informaatiovuorovaikutuksen suorituskyvyn empiirisen arvioinnin viitekehykset, käsitteet ja mittarit puuttuvat lähes tyystin. Tämä on hätkähdyttävää siihen nähden, miten keskeisenä informaatiota ja sen käsittelyä työn tekemisen resurssina ja ympäristönä pidetään. Väitöstutkimuksen tavoitteena oli tunnistaa, millaisin käytännöin hajautunutta yhteistyötä koordinoidaan, ja mitkä tekijät vaikuttavat koordinaatioon ja informaatiovuorovaikutuksen suorituskykyyn. Väitöstutkimus muodostui neljästä tapaustutkimuksesta. Neljässä erilaisessa työkontekstissa tunnistettiin joukko usein toistuvia koordinaatiokäytäntöjä sekä kehitettiin ja testattiin teoreettinen malli, joka selittää hajautuneen työn koordinaatiokäytäntöjen muotoutumista ja informaatiovuorovaikutuksen onnistumista. Tapaustutkimuksissa tutkittiin informaatiovuorovaikutusta ja sen onnistumista eri tehtävärooleissa toimivien oman työn näkökulmasta. Tapaustutkimuksessa tutkittiin hajautunutta työtä ja sen informaatiovuorovaikutusta kemiantehtaan prosessinohjauksessa, koneenrakennus- ja ylläpitopalveluita tarjoavien yritysten teknisessä tuotetuessa, telekommunikaatioalan yrityspalveluita tarjoavan yrityksen johtamis- ja asiantuntijatyössä sekä turvallisuuspalveluita tuottavan yrityksen vartiointityössä. Tutkimuksen empiirinen aineisto kerättiin vuosina 2006-2009, ja se koostui teemahaastatteluista, havainnoinneista työpaikoilla, päiväkirja-aineistosta sekä kyselyistä. Tutkimuksen tulokset osoittavat, että koordinaatio tukee monin eri tavoin yhteistyön informaatiovuorovaikutuksen suorituskykyä, ja osa koordinaatiotarpeista jää liian vähälle huomiolle hajautuneessa työssä. Erityisesti tilannetietoisuuden ylläpitoa ja työn jaettuja kohteita ja resursseja koskevan tietämyksen läpinäkyvyyttä ja saavutettavuutta pitää parantaa. Tutkimuksen teoreettista mallia rakentavat tulokset osoittavat, että informaatiovuorovaikutuksen onnistumista selittää yhteistyössä sovellettujen koordinaatiokäytäntöjen osuvuus ja kattavuus suhteessa hajautuneen työn koordinaatiotarpeisiin. Työn koordinaatiotarpeet muodostuvat työn eri toteuttajien välillä vallitsevien tavoite-, toiminta- ja resurssiriippuvuuksien määrästä ja luonteesta sekä työn tekemisen spatio-temporaalisen hajautuneisuuden hallinnan tarpeesta. Koordinaatiokäytäntöjen osuvuuteen vaikuttavat lisäksi koordinaatiossa hyödynnettyjen teknologioiden monipuolisuus sekä yhteistyökumppaneiden välinen sosiaalinen pääoma. Kompleksiset riippuvuussuhteet tai voimakas spatio-temporaalinen hajautuneisuus toimijoiden välillä eivät suoraan heikennä edellytyksiä onnistuneeseen koordinaatioon ja informaatiovuorovaikutukseen, vaan keskeisin informaatiovuorovaikutuksen suorituskyvyn selittäjä on koordinaatiokäytäntöjen osuvuus suhteessa koordinaatiotarpeeseen. Tutkimuksen tuloksena syntynyt koordinaatiokäytäntöjen ja informaatiovuorovaikutuksen muodostumista selittävä malli vie eteenpäin koordinaatioteoriaa. Työelämän tiedonhallinnan, työprosessien, työmenetelmien ja suorituskyvyn kehittäjille tutkimus tarjoaa viitekehyksen ja työkalun analysoida ja tunnistaa koordinaatiokäytäntöjen ja informaatiovuorovaikutuksen kehittämistarpeita ja -mahdollisuuksia. Tutkimuksessa kehitetty viitekehys tarjoaa konkreettisen apuvälineen erityisesti informaatio- ja kommunikaatioteknologioiden hyödyntämisen suunnitteluun ja käyttötavoista sopimiseen hajautuneen työn eri yhteistyötilanteissa.New ICTs and intensive digital collaboration have potential for enhancing collaborative work. Much of modern work involves dealing with information representations of various types and forming insights and decisions based on that information. The objective of the study was to understand how accessibility of information is linked to the successfulness of coordination in distributed work. In distributed work, the collaborators and the resources of the work are spatially and temporally distributed. The goal for the study was to conceptualise and empirically specify the core drivers and shapers influencing information interaction performance in the coordination of distributed work. The research questions of the study were: What kind of coordinative practices does distributed work require, what factors shape these practices and how these practices influence information interaction performance. The study contributes to coordination theory through examination of the challenges and performance of information interaction related to coordination in diverse work environments. The study analysed the nature of coordinative practices, the shapers of these practices and effects of coordinative practices on information interaction performance success. Maintenance of situation awareness and management of experience knowledge were approached as comprehensive, information-intensive coordinative practices applied in distributed work. The overall formation of coordination practices are hypothesized to be shaped by the nature of interdependencies, social capital, technological affordances and spatio-temporal dispersion between collaborators. It is proposed that these factors influence and enable success in information interaction performance in distributed work. The study was an in-depth multi-method comparative multiple-case study executed in diverse real-life work contexts. The multiple case studies empirically examine the framework for explaining formation of coordinative practices and information interaction performance success developed in the study. The contexts studied in the case studies include process control in the chemical industry, technical support service in machine maintenance business, service production in the telecommunications industry and security services in facilities’ maintenance. The empirical data was collected vie thematic interviews, field observations, daily diaries and surveys. The study shows that the nature and characteristics of interdependence patterns within distributed activities and resources influence the coordination needs in distributed work. Interdependence complexity creates challenging coordination needs, in large numbers, the management of which requires coordination practices. The results of the study show that the interdependency complexity does not make successful coordination impossible. The better the fit between, on one hand, the scope and nature of the coordination mechanisms applied in the distributed work and, on the other, the level of coordination challenge involved, the more successful and disturbance-free the information interaction performance will be. The appropriateness of the coordination practices with respect to the real-world coordination needs is directly reflected in the quality of the information interaction performance of the collaborative actors. High spatio-temporal dispersion among collaborators does not make good coordination impossible. However, in order to enable the best possible fit of coordination practice to associated coordination challenge, higher social capital among collaborators and higher variety of actually applied technological affordances in the coordination enhance the fit, regardless of the overall level of interdependence portfolio complexity. The study provides practitioners of work design and work-process development with conceptual tools to analyse information interaction in distributed work and uncover the root causes of information interaction performance disturbances and successes. Conceptual tools assist practitioners in observing coordinative practices and factors shaping these practices, and in unlocking potential for current practices’ enhancement

Coordinative practices and information interaction performance in distributed work

Työelämässä lähes työssä kuin työssä keskeinen työn tekemisen resurssi on eri keinoin ja välinein käsitelty ja välitetty informaatio. Työtä tehdään monen toimijan yhteistyönä, ja usein maantieteellisesti ja ajan suhteen hajautuneesti. Käytettävissä olevien yhteistyötä tukevien informaatio- ja kommunikaatioteknologioiden kirjo on laaja, ja se monipuolistuu koko ajan. Tästä huolimatta yhteistyöhön liittyvä informaatiovuorovaikutus eli informaation jakaminen, hankinta, yhdistely ja hyödyntäminen työn tavoitteiden saavuttamiseksi eivät kuitenkaan suju optimaalisesti. Informaatio- ja kommunikaatioteknologioiden tuottavuuslupaus ei näytä työn arjessa aina täyttyvän, ja yhteistyön informaatiovuorovaikutusta leimaa kiire, sähläys, häiriöt ja monenlainen ylimääräinen tekeminen. Työelämän informaatiovuorovaikutuksen käytännön kehittämisen suuntaamista vaikeuttaa se, että työhön liittyvän informaatiovuorovaikutuksen suorituskyvyn empiirisen arvioinnin viitekehykset, käsitteet ja mittarit puuttuvat lähes tyystin. Tämä on hätkähdyttävää siihen nähden, miten keskeisenä informaatiota ja sen käsittelyä työn tekemisen resurssina ja ympäristönä pidetään. Väitöstutkimuksen tavoitteena oli tunnistaa, millaisin käytännöin hajautunutta yhteistyötä koordinoidaan, ja mitkä tekijät vaikuttavat koordinaatioon ja informaatiovuorovaikutuksen suorituskykyyn. Väitöstutkimus muodostui neljästä tapaustutkimuksesta. Neljässä erilaisessa työkontekstissa tunnistettiin joukko usein toistuvia koordinaatiokäytäntöjä sekä kehitettiin ja testattiin teoreettinen malli, joka selittää hajautuneen työn koordinaatiokäytäntöjen muotoutumista ja informaatiovuorovaikutuksen onnistumista. Tapaustutkimuksissa tutkittiin informaatiovuorovaikutusta ja sen onnistumista eri tehtävärooleissa toimivien oman työn näkökulmasta. Tapaustutkimuksessa tutkittiin hajautunutta työtä ja sen informaatiovuorovaikutusta kemiantehtaan prosessinohjauksessa, koneenrakennus- ja ylläpitopalveluita tarjoavien yritysten teknisessä tuotetuessa, telekommunikaatioalan yrityspalveluita tarjoavan yrityksen johtamis- ja asiantuntijatyössä sekä turvallisuuspalveluita tuottavan yrityksen vartiointityössä. Tutkimuksen empiirinen aineisto kerättiin vuosina 2006-2009, ja se koostui teemahaastatteluista, havainnoinneista työpaikoilla, päiväkirja-aineistosta sekä kyselyistä. Tutkimuksen tulokset osoittavat, että koordinaatio tukee monin eri tavoin yhteistyön informaatiovuorovaikutuksen suorituskykyä, ja osa koordinaatiotarpeista jää liian vähälle huomiolle hajautuneessa työssä. Erityisesti tilannetietoisuuden ylläpitoa ja työn jaettuja kohteita ja resursseja koskevan tietämyksen läpinäkyvyyttä ja saavutettavuutta pitää parantaa. Tutkimuksen teoreettista mallia rakentavat tulokset osoittavat, että informaatiovuorovaikutuksen onnistumista selittää yhteistyössä sovellettujen koordinaatiokäytäntöjen osuvuus ja kattavuus suhteessa hajautuneen työn koordinaatiotarpeisiin. Työn koordinaatiotarpeet muodostuvat työn eri toteuttajien välillä vallitsevien tavoite-, toiminta- ja resurssiriippuvuuksien määrästä ja luonteesta sekä työn tekemisen spatio-temporaalisen hajautuneisuuden hallinnan tarpeesta. Koordinaatiokäytäntöjen osuvuuteen vaikuttavat lisäksi koordinaatiossa hyödynnettyjen teknologioiden monipuolisuus sekä yhteistyökumppaneiden välinen sosiaalinen pääoma. Kompleksiset riippuvuussuhteet tai voimakas spatio-temporaalinen hajautuneisuus toimijoiden välillä eivät suoraan heikennä edellytyksiä onnistuneeseen koordinaatioon ja informaatiovuorovaikutukseen, vaan keskeisin informaatiovuorovaikutuksen suorituskyvyn selittäjä on koordinaatiokäytäntöjen osuvuus suhteessa koordinaatiotarpeeseen. Tutkimuksen tuloksena syntynyt koordinaatiokäytäntöjen ja informaatiovuorovaikutuksen muodostumista selittävä malli vie eteenpäin koordinaatioteoriaa. Työelämän tiedonhallinnan, työprosessien, työmenetelmien ja suorituskyvyn kehittäjille tutkimus tarjoaa viitekehyksen ja työkalun analysoida ja tunnistaa koordinaatiokäytäntöjen ja informaatiovuorovaikutuksen kehittämistarpeita ja -mahdollisuuksia. Tutkimuksessa kehitetty viitekehys tarjoaa konkreettisen apuvälineen erityisesti informaatio- ja kommunikaatioteknologioiden hyödyntämisen suunnitteluun ja käyttötavoista sopimiseen hajautuneen työn eri yhteistyötilanteissa.New ICTs and intensive digital collaboration have potential for enhancing collaborative work. Much of modern work involves dealing with information representations of various types and forming insights and decisions based on that information. The objective of the study was to understand how accessibility of information is linked to the successfulness of coordination in distributed work. In distributed work, the collaborators and the resources of the work are spatially and temporally distributed. The goal for the study was to conceptualise and empirically specify the core drivers and shapers influencing information interaction performance in the coordination of distributed work. The research questions of the study were: What kind of coordinative practices does distributed work require, what factors shape these practices and how these practices influence information interaction performance. The study contributes to coordination theory through examination of the challenges and performance of information interaction related to coordination in diverse work environments. The study analysed the nature of coordinative practices, the shapers of these practices and effects of coordinative practices on information interaction performance success. Maintenance of situation awareness and management of experience knowledge were approached as comprehensive, information-intensive coordinative practices applied in distributed work. The overall formation of coordination practices are hypothesized to be shaped by the nature of interdependencies, social capital, technological affordances and spatio-temporal dispersion between collaborators. It is proposed that these factors influence and enable success in information interaction performance in distributed work. The study was an in-depth multi-method comparative multiple-case study executed in diverse real-life work contexts. The multiple case studies empirically examine the framework for explaining formation of coordinative practices and information interaction performance success developed in the study. The contexts studied in the case studies include process control in the chemical industry, technical support service in machine maintenance business, service production in the telecommunications industry and security services in facilities’ maintenance. The empirical data was collected vie thematic interviews, field observations, daily diaries and surveys. The study shows that the nature and characteristics of interdependence patterns within distributed activities and resources influence the coordination needs in distributed work. Interdependence complexity creates challenging coordination needs, in large numbers, the management of which requires coordination practices. The results of the study show that the interdependency complexity does not make successful coordination impossible. The better the fit between, on one hand, the scope and nature of the coordination mechanisms applied in the distributed work and, on the other, the level of coordination challenge involved, the more successful and disturbance-free the information interaction performance will be. The appropriateness of the coordination practices with respect to the real-world coordination needs is directly reflected in the quality of the information interaction performance of the collaborative actors. High spatio-temporal dispersion among collaborators does not make good coordination impossible. However, in order to enable the best possible fit of coordination practice to associated coordination challenge, higher social capital among collaborators and higher variety of actually applied technological affordances in the coordination enhance the fit, regardless of the overall level of interdependence portfolio complexity. The study provides practitioners of work design and work-process development with conceptual tools to analyse information interaction in distributed work and uncover the root causes of information interaction performance disturbances and successes. Conceptual tools assist practitioners in observing coordinative practices and factors shaping these practices, and in unlocking potential for current practices’ enhancement

Dynamic reconfiguration methods for active camera networks

[no abstract

The Role of Symbolic Capital in Digital Inequality: Lessons from The Student Room's Reputation System

This thesis examines the role that digital reputation plays in inequalities on the popular forum: The Student Room. Reputation systems (sometimes described as rating systems) are conventionally theorised as mechanisms for the facilitation of trust and cooperation online. This study illustrates, to the contrary, that digital reputation is implicated in a range of additional social practices and goals, such as the pursuit of status and the exercising of power. The recognition theory of Axel Honneth, and Pierre Bourdieu’s concept of symbolic capital are used to propose a basis for reconceptualising digital reputation. It is argued that the full impact and significance of digital reputation cannot be understood without the use of qualitative, exploratory methods, without which it is impossible to identify the contextual goals and strategies that shape and stratify digital practice. This context defines the appropriation of digital reputation, and its meaning and impact. It is also argued that digital inequality literature stands to benefit from traditional sociological insights into the nature of inequality. To illustrate this stance, Bourdieu's apparatus is incorporated into the research design, which consists in participant observation of four forums (Chat, Fitness, Universities and Religion) alongside qualitative interviews. Research identifies the interests that drive users in their practice in The Student Room, and different forms of capital that they deploy in order to attain their goals. It also explores their perceptions and experiences of the reputation system, illustrating how reputation serves as a form of symbolic capital in the various struggles and pursuits of users across the site. These findings offer an important contribution both to the fields of digital inequality, and digital reputation by providing a finely grained exposition of the mechanisms of power in online spaces, and its role in conditioning both digital reputation and inequality