865 research outputs found
Trade-off among timeliness, messages and accuracy for large-Ssale information management
The increasing amount of data and the number of nodes in large-scale environments
require new techniques for information management. Examples of such environments
are the decentralized infrastructures of Computational Grid and Computational
Cloud applications. These large-scale applications need different kinds
of aggregated information such as resource monitoring, resource discovery or economic
information. The challenge of providing timely and accurate information
in large scale environments arise from the distribution of the information. Reasons
for delays in distributed information system are a long information transmission
time due to the distribution, churn and failures.
A problem of large applications such as peer-to-peer (P2P) systems is the increasing
retrieval time of the information due to the decentralization of the data
and the failure proneness. However, many applications need a timely information
provision. Another problem is an increasing network consumption when the application
scales to millions of users and data. Using approximation techniques allows
reducing the retrieval time and the network consumption. However, the usage of
approximation techniques decreases the accuracy of the results. Thus, the remaining
problem is to offer a trade-off in order to solve the conflicting requirements of
fast information retrieval, accurate results and low messaging cost.
Our goal is to reach a self-adaptive decision mechanism to offer a trade-off
among the retrieval time, the network consumption and the accuracy of the result.
Self-adaption enables distributed software to modify its behavior based on
changes in the operating environment. In large-scale information systems that use
hierarchical data aggregation, we apply self-adaptation to control the approximation
used for the information retrieval and reduces the network consumption and
the retrieval time. The hypothesis of the thesis is that approximation techniquescan reduce the retrieval time and the network consumption while guaranteeing an
accuracy of the results, while considering user’s defined priorities.
First, this presented research addresses the problem of a trade-off among a
timely information retrieval, accurate results and low messaging cost by proposing
a summarization algorithm for resource discovery in P2P-content networks.
After identifying how summarization can improve the discovery process, we propose
an algorithm which uses a precision-recall metric to compare the accuracy
and to offer a user-driven trade-off. Second, we propose an algorithm that applies
a self-adaptive decision making on each node. The decision is about the pruning
of the query and returning the result instead of continuing the query. The pruning
reduces the retrieval time and the network consumption at the cost of a lower accuracy
in contrast to continuing the query. The algorithm uses an analytic hierarchy
process to assess the user’s priorities and to propose a trade-off in order to satisfy
the accuracy requirements with a low message cost and a short delay.
A quantitative analysis evaluates our presented algorithms with a simulator,
which is fed with real data of a network topology and the nodes’ attributes. The
usage of a simulator instead of the prototype allows the evaluation in a large scale
of several thousands of nodes. The algorithm for content summarization is evaluated
with half a million of resources and with different query types. The selfadaptive
algorithm is evaluated with a simulator of several thousands of nodes
that are created from real data. A qualitative analysis addresses the integration
of the simulator’s components in existing market frameworks for Computational
Grid and Cloud applications.
The proposed content summarization algorithm reduces the information retrieval
time from a logarithmic increase to a constant factor. Furthermore, the
message size is reduced significantly by applying the summarization technique.
For the user, a precision-recall metric allows defining the relation between the retrieval
time and the accuracy. The self-adaptive algorithm reduces the number of
messages needed from an exponential increase to a constant factor. At the same
time, the retrieval time is reduced to a constant factor under an increasing number
of nodes. Finally, the algorithm delivers the data with the required accuracy
adjusting the depth of the query according to the network conditions.La gestió de la informació exigeix noves tècniques que tractin amb la creixent
quantitat de dades i nodes en entorns a gran escala. Alguns exemples d’aquests
entorns són les infraestructures descentralitzades de Computacional Grid i Cloud.
Les aplicacions a gran escala necessiten diferents classes d’informació agregada
com monitorització de recursos i informació econòmica. El desafiament de proporcionar
una provisió ràpida i acurada d’informació en ambients de grans escala
sorgeix de la distribució de la informació. Una raó és que el sistema d’informació
ha de tractar amb l’adaptabilitat i fracassos d’aquests ambients.
Un problema amb aplicacions molt grans com en sistemes peer-to-peer (P2P)
és el creixent temps de recuperació de l’informació a causa de la descentralització
de les dades i la facilitat al fracàs. No obstant això, moltes aplicacions necessiten
una provisió d’informació puntual. A més, alguns usuaris i aplicacions accepten
inexactituds dels resultats si la informació es reparteix a temps. A més i més, el
consum de xarxa creixent fa que sorgeixi un altre problema per l’escalabilitat del
sistema. La utilització de tècniques d’aproximació permet reduir el temps de recuperació
i el consum de xarxa. No obstant això, l’ús de tècniques d’aproximació
disminueix la precisió dels resultats. Així, el problema restant és oferir un compromís
per resoldre els requisits en conflicte d’extracció de la informació ràpida,
resultats acurats i cost d’enviament baix.
El nostre objectiu és obtenir un mecanisme de decisió completament autoadaptatiu
per tal d’oferir el compromís entre temps de recuperació, consum de
xarxa i precisió del resultat. Autoadaptacío permet al programari distribuït modificar
el seu comportament en funció dels canvis a l’entorn d’operació. En sistemes
d’informació de gran escala que utilitzen agregació de dades jeràrquica,
l’auto-adaptació permet controlar l’aproximació utilitzada per a l’extracció de la informació i redueixen el consum de xarxa i el temps de recuperació. La hipòtesi
principal d’aquesta tesi és que els tècniques d’aproximació permeten reduir el
temps de recuperació i el consum de xarxa mentre es garanteix una precisió adequada
definida per l’usari.
La recerca que es presenta, introdueix un algoritme de sumarització de continguts
per a la descoberta de recursos a xarxes de contingut P2P. Després d’identificar
com sumarització pot millorar el procés de descoberta, proposem una mètrica que
s’utilitza per comparar la precisió i oferir un compromís definit per l’usuari. Després,
introduïm un algoritme nou que aplica l’auto-adaptació a un ordre per satisfer
els requisits de precisió amb un cost de missatge baix i un retard curt. Basat
en les prioritats d’usuari, l’algoritme troba automàticament un compromís.
L’anàlisi quantitativa avalua els algoritmes presentats amb un simulador per
permetre l’evacuació d’uns quants milers de nodes. El simulador s’alimenta amb
dades d’una topologia de xarxa i uns atributs dels nodes reals. L’algoritme de
sumarització de contingut s’avalua amb mig milió de recursos i amb diferents
tipus de sol·licituds. L’anàlisi qualitativa avalua la integració del components del
simulador en estructures de mercat existents per a aplicacions de Computacional
Grid i Cloud. Així, la funcionalitat implementada del simulador (com el procés
d’agregació i la query language) és comprovada per la integració de prototips.
L’algoritme de sumarització de contingut proposat redueix el temps d’extracció
de l’informació d’un augment logarítmic a un factor constant. A més, també permet
que la mida del missatge es redueix significativament. Per a l’usuari, una
precision-recall mètric permet definir la relació entre el nivell de precisió i el
temps d’extracció de la informació. Alhora, el temps de recuperació es redueix
a un factor constant sota un nombre creixent de nodes. Finalment, l’algoritme
reparteix les dades amb la precisió exigida i ajusta la profunditat de la sol·licitud
segons les condicions de xarxa. Els algoritmes introduïts són prometedors per ser
utilitzats per l’agregació d’informació en nous sistemes de gestió de la informació
de gran escala en el futur.Postprint (published version
Trade-off among timeliness, messages and accuracy for large-Ssale information management
The increasing amount of data and the number of nodes in large-scale environments
require new techniques for information management. Examples of such environments
are the decentralized infrastructures of Computational Grid and Computational
Cloud applications. These large-scale applications need different kinds
of aggregated information such as resource monitoring, resource discovery or economic
information. The challenge of providing timely and accurate information
in large scale environments arise from the distribution of the information. Reasons
for delays in distributed information system are a long information transmission
time due to the distribution, churn and failures.
A problem of large applications such as peer-to-peer (P2P) systems is the increasing
retrieval time of the information due to the decentralization of the data
and the failure proneness. However, many applications need a timely information
provision. Another problem is an increasing network consumption when the application
scales to millions of users and data. Using approximation techniques allows
reducing the retrieval time and the network consumption. However, the usage of
approximation techniques decreases the accuracy of the results. Thus, the remaining
problem is to offer a trade-off in order to solve the conflicting requirements of
fast information retrieval, accurate results and low messaging cost.
Our goal is to reach a self-adaptive decision mechanism to offer a trade-off
among the retrieval time, the network consumption and the accuracy of the result.
Self-adaption enables distributed software to modify its behavior based on
changes in the operating environment. In large-scale information systems that use
hierarchical data aggregation, we apply self-adaptation to control the approximation
used for the information retrieval and reduces the network consumption and
the retrieval time. The hypothesis of the thesis is that approximation techniquescan reduce the retrieval time and the network consumption while guaranteeing an
accuracy of the results, while considering user’s defined priorities.
First, this presented research addresses the problem of a trade-off among a
timely information retrieval, accurate results and low messaging cost by proposing
a summarization algorithm for resource discovery in P2P-content networks.
After identifying how summarization can improve the discovery process, we propose
an algorithm which uses a precision-recall metric to compare the accuracy
and to offer a user-driven trade-off. Second, we propose an algorithm that applies
a self-adaptive decision making on each node. The decision is about the pruning
of the query and returning the result instead of continuing the query. The pruning
reduces the retrieval time and the network consumption at the cost of a lower accuracy
in contrast to continuing the query. The algorithm uses an analytic hierarchy
process to assess the user’s priorities and to propose a trade-off in order to satisfy
the accuracy requirements with a low message cost and a short delay.
A quantitative analysis evaluates our presented algorithms with a simulator,
which is fed with real data of a network topology and the nodes’ attributes. The
usage of a simulator instead of the prototype allows the evaluation in a large scale
of several thousands of nodes. The algorithm for content summarization is evaluated
with half a million of resources and with different query types. The selfadaptive
algorithm is evaluated with a simulator of several thousands of nodes
that are created from real data. A qualitative analysis addresses the integration
of the simulator’s components in existing market frameworks for Computational
Grid and Cloud applications.
The proposed content summarization algorithm reduces the information retrieval
time from a logarithmic increase to a constant factor. Furthermore, the
message size is reduced significantly by applying the summarization technique.
For the user, a precision-recall metric allows defining the relation between the retrieval
time and the accuracy. The self-adaptive algorithm reduces the number of
messages needed from an exponential increase to a constant factor. At the same
time, the retrieval time is reduced to a constant factor under an increasing number
of nodes. Finally, the algorithm delivers the data with the required accuracy
adjusting the depth of the query according to the network conditions.La gestió de la informació exigeix noves tècniques que tractin amb la creixent
quantitat de dades i nodes en entorns a gran escala. Alguns exemples d’aquests
entorns són les infraestructures descentralitzades de Computacional Grid i Cloud.
Les aplicacions a gran escala necessiten diferents classes d’informació agregada
com monitorització de recursos i informació econòmica. El desafiament de proporcionar
una provisió ràpida i acurada d’informació en ambients de grans escala
sorgeix de la distribució de la informació. Una raó és que el sistema d’informació
ha de tractar amb l’adaptabilitat i fracassos d’aquests ambients.
Un problema amb aplicacions molt grans com en sistemes peer-to-peer (P2P)
és el creixent temps de recuperació de l’informació a causa de la descentralització
de les dades i la facilitat al fracàs. No obstant això, moltes aplicacions necessiten
una provisió d’informació puntual. A més, alguns usuaris i aplicacions accepten
inexactituds dels resultats si la informació es reparteix a temps. A més i més, el
consum de xarxa creixent fa que sorgeixi un altre problema per l’escalabilitat del
sistema. La utilització de tècniques d’aproximació permet reduir el temps de recuperació
i el consum de xarxa. No obstant això, l’ús de tècniques d’aproximació
disminueix la precisió dels resultats. Així, el problema restant és oferir un compromís
per resoldre els requisits en conflicte d’extracció de la informació ràpida,
resultats acurats i cost d’enviament baix.
El nostre objectiu és obtenir un mecanisme de decisió completament autoadaptatiu
per tal d’oferir el compromís entre temps de recuperació, consum de
xarxa i precisió del resultat. Autoadaptacío permet al programari distribuït modificar
el seu comportament en funció dels canvis a l’entorn d’operació. En sistemes
d’informació de gran escala que utilitzen agregació de dades jeràrquica,
l’auto-adaptació permet controlar l’aproximació utilitzada per a l’extracció de la informació i redueixen el consum de xarxa i el temps de recuperació. La hipòtesi
principal d’aquesta tesi és que els tècniques d’aproximació permeten reduir el
temps de recuperació i el consum de xarxa mentre es garanteix una precisió adequada
definida per l’usari.
La recerca que es presenta, introdueix un algoritme de sumarització de continguts
per a la descoberta de recursos a xarxes de contingut P2P. Després d’identificar
com sumarització pot millorar el procés de descoberta, proposem una mètrica que
s’utilitza per comparar la precisió i oferir un compromís definit per l’usuari. Després,
introduïm un algoritme nou que aplica l’auto-adaptació a un ordre per satisfer
els requisits de precisió amb un cost de missatge baix i un retard curt. Basat
en les prioritats d’usuari, l’algoritme troba automàticament un compromís.
L’anàlisi quantitativa avalua els algoritmes presentats amb un simulador per
permetre l’evacuació d’uns quants milers de nodes. El simulador s’alimenta amb
dades d’una topologia de xarxa i uns atributs dels nodes reals. L’algoritme de
sumarització de contingut s’avalua amb mig milió de recursos i amb diferents
tipus de sol·licituds. L’anàlisi qualitativa avalua la integració del components del
simulador en estructures de mercat existents per a aplicacions de Computacional
Grid i Cloud. Així, la funcionalitat implementada del simulador (com el procés
d’agregació i la query language) és comprovada per la integració de prototips.
L’algoritme de sumarització de contingut proposat redueix el temps d’extracció
de l’informació d’un augment logarítmic a un factor constant. A més, també permet
que la mida del missatge es redueix significativament. Per a l’usuari, una
precision-recall mètric permet definir la relació entre el nivell de precisió i el
temps d’extracció de la informació. Alhora, el temps de recuperació es redueix
a un factor constant sota un nombre creixent de nodes. Finalment, l’algoritme
reparteix les dades amb la precisió exigida i ajusta la profunditat de la sol·licitud
segons les condicions de xarxa. Els algoritmes introduïts són prometedors per ser
utilitzats per l’agregació d’informació en nous sistemes de gestió de la informació
de gran escala en el futur
Local flexibility market design for aggregators providing multiple flexibility services at distribution network level
This paper presents a general description of local flexibility markets as a market-based management mechanism for aggregators. The high penetration of distributed energy resources introduces new flexibility services like prosumer or community self-balancing, congestion management and time-of-use optimization. This work is focused on the flexibility framework to enable multiple participants to compete for selling or buying flexibility. In this framework, the aggregator acts as a local market operator and supervises flexibility transactions of the local energy community. Local market participation is voluntary. Potential flexibility stakeholders are the distribution system operator, the balance responsible party and end-users themselves. Flexibility is sold by means of loads, generators, storage units and electric vehicles. Finally, this paper presents needed interactions between all local market stakeholders, the corresponding inputs and outputs of local market operation algorithms from participants and a case study to highlight the application of the local flexibility market in three scenarios. The local market framework could postpone grid upgrades, reduce energy costs and increase distribution grids’ hosting capacity.Postprint (published version
Technical alignment
This essay discusses the importance of the areas of
infrastructure and testing to help digital preservation services
demonstrate reliability, transparency, and accountability. It
encourages practitioners to build a strong culture in which
transparency and collaborations between technical frameworks
are valued highly. It also argues for devising and applying
agreed-upon metrics that will enable the systematic analysis of
preservation infrastructure. The essay begins by defining
technical infrastructure and testing in the digital preservation
context, provides case studies that exemplify both progress and
challenges for technical alignment in both areas, and concludes
with suggestions for achieving greater degrees of technical
alignment going forward
Bridge Project Prioritization
Kentucky’s 14,000+ bridges are key nodes within the state’s surface transportation network. They facilitate the movement of freight, commercial vehicles, and personal vehicles alike. Historically, the Kentucky Transportation Cabinet (KYTC) has prioritized bridge maintenance projects using sufficiency ratings. These ratings are based on three factors — structural adequacy and safety, design obsolescence, and an asset’s importance within the roadway network. Although useful, sufficiency ratings do not account for factors that should be considered during the prioritization process (e.g., condition factors, risk). To address the shortcomings associated with using sufficiency ratings, KYTC — with the assistance of the Kentucky Transportation Center — has developed and implemented a new Enhanced Bridge Prioritization Index. Sixteen factors distributed across three categories (Condition, Mobility, and Risk) are used to calculate index scores for each structure. Each factor is weighted in proportion to its contribution to the overall index. The Condition category makes up the largest part of the index, accounting for 68% of the overall score. Scores range between 0 and 1. A bridge that receives a score of 0 is the lowest priority, while a bridge that earns a score of 1 ranks as the highest priority. Following successful testing, over the next few budget cycles KYTC intends to use the Enhanced Bridge Prioritization Index. As part of this effort, the agency will evaluate the index’s performance and make revisions as needed
Survey on social reputation mechanisms: Someone told me I can trust you
Nowadays, most business and social interactions have moved to the internet,
highlighting the relevance of creating online trust. One way to obtain a
measure of trust is through reputation mechanisms, which record one's past
performance and interactions to generate a reputational value. We observe that
numerous existing reputation mechanisms share similarities with actual social
phenomena; we call such mechanisms 'social reputation mechanisms'. The aim of
this paper is to discuss several social phenomena and map these to existing
social reputation mechanisms in a variety of scopes. First, we focus on
reputation mechanisms in the individual scope, in which everyone is responsible
for their own reputation. Subjective reputational values may be communicated to
different entities in the form of recommendations. Secondly, we discuss social
reputation mechanisms in the acquaintances scope, where one's reputation can be
tied to another through vouching or invite-only networks. Finally, we present
existing social reputation mechanisms in the neighbourhood scope. In such
systems, one's reputation can heavily be affected by the behaviour of others in
their neighbourhood or social group.Comment: 10 pages, 3 figures, 1 tabl
Co-creation, innovation, decision-making, tech-transfer, and sustainability actions
Funding Information: Open access funding provided by FCT|FCCN (b-on). This work was funded by the European Union’s Horizon 2020 program [H2020-SC5-2019–2]—869520 NextLand, [H2020-SPACE-202]—101004362 NextOcean, Fundação para a Ciência e a Tecnologia (UIDB/00124/2020 and Social Sciences DataLab, PINFRA/22209/2016), POR Lisboa and POR Norte (Social Sciences DataLab, PINFRA/22209/2016). Publisher Copyright: © 2023, The Author(s).European Community (EC) Horizon-funded projects and Earth Observation-based Consortia aim to create sustainable value for Space, Land, and Oceans. They typically focus on addressing Sustainable Development Goals (SDGs). Many of these projects (e.g. Commercialization and Innovation Actions) have an ambitious challenge to ensure that partners share core competencies to simultaneously achieve technological and commercial success and sustainability after the end of the EC funds. To achieve this ambitious challenge, Horizon projects must have a proper governance model and a systematized process that can manage the existing paradoxical tensions involving numerous European partners and their respective agendas and stakeholders. This article presents the VCW-Value Creation Wheel (Lages in J Bus Res 69: 4849–4855, 2016), as a framework that has its roots back in 1995 and has been used since 2015 in the context of numerous Space Business, Earth Observation, and European Community (EC) projects, to address complex problems and paradoxical tensions. In this article, we discuss six of these paradoxical tensions that large Horizon Consortia face in commercialization, namely when managing innovation ecosystems, co-creating, taking digitalization, decision-making, tech-transfer, and sustainability actions. We discuss and evaluate how alliance partners could find the optimal balance between (1) cooperation, competition, and coopetition perspectives; (2) financial, environmental, and social value creation; (3) tech-push and market-pull orientations; (4) global and local market solutions; (5) functionality driven and human-centered design (UX/UI); (6) centralized and decentralized online store approaches. We discuss these challenges within the case of the EC H2020 NextLand project answering the call for greening the economy in line with the Sustainable Development Goals (SDGs). We analyze NextLand Online Store, and its Business and Innovation Ecosystem while considering the input of its different stakeholders, such as NextLand’s commercial team, service providers, users, advisors, EC referees, and internal and external stakeholders. Preliminary insights from a twin project in the field of Blue Economy (EC H2020 NextOcean), are also used to support our arguments. Partners, referees, and EC officers should address the tensions mentioned in this article during the referee and approval processes in the pre-grant and post-grant agreement stages. Moreover, we propose using the Value Creation Wheel (VCW) method and the VCW meta-framework as a systematized process that allows us to co-create and manage the innovation ecosystem while engaging all the stakeholders and presenting solutions to address these tensions. The article concludes with theoretical implications and limitations, managerial and public policy implications, and lessons for Horizon Europe, earth observation, remote sensing, and space business projects.publishersversionpublishe
- …