A Survey on Data-Driven Evaluation of Competencies and Capabilities Across Multimedia Environments

The rapid evolution of technology directly impacts the skills and jobs needed in the next decade. Users can, intentionally or unintentionally, develop different skills by creating, interacting with, and consuming the content from online environments and portals where informal learning can emerge. These environments generate large amounts of data; therefore, big data can have a significant impact on education. Moreover, the educational landscape has been shifting from a focus on contents to a focus on competencies and capabilities that will prepare our society for an unknown future during the 21st century. Therefore, the main goal of this literature survey is to examine diverse technology-mediated environments that can generate rich data sets through the users’ interaction and where data can be used to explicitly or implicitly perform a data-driven evaluation of different competencies and capabilities. We thoroughly and comprehensively surveyed the state of the art to identify and analyse digital environments, the data they are producing and the capabilities they can measure and/or develop. Our survey revealed four key multimedia environments that include sites for content sharing & consumption, video games, online learning and social networks that fulfilled our goal. Moreover, different methods were used to measure a large array of diverse capabilities such as expertise, language proficiency and soft skills. Our results prove the potential of the data from diverse digital environments to support the development of lifelong and lifewide 21st-century capabilities for the future society

Análise comparativa entre técnicas de autoria de código-fonte

Encontrar especialistas em desenvolvimento de software geralmente é uma despesa operacional significativa para as empresas. Para aliviar esse problema, alguns pesquisadores propuseram diferentes estratégias para encontrar especialistas. Apesar desses esforços, tais estratégias implicam em soluções específicas e julgamentos específicos que levam a diferentes conclusões, apesar de contribuições semelhantes. Neste trabalho, construímos a compreensão do domínio selecionando métricas de autoria de código-fonte por meio de uma revisão da literatura, a partir daí propusemos um protótipo de ferramenta que usa essas métricas na identificação de especialistas em código-fonte de software em vários projetos, disponível no repositório de código-fonte, GitHub. A partir desses resultados, realizamos uma avaliação com três abordagens baseadas: em número de commit, linhas de código modificadas e em grau de conhecimento, buscando analisar 100 projetos open-source para identificação de especialistas a partir do código-fonte. Nesta avaliação, realizamos uma comparação da convergência de especialistas a partir das métricas computadas pelo protótipo e percebemos que estas métricas apresentam uma relação de convergência de 50,15% nas indicações de especialistas. Avaliamos também as métricas em um projeto privado, para tanto, foi construído um oráculo para comparar os resultados apontados pelo protótipo e o conhecimento real dos desenvolvedores. Os resultados apontam que, para um cenário, de um pequeno projeto com poucos desenvolvedores, as métricas apresentam uma taxa de assertividade de 55%, 65% e 70%, para abordagens baseadas em número de linhas modificadas, métricas de número de commit e grau de conhecimento, respectivamente. Este trabalho adiciona-se ao corpo de conhecimento sobre determinação automática de conhecimento de código-fonte de software, mostrando a viabilidade e fornecendo uma avaliação do potencial uso de métricas de conhecimento de código-fonte usadas em repositórios de código-fonte de software