Fine Tuning Transformer Models for Domain Specific Feature Extraction

La naturalesa del processament de llengües naturals ha canviat dràsticament en els últims anys. La implementació de Large Language Models pre-entrenat en milers de dades sense etiquetar ha obert la porta a una nova capa de comprensió del processament de text. Això ha desplaçat la investigació a la zona per explotar aquests grans models per obtenir millors resultats per a les tasques més petites. D'aquesta manera, el processament de llengües naturals està adquirint una importància cada vegada major. Afinant els diferents models de llenguatge gran amb dades específiques de context i de tasques, aquests models ràpidament aprenen a seguir patrons i generalitzar-los a nous conceptes. Entenen el llenguatge natural en gran mesura i poden generar relacions en paraules, frases i paràgrafs. La sintonització fina neuronal s'ha convertit en una tasca cada vegada més important per simplificar l'ús de solucions d'aprenentatge automàtic amb pocs recursos. L'augment dels models de transformadors pre-entrenats per al processament del llenguatge natural ha complicat la selecció i l'experimentació d'aquests models, augmentant el temps de recerca i experimentació. Aquest estudi passa per l'estat actual de l'art dels models transformadors i intenta estudiar l'abast i l'aplicabilitat d'aquests models. A partir d'aquest treball inicial, el document produeix un gasoducte complet d'ajust fi del model que permet a l'usuari obtenir fàcilment un model llest per a utilitzar per a una tasca de llenguatge natural. Per provar aquest model, la canonada es prova i s'avalua per a l'extracció automàtica de característiques (és a dir, funcionalitats) des d'aplicacions mòbils utilitzant documents de llenguatge natural disponibles, com ara descripcions.The nature of Natural Language Processing has drastically changed in the past years. The implementation of Large Language Models pre-trained on thousands of unlabelled data has opened the door to a new layer of comprehension of text processing. This has shifted research in the area to exploit these large models to obtain better results for smaller tasks. In this way, fine-tuning Natural Language Processing is becoming increasingly important. By fine-tuning the different large language models with context and task-specific data, these models quickly learn to track patterns and generalize to new concepts. They understand natural language to a great extent and can generate relationships in words, phrases, and paragraphs. Fine Tuning has become an increasingly important task to simplify the use of machine learning solutions with low resources. The increase in pre-trained transformer models for Natural Language Processing has complicated the selection and experimentation of these models, increasing research and experimentation time. This study goes through the current state of the art of transformer models and attempts to study the scope and applicability of these models. From this initial work, the paper produces a compre- hensive pipeline of model fine-tuning that allows the user to easily obtain a ready-to-use model for a natural language task. To test this model, the pipeline is tested and evaluated for the automatic extraction of features (i.e. functionalities) from mobile applications using available natural language documents, such as descriptions

Recursos fotográficos y archivos históricos para la historia de Cataluña en el siglo XX : el caso de Cerdanyola del Vallès y la UAB

Este artículo presenta los resultados de la investigación "Arxius i fons documentals per a la Història de Catalunya del segle XX: inventari i valoració. Aplicacions pel desenvolupament de la plataforma d'Història de la Comunicació Ciutadania Plural". Esta investigación fue concebida como una aportación al proyecto "Ciudadanía Plural" y a su plataforma web, creada por el Laboratorio de Periodismo y Comunicación para la Ciudadanía Plural. El objetivo fue hacer un inventario de archivos históricos catalanes, para conocer sus datos básicos, analizar las condiciones de uso y observar los tipos y temas de sus fondos documentales, para conseguir una muestra de fotografías históricas acordes a una explicación histórica plural y no androcéntrica del municipio de Cerdanyola del Vallès y la Universidad Autónoma de Barcelona.This article shows the results of the investigation "Archives and Documental Depositories for the History of Catalonia during the 20th Century: Inventory and Evaluation". Contributions for the development of the website of Communication History "Ciudadanía Plural". This investigation was conceived as a contribution to the project "Ciudadanía Plural" and its website, which was created by "Laboratorio de Periodismo y Comunicación para la Ciudadanía Plural". The main goal of this investigation was to make an inventory of the Catalan historical documents in order to analyze the different typology of the historical documents, their terms of use and the typology of topics dealt in each deposits. This collection was made to obtain a sample of different historical pictures in order to provide a historical explanation which was collective and non-androcentric about the history of Cerdanyola del Vallès and the Autonomous University of Barcelona

El significado de las actividades acuáticas del bebé desde una perspectiva evolutiva

Este artículo pretende profundizar desde una perspectiva evolutiva en el estudio y análisis de las actividades acuáticas del bebé. A partir de aquí, el artículo interpreta desde la óptica filogenética y ontogenética de las actividades acuáticas de los be¬bés qué significado tendrán estas actividades en su desarrollo general. Para alcanzar los objetivos fijados se utiliza un enfoque fenomenológico (Husserl, 1996) que se sustentará conceptualmente en el abordaje filogenético del desarrollo psicomotor de Fonseca (1998). Partiendo de esta estructura, se estudiarán las razones filogenéticas y ontogenéticas que nos pueden significar las actividades acuáticas del bebé a fin de que, en última instancia, y desde la línea más existencial de la fenomenología (Sartre, 1999; Merleau-Ponty, 2000), podamos argumentar la significación evolutiva de estas actividades

Les interaccions dels nadons en les activitats aquàtiques. Conseqüències educatives

La present investigació té com a objectiu principal descobrir quins elements de la interacció educativa de la díade nen-adult afavoreixen o dificulten l’accés a les destreses aquàtiques per part del nen. Aquesta voluntat general implica l’estudi teòric de diversos elements. D’una banda, la investigació fa un repàs de les activitats aquàtiques en general, incidint en la història i la cultura que finalment ha contribuït a l’existència d’un cert tipus de pràctiques educatives amb nadons i en el medi aquàtic. També es desenvolupa la noció d’aigua mitjançant la seva dimensió física, cultural i biològica, per la qual cosa coneixem un medi pluridimensional. Aquest treball posiciona la mirada de l’autor entorn del model d’activitats aquàtiques per a nadons

From molecular force generation to large scale cellular movements

[eng] The propulsion mechanisms that drive the movements of living cells constitute perhaps the most impressive engineering works of nature. Still, it is simply the interaction between molecules which is responsible for these complex and robust motility mechanisms. A question that arises naturally is thus how the underlying molecules self-organize to perform such highly coordinated tasks. Although a global understanding of cell behavior is still out of reach, the study of particular aspects of biological systems may help building up a more clear picture. Biologists have made lots of efforts to characterize the proteins involved in cellular movements, to identify their interactions and to understand their regulation. This information is very important and has explained several aspects of the motility of living cells. The discovery of proteins able to generate forces at molecular scales, known as motor proteins, provided essential information to understand the observed cellular movements. However, the force developed at the molecular level by a single protein is too weak to drive cellular movement on its own. Probably the clearest example is the functioning of muscles. The forces developed are about 12 orders of magnitude larger than the forces generated at molecular scales. This is possible because the contraction of muscles involves the collective action of many motor proteins (Alberts et al., 2004; Bray, 1992). Although each one of these proteins generates a small force (in the picoNewton range), the sum of their individual contributions leads to large forces. At the cellular scales something similar occurs. The necessary forces for the motion of a cell and even for intracellular movements, are larger than molecular forces. The collective action of molecular force generators is thus essential to understand most cellular movements. Here we study theoretically some examples of cellular movements and compare quantitatively, when possible, our results to the experimental observations. The work is divided in three parts: we first study the motion of oil drops propelled by an actin comet tail, which closely mimics the motility mechanism of several bacterial pathogens, as the bacteria Listeria. The second part is devoted to particular aspects of intracellular transport. We study the physical mechanism of membrane tube extraction by motor proteins, the traffic of motor proteins at large scales and the collective force generation of molecular motors pulling on fluid membranes. In the last part we address both the motion of chromosomes in eukaryotic cell division and the stability of spindle-like structures, as the mitotic spindle. Our aim is to understand how these movements arise from the cooperative action of molecular force generators. The forces developed by ensembles of force generators are not static, but depend on the dynamic state of the system. This is so because the kinetics of the individual force generators is strongly affected by the forces created by themselves. As we discuss below, this force-dependent kinetics imposes a highly non-linear dynamics for the system and, as a consequence, several dynamic instabilities occur. Our work shows that the collective behavior of molecular force generators is essential to understand some features of cellular movements.[cat] Els mecanismes de propulsió responsables dels moviments cel·lulars són potser les obres d’enginyeria més impressionants de la natura. Tot i així, són simplement interaccions entre molècules les responsables d’aquests moviments tan complexes. La pregunta és doncs com s’autoorganitzen les molècules per dur a terme aquestes tasques que requereixen un alt grau de coordinació. Malgrat que la comprensió global del comportament cel·lular està encara lluny del nostre abast, l’estudi d’aspectes particulars dels sistemes biològics pot contribuir a la seva comprensió. Els biòlegs han fet molt esforços per caracteritzar les proteïnes involucrades en els moviments cel·lulars, per identificar les seves interaccions i per entendre la seva regulació. Aquesta informació és molt important i ha permès explicar diversos aspectes del moviment cel·lular. El descobriment de proteïnes capaces de generar forces a escales moleculars, anomenades proteïnes motores, va aportar una informació essencial per a la comprensió dels moviments cel·lulars. La força creada a nivell molecular per una proteïna és massa petita per tal d’induir el moviment cel·lular per sí sola. Probablement l’exemple més clar és el funcionament dels músculs. Les forces que nosaltres som capaços de crear són aproximadament 12 ordres de magnitud més grans que les forces generades a l’escala molecular. Això és possible perquè les forces necessàries per a la contracció muscular estan generades col·lectivament per grans grups de proteïnes motores. Malgrat que cada una d’aquestes proteïnes desenvolupa una força petita (de l’ordre d’alguns pico Newtons), la suma de totes les contribucions individuals pot generar forces molt més grans. A nivell de la cèl·lula té lloc un fenomen similar. Les forces necessàries per induir el moviment de la cèl·lula i/o els moviments intracel·lulars són majors que les originades a nivell molecular. Per aquesta raó, l’acció col·lectiva de generadors de força moleculars és essencial per comprendre els moviments cel·lulars. En aquest treball estudiem a nivell teòric diversos casos de moviments cel·lulars i comparem quantitativament, quan això és possible, els nostres resultats a les observacions experimentals. El treball està dividit en tres parts: primer estudiem el moviments de gotes d’oli propulsades per un cometa d’actina, les quals mimetitzen el mecanisme de propulsió de bacteris com ara Listeria. La segona part està dedicada a diversos aspectes del transport intracel·lular. Estudiem el mecanisme físic pel qual proteïnes motores estiren nanotubs de membrana, el tràfic a gran escala de proteïnes motores i també la generació col·lectiva de força de motors moleculars que estiren membranes fluïdes. En la última part, estudiem el moviment de cromosomes i l’estabilitat del fus mitòtic en la divisió cel·lular eucariota. El nostre objectiu és entendre com l’acció col·lectiva de generadors de força moleculars dona lloc a aquests moviments cel·lulars. Com demostrem en el nostre estudi, la combinació de la dinàmica col·lectiva i la cinètica del generadors de força elementals, la qual depèn fortament de la força que ells mateixos generen, dona lloc a inestabilitats dinàmiques. Així doncs, la dinàmica col·lectiva dels generadors elementals de força és essencial per entendre diversos aspectes dels moviments cel·lulars

Las interacciones de los bebés en las actividades acuáticas. Consecuencias educativas

La presente investigación tiene como objetivo principal descubrir qué elementos de la interacción educativa de la díada niño-adulto favorecen o dificultan el acceso a las destrezas acuáticas por parte del niño. Esta voluntad general implica el estudio teórico de varios elementos. Por un lado, la investigación hace un repaso de las actividades acuáticas en general, incidiendo en la historia y la cultura que finalmente ha contribuido a la existencia de un cierto tipo de prácticas educativas con bebés y en el medio acuático. También se desarrolla la noción de agua mediante su dimensión física, cultural y biológica, por lo que conocemos un medio pluridimensional. Este trabajo posiciona la mirada del autor en torno al modelo de actividades acuáticas para bebés

Alteritzar la singularitat: veus per una pedagogia de l'experiència

Parte de la investigación en torno a la realidad educativa que se ha desarrollado durante los últimos años se caracteriza por intentar encontrar formas de interpretación orientadas a significar los procesos formativos centrados en las vivencias singulares de los agentes que participan de la educación así como en la posibilidad que éstas ofrecen de devenir experiencia, eso es, vivencia concienciada. A raíz de las mismas podemos observar como la biografía apunta a ser una de las más emblemáticas formalizaciones del proceso de narración de vivencias. Pero, aún cuando la misma se perfila como una de las narraciones que más promueven la interpretación e intercambio de vivencias, posibilitando la reflexión e, incluso, formación mediada, la biografía todavía presenta como forma teorética algunos escollos. Los cuales, pueden ser utilizados como preguntas base para formular una voz de las pedagogías de la experiencia. Justamente, interrogarse y repensar su factibilidad es el tema que se ensaya en el presente artículo. ______________________________________________________________________________________________________________________________________________ Une partie de la recherche qui a été développée autour de la réalité éducative au cours de ces dernières années se caractérise par la recherche de formes d’interprétation orientées vers la manifestation des processus de formation centrés sur le vécu des agents participant à l’éducation ainsi que vers la possibilité que celui-ci devienne expérience, c’est-à-dire vécu conscient. À la base de tout cela, on peut remarquer comment la biographie vise à être l’une des formalisations les plus emblématiques du processusd de narration du vécu. De surcroît, même lorsqu’elle se profile comme l’une des narrations suscitant le plus l’interprétation et l’échange du vécu, permettant la réflexion, voire la formation médiatisée, la biographie présente encore certains écueils comme forme théorique. Or, ceux-ci peuvent être utilisés comme autant de questions de base permettant de formuler une voix des pédagogies de l’expérience. C’est précisément le fait de s’interroger et de repenser sa faisabilité qui est le thème sous-jacent au présent article.A part of the research conducted in recent years in education has been characterised by attempts at providing interpretations oriented at lending meaning to learning processes centred on the specific, singular experiences of agents that participate in education and on the possibility that the latter offer of becoming conscious, learned experiences. From this it can be seen that biography constitutes one of the best ways of formalising the process of narrating experiences. Yet, even if biography is seen as one of the narrative forms that does most for promoting the interpretation and exchange of experiences, facilitating reflection and, even, training, biography as a theoretical form still presents a number of difficulties. These can be used as questions for formulating a voice of the pedagogies of experience. Therefore, this article raises questions concerning this theoretical form and rethinks the feasibility of this method.Parte de la investigación en torno a la realidad educativa que se ha desarrollado durante los últimos años se caracteriza por intentar encontrar formas de interpretación orientadas a significar los procesos formativos centrados en las vivencias singulares de los agentes que participan de la educación así como en la posibilidad que éstas ofrecen de devenir experiencia, eso es, vivencia concienciada. A raíz de las mismas podemos observar como la biografía apunta a ser una de las más emblemáticas formalizaciones del proceso de narración de vivencias. Pero, aún cuando la misma se perfila como una de las narraciones que más promueven la interpretación e intercambio de vivencias, posibilitando la reflexión e, incluso, formación mediada, la biografía todavía presenta como forma teorética algunos escollos. Los cuales, pueden ser utilizados como preguntas base para formular una voz de las pedagogías de la experiencia. Justamente, interrogarse y repensar su factibilidad es el tema que se ensaya en el presente artículo

La sociedad de la ignorancia y otros ensayos

70 p.Libro ElectrónicoRecopilación de tres ensayos del ingeniero Antoni Brey y los filósofos Daniel Innerarity y Gonçal Mayos, con un prólogo del antropólogo Eudald Carbonell. Una reflexión acerca de la influencia que las nuevas formas de comunicación tienen sobre el individuo y sobre el funcionamiento y la distribución del poder en las sociedades democráticas. Los autores repasan la otra cara de la Sociedad del Conocimiento, en la que los ciudadanos, inundados de información, se enfrentan a una dificultad creciente para interpretar la realidad de un mundo que es cada día más complejo.Se trata de una interesante reflexión acerca de la influencia que las nuevas formas de comunicación tienen sobre el individuo y sobre el funcionamiento y la distribución del poder en las sociedades democráticas El texto repasa la otra cara de la Sociedad del Conocimiento, en la que los ciudadanos, infoxificados, se enfrentan a una dificultad creciente para interpretar la realidad de un mundo que es cada día más complejo e impredecible. Los ensayos de Antoni Brey, Daniel Innerarity y Gonçal Mayos constituyen una síntesis lúcida de nuestro comportamiento social como especie. La evolución exponencial de la tecnología, la aplastante presión sobre los recursos no renovables, así como el crecimiento demográfico están produciendo una situación de incertidumbre sobre nuestro futuro en el planeta. La hiperconexión que se produce como consecuencia de la socialización de la revolución científico-técnica nos hace incrementar la complejidad en los procesos de relación social de nuestra especie, como nunca antes se había producido. Según se argumenta, la complejidad que ha emergido es un producto evolutivo y no se puede gestionar, en contra de lo que algunos especímenes humanos piensan; según se afirma, lo único que podemos hacer como Homo sapiens, para enfrentarnos al futuro, es trabajar para poder manejar la incertidumbre planteando escenarios hipotéticos y aplicando modelos que, en cualquier caso, deberán contrastarse empíricamente.Prólogo 7 Introducción 11 La Sociedad de la Ignorancia (Antoni Brey) 17 La Sociedad del Desconocimiento (Daniel Innerarity) 43 La Sociedad de la Incultura (Gonçal Mayos) 5