Towards robust and reliable multimedia analysis through semantic integration of services

Thanks to ubiquitous Web connectivity and portable multimedia devices, it has never been so easy to produce and distribute new multimedia resources such as videos, photos, and audio. This ever-increasing production leads to an information overload for consumers, which calls for efficient multimedia retrieval techniques. Multimedia resources can be efficiently retrieved using their metadata, but the multimedia analysis methods that can automatically generate this metadata are currently not reliable enough for highly diverse multimedia content. A reliable and automatic method for analyzing general multimedia content is needed. We introduce a domain-agnostic framework that annotates multimedia resources using currently available multimedia analysis methods. By using a three-step reasoning cycle, this framework can assess and improve the quality of multimedia analysis results, by consecutively (1) combining analysis results effectively, (2) predicting which results might need improvement, and (3) invoking compatible analysis methods to retrieve new results. By using semantic descriptions for the Web services that wrap the multimedia analysis methods, compatible services can be automatically selected. By using additional semantic reasoning on these semantic descriptions, the different services can be repurposed across different use cases. We evaluated this problem-agnostic framework in the context of video face detection, and showed that it is capable of providing the best analysis results regardless of the input video. The proposed methodology can serve as a basis to build a generic multimedia annotation platform, which returns reliable results for diverse multimedia analysis problems. This allows for better metadata generation, and improves the efficient retrieval of multimedia resources

Ferramenta de auxílio para aprendizagem do Português

É cada vez mais importante utilizar corretamente a linguagem verbal e não-verbal como meio de comunicação uma vez que permite o acesso ao conhecimento e o desenvolvimento social e pessoal. Inicia-se logo na educação pré-escolar o processo de aprendizagem da leitura e da escrita. Este processo é bastante complexo dadas todas as características e regras da língua portuguesa e também porque o desenvolvimento linguístico, mental, motor, emocional e social ocorrem em paralelo e são dependentes entre si. Com o decorrer dos anos a profissão de docente corre o risco de práticas rotineiras, ineficazes e desinteressantes, quer para as crianças, quer para os próprios profissionais de educação. É necessário introduzir novas formas de ensino mais dinâmicas, sistemáticas, interessantes e motivadoras, de um modo mais adaptado à curva de aprendizagem de cada aluno e menos suscetíveis de falha humana pelos profissionais de educação. Assim sendo, é importante minimizar e corrigir os erros na aprendizagem desde o início.Uma aprendizagem deficiente da leitura e escrita dificulta o progresso do aprendiz nos vários níveis de educação escolar. Sendo estes dois mecanismos os principais meios de partilha e aquisição de conhecimento, um aluno que apresente dificuldades neste nível correrá o risco de ficar retido no mesmo ano escolar mais do que uma vez. Além disso, os problemas de aprendizagem provocam não só falhas académicas e de comunicação, como ainda baixas de autoestima com consequentes distúrbios no desenvolvimento social e emocional. Quando um aluno termina a sua vida académica, o seu grau de conhecimento da língua portuguesa pode ainda constituir uma barreira a uma candidatura de emprego. Para além disto, um outro problema está relacionado com o custo que cada um importa ao Estado português, um maior tempo para um estudante completar a educação mínima obrigatória acarreta maiores custos.Neste trabalho, pretende-se desenvolver uma aplicação Android para ajudar no processo de aprendizagem do português. A utilização de ferramentas computacionais de auxílio à aprendizagem tende a combater falhas nesse processo: desmotivação; erros decorrentes de práticas rotineiras por parte dos professores; inadequação da curva de aprendizagem a cada aluno; falta de experiências familiares que estimulem a aprendizagem da escrita e leitura. A aplicação tem dois níveis de aprendizagem com exercícios desde o treino do traço com a caneta até à aprendizagem de letras, palavras e construção de frases. Os exercícios estão de acordo com metas curriculares estabelecidas pelo Ministério da Educação. Em paralelo com o ensino do português, existirá uma bateria de exercícios para despistagem de problemas neurológicos associados a um atraso na curva do crescimento da aprendizagem. A aplicação diferencia-se dos manuais escolares pela capacidade de corrigir os exercícios e indicar ao aprendiz os principais erros cometidos e pontos a melhorar. Para que seja possível a utilização da aplicação por crianças que não sabem ler é utilizado o som para explicar os exercícios e conteúdos existentes. À medida que o aluno resolve exercícios são recolhidas estatísticas e outras informações importantes para que o professor tenha conhecimento sobre a evolução e principais dificuldades. Além disso, estas informações são úteis para adaptar a dificuldade dos exercícios propostos e tentar manter o aluno motivado.It's increasingly important to use verbal and non-verbal language correctly as means of communication since it allows access to knowledge and social and personal development.The process of learning to read and write begins immediately in preschool education. This process is very complex given all the characteristics and rules of the Portuguese language and because the linguistic, mental, motor, emotional and social development occur in parallel and are dependent on each other. Over the years, the teaching profession incurs the risk of routine, ineffective and uninteresting practices, both for the children and for the education professionals themselves. It's necessary to introduce new ways of teaching more dynamic, systematic, interesting and motivating in a way that it's more adapted to the learning curve of each student and less susceptible to human error by education professionals. Therefore, it's important to minimize and correct the learning errors from the beginning.A poor learning of reading and writing makes the progress of the student in the various school levels harder. As these two mechanisms are the main channels of knowledge share and acquisition, a student who presents difficulties at this level will incur the risk of being retained in the same school year more than once. Furthermore, learning problems not only cause academic and communication failures, but also low self-esteem with consequent disturbances in social and emotional development. When a student finishes his academic life, his level of Portuguese knowledge may be a barrier to a job application. In addition, another problem is related with the cost that each student represents for the Portugal government, this cost increases with the years needed to complete the minimum required education level.In this work, it's intended to develop an Android application to help in the process of learning Portuguese. The use of computational tools to aid learning tends to combat failures in this process: demotivation; errors arising from routine practices used by teachers; inadequacy of the learning curve for each student; lack of family experiences that stimulate the learning of writing and reading. The application has two levels of learning with exercises ranging from stroke training with the pen to learning letters, words and sentence construction. The exercises are in accordance with curricular goals established by the ministry of education. In parallel with the teaching of Portuguese, there will be a battery of exercises for screening neurological problems associated with a delay in the learning growth curve. The application differs from the textbooks for the ability to correct the exercises and indicate to the student the main mistakes made and points to be improved. To be able to use the application by children who can't read, sound is used to explain exercises and existing contents. As the student solves exercises, statistics and other important information are collected so that the teacher is aware of the evolution and main difficulties. In addition, this information is useful to adapt the difficulty of the proposed exercises and try to keep the student motivated