Tutorial: Legality and Ethics of Web Scraping

Researchers and practitioners often use various tools and technologies to automatically retrieve data from the Web (often referred to as Web scraping) when conducting their projects. Unfortunately, they often overlook the legality and ethics of using these tools to collect data. Failure to pay due attention to these aspects of Web Scraping can result in serious ethical controversies and lawsuits. Accordingly, we review legal literature together with the literature on ethics and privacy to identify broad areas of concern together with a list of specific questions that researchers and practitioners engaged in Web scraping need to address. Reflecting on these questions and concerns can potentially help researchers and practitioners decrease the likelihood of ethical and legal controversies in their work

Integration of RFID and Industrial WSNs to Create A Smart Industrial Environment

A smart environment is a physical space that is seamlessly embedded with sensors, actuators, displays, and computing devices, connected through communication networks for data collection, to enable various pervasive applications. Radio frequency identification (RFID) and Wireless Sensor Networks (WSNs) can be used to create such smart environments, performing sensing, data acquisition, and communication functions, and thus connecting physical devices together to form a smart environment. This thesis first examines the features and requirements a smart industrial environment. It then focuses on the realization of such an environment by integrating RFID and industrial WSNs. ISA100.11a protocol is considered in particular for WSNs, while High Frequency RFID is considered for this thesis. This thesis describes designs and implementation of the hardware and software architecture necessary for proper integration of RFID and WSN systems. The hardware architecture focuses on communication interface and AI/AO interface circuit design; while the driver of the interface is implemented through embedded software. Through Web-based Human Machine Interface (HMI), the industrial users can monitor the process parameters, as well as send any necessary alarm information. In addition, a standard Mongo database is designed, allowing access to historical and current data to gain a more in-depth understanding of the environment being created. The information can therefore be uploaded to an IoT Cloud platform for easy access and storage. Four scenarios for smart industrial environments are mimicked and tested in a laboratory to demonstrate the proposed integrated system. The experimental results have showed that the communication from RFID reader to WSN node and the real-time wireless transmission of the integrated system meet design requirements. In addition, compared to a traditional wired PLC system where measurement error of the integrated system is less than 1%. The experimental results are thus satisfactory, and the design specifications have been achieved

Pesquisa de emprego na web: plataforma de agregação de ofertas de emprego e a aceitação destas ofertas no mercado de trabalho

Estatísticas revelam que a empregabilidade está a aumentar, apesar de existir uma elevada taxa de desemprego jovem. Por detrás disto, há um claro desajuste entre as qualificações exigidas pelos empregadores e as apresentadas pelos candidatos. Apesar de um aumento ao acesso a todo o tipo de informação, a pesquisa por ofertas de emprego continua a ser um desafio. A requalificação de competências pode ser uma alternativa em uma situação de desemprego, mas só se essas competências forem requeridas pelo mercado de trabalho. Este tipo de situação pode ser controlada, caso a população tenha acesso aos requisitos mais valorizados pelo mercado de trabalho. O nosso objetivo é entender o peso que uma competência tem no mercado de trabalho. Atualmente já existem numerosos websites de agregação de ofertas de emprego, como por exemplo o Indeed, Monster ou Trovit. Contudo, nenhum destes analisa as ofertas de emprego a fim de perceber o impacto que uma competência profissional têm no mercado de trabalho. Desenvolvemos um motor de pesquisa de ofertas de emprego, baseado numa metodologia qualitativa, que lista ofertas de emprego, e apresenta qual o impacto que uma competência tem no mercado de trabalho. Técnicas de extração de dados, como "web scraping" ou consumindo interfaces de programação de aplicações (API) são usadas para listar ofertas de emprego. Contudo, a técnica de "web scraping" tem algumas vantagens em relação ao consumo de APIs, pois nem todos os websites disponibilizam APIs. Esta nova plataforma web desenvolvida pode contribuir para harmonizar a oferta e a procura de competências no mercado de trabalho.Statistics have been showing a increase of employability, despite a high unemployment rate seen within young population. Behind this, there is a clear and increased imbalance between the skills employers seek and those that candidates hold. Although a general augmented access to all sorts of information, data screening from uncountable job search websites is still a challenge for a candidate. Requalification may be an alternative option in an unemployment situation, as long as this complements the requisites of the job market. This kind of situations may be controlled, or even avoided, if people have access to the most relevant job market requirements. It is thus our primary aim to understand the weight that a professional skill has in the labor market. Numerous job search websites are already developed and available, such as Indeed, Monster or Trovit. However, none has screened the data in search of understanding the impact of a professional skill has in the labor market. Herein, we developed a job search engine, based on a qualitative methodology such as focus group interviews, that lists the available job positions and highlights the relevance that a professional skill has in the labor market. Extracting data techniques, such as "web scraping" or consuming applications programming interfaces (API), have been used. However, the "web scraping" approach show some advantages as some of the websites do not provide APIs to extract or share data. This new web platform may provide potential candidates a set of key professional skills demanded by employers, by efficiently select the proportion of job positions that request specific skills, which can be fulfilled by the candidate or eventually be further developed for future reference. This may contribute to harmonize supply and demand of skills in the labor market

Modelo de búsqueda de productos alimenticios en supermercados online categoría abarrotes utilizando asistente virtual de tipo chatbot y extracción de datos con web scraping

En la presente investigación se propone un modelo de búsqueda de productos en la categoría abarrotes, para ayudar al usuario a reducir su tiempo en la búsqueda de un producto ya sea manualmente por cada página o desplazándose de un supermercado a otro. La propuesta permite mostrar las características principales del producto como son: imagen, descripción, precio, enlace y nombres de los supermercados online que fueron seleccionados para la propuesta, según la necesidad del usuario. A su vez permite visualizar los resultados conseguidos de la extracción de información, según el criterio de búsqueda empleado. La propuesta de investigación permitió implementar un asistente virtual tipo chatbot en la plataforma de mensajería Facebook Messenger como interfaz de entrada de consultas, esto influyo positivamente ya que la mayoría de los usuarios están familiarizados con la plataforma Facebook, adicionalmente el modelo propuesto contempla la integración de la técnica Web Scraping (extracción de datos) para el almacenamiento de datos, permitiendo obtener información actualizada y real. El almacenamiento de información se realiza empleando una base de datos No relacional en la nube Firebase la cual será consultada mediante nuestro asistente virtual. Se demostró que al implementar un asistente virtual tipo Chatbot en el servicio de búsqueda de un producto pudo reducir el tiempo un 77% en el proceso de consulta, brindando respuestas rápidas y contando con un excelente nivel de satisfacción al usuario del 69% sobre el uso del modelo propuesto.TesisCampus Lima Centr

Aplicación RPA para la búsqueda y obtención de información científica

En esta investigación se ha desarrollado una solución RPA aplicada en el ámbito de la investigación científica. El problema de la investigación estuvo enfocado en el efecto de la aplicación RPA (Automatización Robótica de Procesos) para la búsqueda y obtención de información científica, ya que muchos estudiantes, docentes e investigadores a nivel nacional e internacional que realizan investigaciones y redacciones de textos académicos se ven obligados a tener que pasar muchas horas en la búsqueda de información y no se había encontrado una aplicación similar. Además, en algunos casos el desconocimiento de fuentes a las que acuden es un factor en contra a la hora de realizar sus escritos con carácter científico. Por ello, se ha realizado este estudio con la finalidad de aplicar una solución RPA para la búsqueda y obtención de información científica que automatice el proceso de ingresar a los repositorios de información. La solución incluyó un conjunto de procesos, uso de tecnologías y combinación de algoritmos que no fueron encontrados en la literatura revisada. El objetivo de esta investigación fue determinar cuál fue el efecto de la aplicación RPA para la búsqueda y obtención de información científica. El tipo de investigación ha sido aplicada, el enfoque fue cuantitativo, el diseño fue experimental y el tipo de diseño fue pre-experimental. Asimismo, el enfoque fue cuantitativo, por lo que se ha hecho uso de la estadística para analizar los resultados claves que den validez a las hipótesis consideradas. Como resultado de la presente investigación se llegó a obtener que la aplicación RPA obtuvo 82.6361% de eficacia, 97.0341% de reducción de tiempo, 4.8911% de uso de CPU, 0.7995% de uso de memoria RAM y 10.2508% de uso de ancho de banda. En consecuencia, se cumplió con todas las metas planteadas y se aceptó todas las hipótesis. En síntesis, la aplicación RPA fue asertiva y redujo el tiempo de búsqueda y obtención de información, así como el uso de recursos del computador. Finalmente, se recomendó desarrollar nuevas soluciones RPA y aplicarlas en diversos campos en los que se requiera automatizar los procesos, más aún, investigar nuevas tecnologías para realizar diversos RPA que puedan manipular las computadoras de los usuarios a través de Internet