Social Media Aggregator Using a focused Crawler and a Web & Android UI

Today we live in a digital age, with almost each and every one of us having at least one social media account. With things as trivial as what one had for breakfast to the happenings of the world, everything is discussed about on these social media accounts. This paper intends to suggest using this social media as a policing solution, as in contrast to other traditional media such as television and print media, social media offers velocity, veracity, variety, real-time and a large volume of information. A focused web crawler is used to crawl the internet and to stick to the relevant and required topics only. This crawler is integrated with a database to store the information and the information is projected on an android application as well as a web application for the user’s perusal

A Proposed Architecture for Continuous Web Monitoring Through Online Crawling of Blogs

Getting informed of what is registered in the Web space on time, can greatly help the psychologists, marketers and political analysts to familiarize, analyse, make decision and act correctly based on the society`s different needs. The great volume of information in the Web space hinders us to continuously online investigate the whole space of the Web. Focusing on the considered blogs limits our working domain and makes the online crawling in the Web space possible. In this article, an architecture is offered which continuously online crawls the related blogs, using focused crawler, and investigates and analyses the obtained data. The online fetching is done based on the latest announcements of the ping server machines. A weighted graph is formed based on targeting the important key phrases, so that a focused crawler can do the fetching of the complete texts of the related Web pages, based on the weighted graph.Comment: 10 pages, 2 figure

Análise da produção científica sobre o uso do Sistema de Crawler para comércio eletrônico e sua relação com a gestão da informação

Orientador: Prof.ª Dr.ª Paula Carina de AraújoTrabalho de Conclusão de Curso (graduação) - Universidade Federal do Paraná, Setor de Ciências Sociais Aplicadas, Curso de Gestão da InformaçãoInclui referênciasResumo : Objetiva analisar a produção científica sobre o emprego de crawlers no contexto do comércio eletrônico, enfocando sua interseção com a Gestão da Informação. Para alcançar tal objetivo, os objetivos específicos envolvem o reconhecimento do conceito de crawler a partir da literatura científica, a identificação dos tipos de crawlers voltados para o e-commerce e a contextualização das possíveis relações da gestão da informação com o uso desses sistemas. A metodologia adotada compreendeu uma pesquisa exploratória e bibliográfica, fundamentada em uma análise aprofundada de artigos sobre crawlers no e-commerce, incluindo sua relação com a Gestão da Informação, além de uma análise da produção científica existente sobre o tema. Os resultados revelaram uma distribuição variável ao longo dos anos, com 42 artigos selecionados. Em 2005, apenas um artigo indicava um estágio inicial de pesquisa, contrastando com o aumento notável a partir de 2018, culminando em 12 publicações em 2022. Posteriormente, a distribuição apresentou uma tendência decrescente até 2023, sugerindo possíveis mudanças com base na coleta de dados realizada em agosto desse ano. Esta análise temporal oferece insights valiosos sobre a evolução do campo, constituindo uma base para investigações mais aprofundadas nos fatores que influenciaram as oscilações nas publicações ao longo do tempo. Em conclusão, os resultados deste trabalho não apenas atendem aos objetivos propostos, mas também fornecem uma base sólida e aplicável tanto para a vida profissional quanto para o desenvolvimento acadêmico, destacando a importância contínua da compreensão e aplicação eficiente dos crawlers no cenário do comércio eletrônic