Evaluating web site structure based on navigation profiles and site topology

This work aims at pointing out the benefits of a topology-oriented wide scope, but differentiated, profile analysis. The goal was to conciliate advanced common website usage profiling techniques with the analysis of the website's topology information, outputting valuable knowledge in an intuitive and comprehensible way. Server load balancing, crawler activity evaluation and Web site restructuring are the primary analysis concerns and, in this regard, experiments over six month data of a real-world Web site were considered successful.Fundação para a Ciência e a Tecnologia (FCT

A novel defense mechanism against web crawler intrusion

Web robots also known as crawlers or spiders are used by search engines, hackers and spammers to gather information about web pages. Timely detection and prevention of unwanted crawlers increases privacy and security of websites. In this research, a novel method to identify web crawlers is proposed to prevent unwanted crawler to access websites. The proposed method suggests a five-factor identification process to detect unwanted crawlers. This study provides the pretest and posttest results along with a systematic evaluation of web pages with the proposed identification technique versus web pages without the proposed identification process. An experiment was performed with repeated measures for two groups with each group containing ninety web pages. The outputs of the logistic regression analysis of treatment and control groups confirm the novel five-factor identification process as an effective mechanism to prevent unwanted web crawlers. This study concluded that the proposed five distinct identifier process is a very effective technique as demonstrated by a successful outcome

Enhancing E-learning platforms with social networks mining

Social Networks appeared as an Internet application that offers several tools to create a personal virtual profile, add other users as friends, and interact with them through messages. These networks quickly evolved and won particular importance in people lives. Now, everyday, people use social networks to share news, interests, and discuss topics that in some way are important to them. Together with social networks, e-learning platforms and related technologies have evolved in the recent years. Both platforms and technologies (social networks and e-learning) enable access to specific information and are able to redirect specific content to an individual person. This dissertation is motivated on social networks data mining over e-learning platforms. It considers the following four social networks: Facebook, Twitter, Google Plus, and Delicious. In order to acquire, analyze, and make a correct and precise implementation of data, two different approaches were followed: enhancement of a current e-learning platform and improvement of search engines. The first approach proposes and elaborates a recommendation tool for Web documents using, as main criterion, social information to support a custom Learning Management System (LMS). In order to create the proposed system, three distinct applications (the Crawler, the SocialRank, and the Recommender) were proposed. Such data will be then incorporated into an LMS system, such as the Personal Learning Environment Box (PLEBOX). PLEBOX is a custom platform based on operating systems layout, and also, provides a software development kit (SDK), a group of tools, to create and manage modules. The results of recommendation tool about ten course units are presented. The second part presents an approach to improve a search engine based on social networks content. Subsequently, a depth analysis to justify the abovementioned procedures in order to create the SocialRank is presented. Finally, the results are presented and validated together with a custom search engine. Then, a solution to integrate and offer an order improvement of Web contents in a search engine was proposed, created, demonstrated, and validated, and it is ready for use.As redes sociais surgiram como um serviço Web com funcionalidades de criação de perfil, criação e interação de amigos. Estas redes evoluíram rapidamente e ganharam uma determinada importância na vida das pessoas. Agora, todos os dias, as pessoas usam as redes sociais para partilhar notícias, interesses e discutir temas que de alguma forma são importantes para elas. Juntamente com as redes sociais, as plataformas de aprendizagem baseadas em tecnologias, conhecidas como plataformas E-learning têm evoluído muito nos últimos anos. Ambas as plataformas e tecnologias (redes sociais e E-learning) fornecem acesso a informações específicas e são capazes de redirecionar determinado conteúdo para um ou vários indivíduos (personalização). O tema desta dissertação é motivado pela mineração do conteúdo das redes sociais em plataformas E-learning. Neste sentido, foram selecionadas quatro redes sociais, Facebook, Twitter, Google Plus, e Delicious para servir de estudo de caso à solução proposta. A fim de adquirir, analisar e concretizar uma aplicação correta e precisa dos dados, duas abordagens diferentes foram seguidas: enriquecimento de uma plataforma E-learning atual e melhoria dos motores de busca. A primeira abordagem propõe e elaboração de uma ferramenta de recomendação de documentos Web usando, como principal critério, a informação social para apoiar um sistema de gestão de aprendizagem (LMS). Desta forma, foram construídas três aplicações distintas, designadas por Crawler, SocialRank e Recommender. As informações extraídas serão incorporadas num sistema E-learning, tendo sido escolhida a PLEBOX (Personal Learning Environment Box). A PLEBOX é uma plataforma personalizada baseada numa interface inspirada nos sistemas operativos, fornecendo um conjunto de ferramentas (os conhecidos SDK - software development kit), para a criação e gestão de módulos. Dez unidades curriculares foram avaliadas e os resultados do sistema de recomendação são apresentados. A segunda abordagem apresenta uma proposta para melhorar um motor de busca com base no conteúdo das redes sociais. Subsequentemente, uma análise profunda é apresentada, justificando os procedimentos de avaliação, afim de criar o ranking de resultados (o SocialRank). Por último, os resultados são apresentados e validados em conjunto com um motor de busca. Assim, foi proposta, construída, demonstrada e avaliada uma solução para integrar e oferecer uma melhoria na ordenação de conteúdos Web dentro de um motor de busca. A solução está pronta para ser utilizad

Good bot vs. bad bot: Opportunities and consequences of using automated software in corporate communications

The paper attempts to lay a foundation for research on the use of bots in corporate communications. The first step is to identify opportunities and challenges that may offer starting points for future regulations. In this research project, expert interviews were conducted in the form of guideline-based telephone interviews. A total of ten experts from the scientific community and experts from the practical field were interviewed. Following this, a qualitative-reductive content analysis was conducted with the aim of building categories and hypotheses based on them. The results show that experts from the scientific community and practical field clearly see advantages for corporate communications, but also highlight hurdles and ethical challenges that are currently seen as a major barrier to the use of bots. In this context, experts mention, among other things, the assumption of structured routine tasks, ensuring efficiency and quality in corporate communications, cost efficiency and relieving employees. On the other hand, weaknesses, like the lack of transparency, data protection and loss of control arise. Results clearly show that the ethical perspective has to be taken into account. In this context, data protection, the question of responsibility and possible manipulation intentions are particularly worth mentioning

Attacking web applications for dynamic discovering of vulnerabilities

Tese de Mestrado, Segurança Informática, 2022, Universidade de Lisboa, Faculdade de CiênciasAtualmente, a Internet faz parte do nosso dia a dia, sendo que as aplicações são criadas sobre a mesma. Estas aplicações oferecem múltiplos serviços que são usados para resolver diversos problemas na nossa vida, tal como falar com amigos nas redes sociais, comprar bilhetes para a nossa próxima viagem ou até mesmo verificar o estado da nossa conta bancária. Atualmente existem 1.8 mil milhões de websites ativos, número este que aumenta constantemente, visto que centenas de milhares de novos serviços são criados mensalmente. A grande maioria dos utilizadores destas aplicações, contudo, não está focada nos aspetos de segurança destes sistemas, visto que as funcionalidades destas é que os atraíram a utilizar as aplicações. Isto leva a que a prioridade das empresas seja oferecer o maior número de funcionalidades no menor espaço de tempo, dado que a variedade de funcionalidades é o que leva os utilizadores a comprar e utilizar os seus serviços. Com isto, as empresas são constantemente confrontadas entre criar novas funcionalidades ou melhorar a segurança das aplicações que desenvolvem, e muitas vezes as empresas colocam no mercado novas aplicações pouco testadas a nível de segurança e que apresentam vulnerabilidades. As startups são empresas que optam pelo desenvolvimento de funcionalidades. Nestas pequenas empresas, gastar tempo e dinheiro extra para criar aplicações sólidas e seguras, adiando as datas previstas de lançamento, pode levar à perda total do negócio, visto que a competição para colocar produtos novos no mercado é alta e a funcionalidade é mais valorizada do que a segurança destes. Além disso, o desenvolvimento das aplicações web está cada vez mais acessível, sendo mesmo possível para programadores que não têm grandes conhecimentos técnicos e de programação. O WordPress é um sistema de gestão de conteúdos que é usado para criar blogues e aplicações web de uma forma rápida e intuitiva, sendo assim um sistema apelativo para utilizadores sem, ou com pouca experiência em desenvolvimento de conteúdos web. O WordPress é desenvolvido em PHP, uma linguagem de script utilizada principalmente para processar os dados do lado do servidor. Estes dois elementos são os mais relevantes no desenvolvimento de aplicações web, uma vez que quase 80% usam PHP como linguagem de programação e, de todas estas aplicações PHP, 40% usa o WordPress para gerir os seus conteúdos. Contudo, apesar do seu elevado número de utilizadores, o PHP tem uma fraca validação dos dados, sendo necessário que os programadores tenham boas práticas de programação e que utilizem um conjunto de funções de sanitização para prevenir a inserção de vulnerabilidades no código. Programar em PHP sem gralhas, em termos de segurança de software, requer um elevado nível de conhecimentos técnicos da linguagem. Prova disto é que múltiplas vulnerabilidades presentes nos plugins do WordPress estão constantemente a ser descobertas e que afetam todas as aplicações que utilizem esses plugins vulneráveis. Se combinarmos esta falta de conhecimentos técnicos e más práticas com as limitações da linguagem e as vulnerabilidades existentes, acabamos por ter aplicações web com vulnerabilidades de segurança, que estão presentes na Internet à espera de serem exploradas por utilizadores maliciosos. Com a existência destes utilizadores constantemente a atacar as aplicações web, as empresas estão cada vez mais a implementar mecanismos de testes em fases tardias no desenvolvimento das aplicações. Apesar deste esforço, o número de vulnerabilidades encontradas continua a aumentar, tornando a segurança destas aplicações uma das suas principais preocupações. Vulnerabilidades de injeção, como Cross¬Site Scripting (XSS) e injeção de código SQL, continuam a estar muito presentes nestas aplicações, especialmente em aplicações pouco atualizadas. Prova disto é que estas vulnerabilidades estão em terceiro lugar no OWASP Top 10 2021, uma lista que contém as vulnerabilidades mais relevantes de momento. O impacto destas vulnerabilidades é enorme e pode resultar na exfiltração de informações sensíveis, perda de dados, ataques de negação de serviço, entre outros. As vulnerabilidades de XSS, apesar de terem um impacto mais moderado, foram encontradas em cerca de dois terços das aplicações, segundo estudos feitos pelo OWASP, revelando a sua grande prevalência na Internet. Apesar de estas vulnerabilidades serem já antigas e muito conhecidas, continuam a existir casos recentes com algumas aplicações que são usadas por milhões de utilizadores. As atuais abordagens para resolver este problema passam por mecanismos de fuzzing, que enviam valores erróneos para as aplicações e detetam vulnerabilidades baseado nas respostas das mesmas. Outras soluções seguem abordagens de análise estática, que analisam o código fonte das aplicações sem a execução do mesmo, e abordagens de execução simbólica que mapeiam as aplicações de forma simbólica para encontrar vulnerabilidades. Por fim, algumas abordagens utilizam oracles que são utilizadas para analisar os pedidos feitos às aplicações e definir se esses pedidos são tentativas de ataque. Apesar disto, estas abordagens têm algumas limitações: Fuzzing apenas envia valores incorretos para as aplicações e identifica vulnerabilidades baseado nas respostas, não fornecendo nenhuma informação extra de como a vulnerabilidade é explorada nem o código fonte que é vulnerável. O sucesso da análise estática depende do seu conhecimento das classes de vulnerabilidades a testar, assim como dos seus mecanismos para inspecionar o código fonte, que, se forem incorretamente aplicados podem levar a um elevado número de falsos positivos e negativos. Por fim, os oracles utilizam proxies que apenas identificam se um pedido é malicioso antes da sua execução na aplicação, não tendo conhecimento do fluxo de dados dentro da aplicação nem de como a vulnerabilidade é explorada. Esta dissertação pretende caracterizar como as vulnerabilidades de XSS e SQL injection podem ser identificadas no código fonte e como podem ser exploradas. Com esta informação, conseguimos identifica-las no código fonte das aplicações, sem ter de o inspecionar, se correlacionarmos a informação reportada pelos fuzzers com a informação recolhida pelo monitor na aplicação web, que monitoriza os pedidos recebidos e regista os caminhos de execução dos dados na aplicação. Nós avaliámos e explorámos alguns fuzzers com o código fonte disponível, criámos um conjunto de fuzzers para explorar as aplicações e melhorámos um monitor que funciona como debugger para recolher os caminhos de execução dos ataques. Os objetivos da tese e a forma de os concretizar são os seguintes. Primeiramente, é feito um estudo das vulnerabilidades mais comuns nas aplicações web, e como é possível explorá-las e identifica-las no código fonte da aplicação. Além disso, é feita uma análise soluções de fuzzing e injeção de código para aplicações PHP e é identificado como monitorizar estas soluções para recolher os caminhos de execução (traces) dos ataques, controlar o seu estado e explorar possíveis vulnerabilidades. Em segundo lugar, é feita uma melhoria numa extensão do XDebug de forma a poder corretamente identificar os caminhos de execução associados a vulnerabilidades de XSS. Finalmente, é implementada uma solução, com um conjunto de fuzzers, que injeta código malicioso nas aplicações, recolhe os seus traces e identifica se estes estão associados com ataques que conseguiram explorar vulnerabilidades com sucesso, através da correlação da informação dos traces com a informação dos ataques. Se estes estiverem associados a ataques, identifica as vulnerabilidades no código fonte da aplicação, sem o inspecionar, apresentando como resultados as vulnerabilidades encontradas e os ataques que levaram a essa exploração. A solução implementada contém um conjunto de três fuzzers (W3af, Wapiti e OWASP ZAP), os quais se complementam uns aos outros através da partilha dos seus resultados, obtidos na fase de crawling. Isto leva a uma melhoria posterior na fase de ataque porque páginas e pedidos que não foram encontrados por um fuzzer, mas que foram encontrados por outro, podem ser explorados, usufruindo assim da partilha dos resultados. Desta combinação de fuzzers obtivemos resultados interessantes, tais como a descoberta de vulnerabilidades que não seriam possíveis de identificar caso os fuzzers fossem executados individualmente. Enquanto os ataques decorrem, nós recolhemos os traços de execução gerados durante os ataques feitos pelos scanners, que contêm informação das movimentações dos dados dentro da aplicação web, especificamente desde o ponto de entrada do ataque até à chegada de funções sensíveis (funções que podem levar à exploração de vulnerabilidades). Com estes dados que recolhemos, conseguimos identificar os traços de execução que contêm os ataques que foram reportados como bem ¬sucedidos por parte dos fuzzers, confirmar que o valor malicioso utilizado no ataque atingiu uma função sensível e se conseguiu explorar uma vulnerabilidade com sucesso. Finalmente, conseguimos validar a veracidade dos ataques reportados pelos scanners, verificando se os ataques realmente atingiram uma função sensível, assim como apresentar os ataques que foram bem ¬sucedidos, o traço de execução que levou a essa exploração e a identificação da função vulnerável no código fonte da aplicação. Esta validação é possível devido à informação extra que os traços de execução contêm, nomeadamente os valores exatos que chegaram à chamada de funções e o comportamento posterior da aplicação a estes, sendo então possível identificar se a aplicação tomou um comportamento inesperado e identificar possíveis vulnerabilidades. A solução foi validada através do teste a três aplicações web com vulnerabilidades conhecidas. Os resultados das experiências revelam que a solução é capaz de identificar vulnerabilidades de SQL Injection e XSS, que não seriam reportadas caso cada fuzzer corresse independentemente dos outros. Para além disto, a solução foi capaz de confirmar a veracidade dos ataques reportados pelos fuzzers, assim como identificar falsos positivos nos seus relatórios.The vast majority of online services we use nowadays are provided by web applications to the users. The correctness of the source code of these applications is crucial to prevent attackers from exploiting the possible existing vulnerabilities they can contain, leading to severe consequences like the disclosure of sensitive information or the degradation of the availability of the service. Currently, multiple static analysis solutions analyse and detect vulnerabilities in the applications’ source code and are used by organisations to test their software. Malicious actors, however, do not usually have access to the source code of these applications and have to plan their attacks based on the information that is made public and fuzzing tools. This dissertation proposes a solution for the automatic detection of vulnerabilities in web applications written in PHP through an ensemble fuzzing approach and their identification in the source code without accessing it. Using an ensemble fuzzing of open¬source web fuzzers, the solution scans the target web applications and collects the application execution traces of the attacks carried by the fuzzers. Furthermore, it correlates the successful attacks reported by the fuzzers with the collected traces, identifying thus the traces in which such attacks happened. Afterwards, the solution inspects the resulting traces to evaluate the truthfulness of the attacks by checking if they successfully reached any sensitive sink (functions susceptible to be vulnerable to malicious inputs), and identifying, for these, the vulnerable code in the application. The solution was implemented and validated through the testing of three vulnerable web applications using three open¬source web application fuzzers for the ensemble. The experimental results demonstrate that it is capable of identifying SQL Injection and XSS vulnerabilities that would be missed if each fuzzer would run without the ensemble. Furthermore, the solution is capable of confirming the attacks reported by the fuzzers, as well as identifying false positives in their reports. Also, for the successful attacks checked, the solution is capable of identifying the vulnerable source code associated with the exploited vulnerabilities

South Carolina Wildlife, July-August 1987

The South Carolina Wildlife Magazines are published by the South Carolina Department of Natural Resources who are dedicated to educating citizens on the value, conservation, protection, and restoration of South Carolina's wildlife and natural resources. These magazines showcase the state’s natural resources and outdoor recreation opportunities by including articles and images of conservation, reflections and tales, field notes, recipes, and more. In this issue: Biosphere ; Books ; Readers' Forum ; Natural History: Kingfisher ; Events ; The Fisherman's Vanishing Art - Collecting Bait ; Taxidermy...Art That Captures Memories ; Bounty From The Big Lakes ; Solar Reflections ; After Sundown ; Between A Rock & A Hard Place ; Groundwater: Our Unseen Resource ; Field Trip ; Roundtable ; Ramblings

Using URL Templates to Find Hidden Entity Pages

Lõputöö kirjeldab meetodit peidetud objektilehtede leidmiseks kasutades selleks veebiroomaja poolt leitud aadresside nimekirja. Aadresside põhjal leitakse URLide mallid, mille põhjal genereeritakse uusi aadresse. Selleks, et üks objektileht erinevate mallide hulka ei satuks, tuleb malle agregeerida nii, et ühte objektiseeriat esitavad mallid oleksid üheks malliks kokku pandud. Mallide agregeerimiseks tuvastatakse aadressidest osasid, mis ei mõjuta olulisel määral lehe sisu. Iga mall peab viitama ühele objektilehtede seeriale, milles objekti identifikaatoriks on arv. Selleks peab lõplik mall koosnema ühest numbrilisest muutujast ning ülejäänud osadele peab andma kindla väärtuse. Mallidest genereeritakse uusi aadresse kasutades numbriliste väärtuste hulgast puuduvaid arve, mis jäävad suurima ja väikseima teadaoleva objekti identifikaatori vahele.This thesis describes a method for finding hidden entity pages based on a list of URLs visited by a web crawler. The described method creates a list of URL templates based on the input URLs and predicts new possible entity page addresses based on those. In the initial template generation phase, templates are generated by detecting numeric path ele-ments and treating other elements as static texts. To generate only one template for one set of entities, they are deduplicated in the unused path element detection phase by merging together templates that represent the same set of entities via an alternative path, which is achieved by comparing the contents of the pages they represent. The templates are split to have only one changing variable which is the numeric entity identifier, known as its index. New URLs are generated from the gaps of values in the entity index for a template