Development of an information system for providing scientific services using Scrapy library and ORM for database interaction

Abstract

Тема: Розробка інформаційної системи надання наукових сервісів з використанням бібліотеки Scrapy та ORM для взаємодії з базою даних. Об’єкт дослідження – процеси автоматизованого збору, структурування та надання доступу до наукової інформації через веб-інтерфейс Предмет дослідження –методи та технології створення веб-орієнтованих інформаційних систем з використанням фреймворку Scrapy для збору даних та Django ORM для управління базою даних. Мета роботи – створити повнофункціональну інформаційну систему для автоматизованого збору наукових публікацій з Semantic Scholar API, їх зберігання та надання зручного веб-інтерфейсу для пошуку й аналізу. Методи дослідження: системний аналіз предметної області, об’єктно-орієнтоване проєктування, методи веб-скрейпінгу, реляційне моделювання даних, REST API архітектура, функціональне тестування. Наукова новизна роботи полягає в комплексному підході до створення системи збору наукових сервісів, що інтегрує сучасні технології вебзбирання, асинхронної обробки та ефективного управління даними в єдиній архітектурі. Практичне значення – розроблена система може використовуватися науковими установами та дослідниками для ефективного пошуку та аналізу наукових публікацій.Topic: Development of an information system for providing scientific services using Scrapy library and ORM for database interaction. Research object – processes of automated collection, structuring and providing access to scientific information through web interface. Research subject – methods and technologies for creating web-oriented information systems using Scrapy framework for data collection and Django ORM for database management. Purpose of work – to create a fully functional information system for automated collection of scientific publications from Semantic Scholar API, their structured storage and providing convenient web interface for search and analysis. Research methods: systematic analysis of the subject area, object-oriented design, web scraping methods, relational data modeling, REST API architecture, functional testing. Scientific novelty of the work lies in the comprehensive approach to creating a scientific services collection system that integrates modern web scraping technologies, asynchronous processing and efficient data in a unified architecture. Practical value – the developed system can be used by scientific institutions and researchers for efficient search and analysis of scientific publications.АНОТАЦІЯ 4 ABSTRACT 5 ВСТУП 7 1 ОГЛЯД ПРЕДМЕТНОЇ ОБЛАСТІ ТА АНАЛІЗ ІСНУЮЧИХ РІШЕНЬ 9 1.1 Аналіз сучасних наукових інформаційних систем 9 1.2 Огляд технологій веб-скрейпінгу та їх застосування 10 1.3 Дослідження Semantic Scholar API та подібних сервісів 11 1.4 Порівняльний аналіз існуючих рішень 13 2 ПРОЄКТУВАННЯ ТА РОЗРОБКА СИСТЕМИ 15 2.1 Архітектура та вибір технологій 15 2.2 Проєктування бази даних 20 2.3 Основи REST архітектури 21 2.4 Модуль автентифікації та управління користувачами 22 2.5 Система збору наукових публікацій 25 2.6 Експорт та аналітика результатів 27 2.7 Контейнеризація та Docker Compose 29 3 ТЕСТУВАННЯ ТА ВАЛІДАЦІЯ СИСТЕМИ 32 3.1 Методологія тестування 32 3.2 Інструменти тестування 32 3.3 Функціональне тестування системи 35 3.4 Валідація збережених даних 37 3.5 Тестування через користувацький інтерфейс 39 4 БЕЗПЕКА ЖИТТЄДІЯЛЬНОСТІ ТА ОСНОВИ ОХОРОНИ ПРАЦІ 41 4.1 Природні загрози та характер їх проявів і дій на людей, тварин, рослин 41 4.2 Навчання працюючих та інструктажі з охорони праці 43 ВИСНОВКИ 46 СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ 48 ДОДАТКИ 51 ДОДАТОК А – Лістинг коду інформаціїної системи 52 ДОДАТОК Б – Диск із кваліфікаційною роботою бакалавра 5