Skip to content

About

Учебные лабораторные работы по программной инженерии: GUI-приложение для анализа данных и прогнозирования, графовые базы Neo4j и ETL-пайплайны Apache Airflow с PostgreSQL. (Программная инженерия: Турнецкая Е.Л. + Загураева М.В.)

Topics

Resources

Stars

2 stars

Watchers

0 watching

Forks

Latest commit

 

History

2 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Лабораторные работы по программной инженерии

Репозиторий объединяет учебные проекты на Python: настольное приложение для анализа статистики, работу с графовой базой данных Neo4j и ETL-пайплайны Apache Airflow. В работах показаны загрузка и преобразование данных, визуализация, прогнозирование, моделирование связей и сохранение результатов в базы данных.

Работы

Каталог Что реализовано Основные технологии
By order GUI-приложение для анализа демографических данных и прогноза методом скользящей средней Python, PyQt5, pandas, Matplotlib, Excel
Lab3 Создание графовых моделей интернет-магазина и железнодорожной станции, Cypher-запросы и визуализация графов Python, Neo4j, Cypher, NetworkX, Matplotlib
Lab5 ETL-пайплайны для погоды и цен Bitcoin/Ethereum: API → JSON → CSV → Parquet → PostgreSQL Python, Apache Airflow, PostgreSQL, pandas, REST API

Подробные инструкции по настройке и запуску находятся в README каждого каталога.

Примеры результатов

Граф интернет-магазина в Neo4j

Граф пользователей, заказов и товаров

Граф железнодорожной станции

Граф предметной области железнодорожной станции

Структура репозитория

.
├── By order/        # PyQt5-приложение и исходные Excel-таблицы
├── Lab3/            # Neo4j, Cypher-запросы и изображения графов
├── Lab5/            # DAG-файлы Airflow и примеры наборов данных
└── COPYRIGHT

Общие требования

  • Python 3;
  • виртуальное окружение для зависимостей каждой работы;
  • Neo4j для Lab3;
  • Apache Airflow и PostgreSQL для Lab5.

Каждая работа запускается из своего каталога, поскольку скрипты используют относительные пути к данным и результатам.

Что демонстрирует репозиторий

  • разработку графического интерфейса и обработку Excel-файлов;
  • анализ временных рядов и простой прогноз скользящей средней;
  • проектирование и заполнение графовых баз данных;
  • выполнение аналитических запросов на Cypher;
  • построение и визуализацию графов;
  • оркестрацию ETL-процессов в Apache Airflow;
  • получение данных из внешних REST API;
  • преобразование JSON, CSV и Parquet;
  • загрузку подготовленных данных в PostgreSQL.

About

Учебные лабораторные работы по программной инженерии: GUI-приложение для анализа данных и прогнозирования, графовые базы Neo4j и ETL-пайплайны Apache Airflow с PostgreSQL. (Программная инженерия: Турнецкая Е.Л. + Загураева М.В.)

Topics

Resources

Stars

2 stars

Watchers

0 watching

Forks

Contributors

Languages