ips_etl/README.md

IPS ETL

Описание

Этот проект представляет собой ETL процесс, который собирает данные из API и передаёт их на принимающую сторону.

Установка и настройка

Предварительные требования

• Docker
• Docker-compose
• Git

Шаги для запуска в Docker

1. Клонируйте репозиторий на вашу машину при помощи команды git clone https://git.jsdio.ru/jsdio/ips_etl.git.
2. Переименуйте файл .env.dist в .env.
3. Откройте файл .env и замените значения переменных на свои:
   • API_HOST: адрес хоста API.
   • API_TOKEN: токен API.
   • IBLOCKS: список номеров инфоблоков через запятую без пробелов.
   • DESTINATION_HOST: адрес хоста назначения.
   • DESTINATION_PORT: порт назначения.
   • DESTINATION_PROTOCOL: протокол назначения (http или https).
   • LAST_ID: последний успешно обработанный ID.
   • MAX_WAIT_SIZE: максимальное время ожидания backoff.
4. После настройки переменных, запустите проект при помощи docker-compose командой docker-compose up -d.

Шаги для запуска локально

1. Выполнить п.1-3 из предыдущего списка
2. Запускать main.py из директории src