Модуль 4.1 Фінальні проєкти

ПРОЄКТ: OSINT-ПАЙПЛАЙН

Курс: Python для аналітиків з нуля

1. ПОСТАНОВКА ЗАДАЧІ

Повний цикл: JSON → фільтрація → таблиця → карта → звіт.

Вхід: Telegram експорт (JSON з геомітками)

Вихід: інтерактивна карта, Excel статистика, Word звіт

Інтеграція: json, pandas, folium, python-docx, openpyxl

2. АРХІТЕКТУРА ПАЙПЛАЙНУ

5 етапів:

  • Етап 1: Витяг даних з JSON

Завантажити telegram.json, витягти повідомлення з location_information

  • Етап 2: Структурування у DataFrame

Створити pandas таблицю: час, від кого, координати, текст

  • Етап 3: Аналітика

Топ-10 активних районів (згрупувати координати), активність по днях

  • Етап 4: Візуалізація

Карта folium з маркерами, колір за датою

  • Етап 5: Звітність

Excel з аркушами (сирі дані, статистика), Word звіт з картою

3. КОД: ЕТАП 1-2

Витяг даних та структурування:

import json

4. КОД: ЕТАП 3

Аналітика:

# === ЕТАП 3: АНАЛІТИКА ===

5. КОД: ЕТАП 4

Карта:

import folium

6. КОД: ЕТАП 5

Звітність:

from docx import Document

7. ЗАПУСК ПРОЄКТУ

Крок 1: підготувати дані

Потрібен telegram_export.json з геомітками

Крок 2: встановити бібліотеки

pip install pandas folium python-docx openpyxl --break-system-packages

Крок 3: запустити

python osint_pipeline.py

Крок 4: перевірити результати

Відкрити osint_map.html у браузері, osint_report.xlsx в Excel, osint_report.docx в Word

8. РОЗШИРЕННЯ ПРОЄКТУ

Ідея 1: автоматизувати через крон

Запускати щодня, нові дані додавати до архіву

Ідея 2: додати heatmap

folium.plugins.HeatMap для візуалізації концентрації

Ідея 3: інтегрувати з API

Завантажувати дані через Telegram API автоматично

9. РЕФЛЕКСІЯ

Я побудував повний пайплайн

Я інтегрував 5+ бібліотек

Я створив 3 типи виходів (карта, Excel, Word)

Я структурував код у етапи

Я можу адаптувати під свої дані

10. ЩО ДАЛІ

Проєкт 4.2: Автоматизація щоденних звітів

Головна думка: Пайплайн = послідовність етапів. JSON → DataFrame → Аналіз → Візуалізація → Звіти. Раз написав — працює завжди.

Рефлексія

Прогрес модуля 0%