Платформа бенчмаркинга предиктивных моделей
Управление экспериментами и мониторинг моделей
Обзор дашборда
На этой странице отображается общая статистика по экспериментам и последние 5 запусков. Карточки показывают:
- Всего экспериментов – общее количество запусков.
- Успешных – эксперименты, завершившиеся без ошибок.
- Лучший ROC-AUC – максимальное значение площади под ROC-кривой среди всех завершённых экспериментов (чем ближе к 1, тем лучше).
- Активных – эксперименты, выполняющиеся в данный момент.
В таблице вы можете увидеть прогресс выполнения и открыть любой эксперимент для детального мониторинга.
| Эксперимент | Статус | ROC-AUC | Прогресс | |
|---|---|---|---|---|
| Загрузка... | ||||
Управление экспериментами
Здесь представлены все запущенные эксперименты. Вы можете:
- Фильтровать по названию, статусу и диапазону ROC-AUC.
- Выбрать несколько экспериментов и нажать «Сравнить выбранные» – появится модальное окно с таблицей метрик и совмещёнными ROC-кривыми.
- Просмотреть детали эксперимента – откроется вкладка Мониторинг.
- Удалить эксперимент .
Новый эксперимент запускается кнопкой «Новый эксперимент» – там можно задать гиперпараметры моделей.
| Выбрать | Название | Статус | ROC-AUC | Прогресс | Действия |
|---|---|---|---|---|---|
| Загрузка... | |||||
Мониторинг в реальном времени
Выберите эксперимент из списка и нажмите «Старт». Вы увидите:
- Текущую стадию пайплайна (загрузка данных → предобработка → обучение → оценка).
- Прогресс выполнения (в процентах).
- Логи – вывод консоли пайплайна.
- Обновляемые метрики – по мере завершения этапов появляются значения ROC-AUC, F1 и др.
Мониторинг автоматически остановится при завершении эксперимента.
Прогресс и метрики
Выберите эксперимент для мониторинга
Логи выполнения
Аналитические отчёты
После завершения эксперимента в папке reports/ автоматически создаются:
- model_comparison.png – сводный график: ROC-кривые, Precision-Recall кривые, сравнение метрик и матрицы ошибок для всех моделей.
- feature_importance.png – важность признаков (для случайного леса и градиентного бустинга) или коэффициенты (для логистической регрессии).
- model_comparison.csv – таблица со всеми метриками (Accuracy, Precision, Recall, F1, ROC-AUC).
Вы можете просмотреть графики прямо в браузере, открыть их в новой вкладке или скачать. Данные CSV удобно импортировать в Excel.
Графики и отчёты
Загрузка графиков...
Конфигурация пайплайна
Параметры хранятся в файле params.yaml. Вы можете редактировать их прямо в JSON-редакторе.
Важно: изменения вступают в силу сразу после сохранения и будут использоваться во всех новых экспериментах. Существующие эксперименты не изменятся.
Основные секции:
data– пути к данным и список волн RLMS.preprocessing– размер тестовой выборки (test_size), random_state.model– гиперпараметры всех моделей (Logistic Regression, Random Forest, Gradient Boosting), количество фолдов кросс-валидации.database– настройки PostgreSQL.
После редактирования нажмите «Сохранить», чтобы применить настройки.
Параметры конфигурации
Изменения применяются сразу после сохранения и будут использоваться в новых экспериментах.
Руководство пользователя
Добро пожаловать на платформу бенчмаркинга предиктивных моделей! Здесь вы можете запускать эксперименты по предсказанию членства в добровольных организациях на основе данных RLMS HSE, сравнивать моделей и анализировать результаты.
1. Запуск эксперимента
Шаг 2: Введите название эксперимента (только латиница, цифры, подчёркивание или дефис) и описание (опционально).
Шаг 3: В разделе «Ключевые параметры» настройте гиперпараметры моделей (размер тестовой выборки, количество деревьев, глубина и т.д.).
Шаг 4: Нажмите «Запустить». Эксперимент начнёт выполняться в фоновом режиме.
2. Мониторинг выполнения
- Текущую стадию пайплайна (загрузка данных → предобработка → обучение → оценка).
- Прогресс выполнения в процентах.
- Логи работы консоли – здесь отображаются все шаги и возможные ошибки.
- Метрики, которые обновляются по мере завершения этапов.
3. Сравнение экспериментов
4. Интерпретация метрик
- ROC-AUC – площадь под ROC-кривой. Чем ближе к 1, тем лучше модель разделяет классы. Значение 0.5 – случайное угадывание.
- F1-score – гармоническое среднее между точностью (precision) и полнотой (recall). Полезно при несбалансированных классах.
- Recall – доля правильных положительных предсказаний среди всех реальных положительных объектов.
- Precision – доля правильных положительных предсказаний среди всех положительных предсказаний модели.
Все метрики вычисляются на отложенной тестовой выборке (размер задаётся в параметрах).
5. Анализ результатов (графики и отчёты)
- model_comparison.png – комплексный график: ROC-кривые, Precision-Recall кривые, сравнение метрик (столбчатая диаграмма) и матрицы ошибок для моделей.
- feature_importance.png – важность признаков (для ансамблевых моделей) или абсолютные значения коэффициентов (для логистической регрессии). Это помогает понять, какие факторы сильнее всего влияют на предсказание членства.
- model_comparison.csv – таблица с метриками всех обученных моделей.
6. Настройка параметров
params.yaml в формате JSON. Изменения сохраняются кнопкой «Сохранить» и будут использоваться во всех новых экспериментах. Здесь можно изменить пути к данным, гиперпараметры моделей по умолчанию, параметры предобработки и др.
7. Удаление эксперимента
models/ и reports/. Будьте внимательны – удалённый эксперимент нельзя восстановить через интерфейс.
8. Рекомендации
- Для несбалансированных данных обращайте внимание на F1-score и ROC-AUC – они более информативны, чем accuracy.
- Попробуйте сравнивать модели с SMOTE и без – балансировка классов часто улучшает recall для минорного класса.
- Изменяйте гиперпараметры (например,
n_estimatorsдля Random Forest) и наблюдайте, как меняются метрики. - При большом количестве экспериментов используйте фильтры по ROC-AUC, чтобы быстро найти лучшие результаты.