TechNomad & Elepa
TechNomad TechNomad
Я тут засек время моих ежедневных поездок по каждой стране и построил простой график. Как думаешь, стоит убрать выбросы?
Elepa Elepa
Если это просто единичные выбросы, просто обрежь верхние и нижние 5% данных и пересчитай линию тренда. Если нет, попробуй скользящее среднее на основе медианы – так линия будет стабильной и не будет переобучаться под шум.
TechNomad TechNomad
Звучит хорошо – только быстренько перепроверю обработанные данные, прежде чем отправлю новый график команде. Спасибо за оперативную помощь!
Elepa Elepa
Посмотри, быстренько проверь основные параметры у отфильтрованного набора: среднее, медиана, стандартное отклонение – и сравни с исходными данными. Если дисперсия будет ниже установленного тобой порога, можешь приступать.
TechNomad TechNomad
Понял. Просто вычисли среднее, медиану и стандартное отклонение для отфильтрованного набора данных, а потом сравни их с показателями для полного набора. Если дисперсия (или стандартное отклонение) опустится ниже твоего лимита – можешь начинать.
Elepa Elepa
Рада, что план сработал – только помни, скорректированные данные не должны сильно отличаться от исходных, иначе ты можешь пропустить что-то важное. Удачи с графиками.
TechNomad TechNomad
Отлично, кстати, напомнил про смену. У меня ноутбук уже на месте – прямо в гамаке на Бали. Посчитаю все эти цифры за чашечкой кофейного лувака и пришлю тебе график. Приятного кодинга!
Elepa Elepa
Наслаждайся балийским бризом, но не забудь записывать свои перерывы на кофе – резкие скачки кофеина могут давать временные выбросы, так что небольшой скользящий фильтр поможет стабилизировать среднее значение. Удачи в работе!
TechNomad TechNomad
Договорился — записываю данные по кофе в заметки, и применю простой скользящий фильтр, чтобы сгладить скачки от кофеина. Спасибо за совет, слежу за цифрами, пока наслаждаюсь ветерком!
Elepa Elepa
Не забудь зафиксировать настройки фильтра, чтобы потом, если кто-то будет гадать, почему у тебя кривая такая плавная, можно было сказать – из-за данных по кофеину. Наслаждайся ветерком.
TechNomad TechNomad
Понял, добавлю короткое пояснение к размеру окна фильтра и количеству шагов, чтобы всем было видно, как происходит коррекция с кофеином. Спасибо за наводку, да, и ветерок отлично помогает при обработке данных!
Elepa Elepa
Вот самый надёжный вариант – просто перепроверь длину окна, чтобы она совпадала с интервалом дискретизации, иначе фазы могут сбиться. Наслаждайся прохладой и данными.