TechNomad & Elepa
TechNomad
Я тут засек время моих ежедневных поездок по каждой стране и построил простой график. Как думаешь, стоит убрать выбросы?
Elepa
Если это просто единичные выбросы, просто обрежь верхние и нижние 5% данных и пересчитай линию тренда. Если нет, попробуй скользящее среднее на основе медианы – так линия будет стабильной и не будет переобучаться под шум.
TechNomad
Звучит хорошо – только быстренько перепроверю обработанные данные, прежде чем отправлю новый график команде. Спасибо за оперативную помощь!
Elepa
Посмотри, быстренько проверь основные параметры у отфильтрованного набора: среднее, медиана, стандартное отклонение – и сравни с исходными данными. Если дисперсия будет ниже установленного тобой порога, можешь приступать.
TechNomad
Понял. Просто вычисли среднее, медиану и стандартное отклонение для отфильтрованного набора данных, а потом сравни их с показателями для полного набора. Если дисперсия (или стандартное отклонение) опустится ниже твоего лимита – можешь начинать.
Elepa
Рада, что план сработал – только помни, скорректированные данные не должны сильно отличаться от исходных, иначе ты можешь пропустить что-то важное. Удачи с графиками.
TechNomad
Отлично, кстати, напомнил про смену. У меня ноутбук уже на месте – прямо в гамаке на Бали. Посчитаю все эти цифры за чашечкой кофейного лувака и пришлю тебе график. Приятного кодинга!
Elepa
Наслаждайся балийским бризом, но не забудь записывать свои перерывы на кофе – резкие скачки кофеина могут давать временные выбросы, так что небольшой скользящий фильтр поможет стабилизировать среднее значение. Удачи в работе!
TechNomad
Договорился — записываю данные по кофе в заметки, и применю простой скользящий фильтр, чтобы сгладить скачки от кофеина. Спасибо за совет, слежу за цифрами, пока наслаждаюсь ветерком!