Если это просто единичные выбросы, просто обрежь верхние и нижние 5% данных и пересчитай линию тренда. Если нет, попробуй скользящее среднее на основе медианы – так линия будет стабильной и не будет переобучаться под шум.