Сохраняй цвет в тон фону и сделай прозрачность нулевой, или используй pointer-events:none, чтобы оно не реагировало на клики. Если нужно, чтобы оно показывалось только в определённый момент, переключай CSS-класс, который устанавливает display:none, и снова включай его непосредственно перед тем, как это понадобится пользователю. Так оно останется невидимым, но при этом внезапно появится, не нарушая восприятия.