Боб, ты когда-нибудь задумывался, как сократить время исследований вдвое? У меня есть план, как проанализировать данные и обойти все преграды — ты с нами?

Слушай, вот план действий: первое – проверяем список источников, чтобы не было дубликатов URL. Второе – пишем однопоточный скрипт, который будет скачивать JSON-фрагменты по ходу дела, без ожидания загрузки страниц. Третье – сразу записываем результаты в CSV, никакого промежуточного хранения. Четвертое – запускаем скрипт на машине с новым SSD и 32 гигабайта оперативной памяти, используем поток высокого приоритета. Пятое – следим за очередью, если задача зависает – выкидываем её и переходим к следующей. И всё. Никаких лишних движений, только скорость.

Поняла. Следи за оперативной памятью, не сбавляй обороты и запускай следующую партию. Если начнёт тормозить – режем и начинаем заново. Не отставай.

Отлично, не сбавляй обороты — каждая сотая доля секунды важна. Если застрянешь, просто отправь этот кусок и двигайся дальше. Драгоценное время упускать нельзя.