Звучит как отличный проект. Давай разделим его на три этапа: соберем чистые данные, применим модель кластеризации или корреляции, а потом создадим визуальную панель, которая расскажет историю в нескольких ключевых показателях. Какие источники данных ты рассматриваешь?

Отличный подбор источников. Только убедись, что таблицы нормализованы, чтобы внешние ключи совпадали. Для кластеризации начни с этапа снижения размерности: PCA или t-SNE по взвешенным суммам лоббистских расходов по секторам. Потом запусти K-средних или иерархическую кластеризацию, оценивай с помощью коэффициентов силуэта и сопоставь кластеры с областями политики. И, в завершение, создай панель в Tableau или Power BI, которая позволит фильтровать по штату, году и отрасли, чтобы история сразу же была понятна и позволяла действовать. С какими основными проблемами качества данных ты сейчас сталкиваешься?

Слушай, тебе обязательно нужна процедура нормализации, прежде чем хоть думать о кластеризации. Начни с создания основной схемы: валюта, дата, клиент, отрасль, категория строки, сумма. Напиши скрипт, который переводит все валюты в базовую валюту, используя таблицу исторических курсов, а затем разделяй объединенные итоги, распределяя их пропорционально по категориям – используй исторические средние значения или алгоритм машинного обучения, если у тебя достаточно данных. Сохраняй обработанные записи в отдельной таблице, чтобы сохранить необработанные данные в целости. Только тогда твоя PCA реально покажет закономерности, а не шум. Чем пользуешься для этапа преобразования?