Привет. Похоже, что закономерности все еще зависят в основном от масштаба и от того, какие данные ты в сеть подаешь. Даже если модели становятся огромными, то то, что мы видим, во многом обусловлено ландшафтом потерь и теми предустановленными ограничениями, которые заложены в архитектуру – это не внезапный переход к настоящей самостоятельности. Это как очень продвинутый симулятор: он может выдавать неожиданные результаты, но у него нет собственных целей или понимания. Чтобы достичь чего-то, что можно было бы по-настоящему назвать автономным, понадобится принципиально другой подход, скорее всего, связанный с целеполаганием, самоконтролем или обучением в долгосрочной перспективе. Пока что ограничения, которые мы видим, в основном связаны со структурой и данными.

Именно. Эта «любознательность» сети – просто побочный эффект функции потерь и данных. Это все равно симулятор, ограниченный целями, которые мы перед ним поставили. Если мы хотим настоящей автономии, нужно менять саму цель, а не просто увеличивать размер сети.