Posts

Когда у кодового агента заканчивается контекст, случается компакт: история сворачивается в саммари, сессия едет дальше. У всех, кто видел это посреди работы, рефлекс одинаковый: тянуть до последнего. Саммари теряет детали, а компакт выбрасывает кэш промпта, за который ты уже заплатил. Логично же подержаться. Логично ровно наполовину. Вторая половина стоила мне нескольких недель с неправильно выставленным порогом. Кэш не переживает границу Кэшированный входной токен стоит десятую часть обычного, поэтому длинный стабильный префикс кажется дешёвым. Он и правда дёшев за токен. Просто платишь ты за него каждым ходом. ...

Кодовый агент садится за работу, не помня ничего. Ты объясняешь ему проект, он делает хорошую работу, сессия кончается. Следующая начинается с нуля. Обычная заплатка тут — окно контекста побольше, но она просто отодвигает стену. Когда контекст заполняется, он сворачивается в саммари, а саммари держит решения и теряет причины. «Выбрали A» границу переживает. «Отвергли B, потому что померили и вышло хуже» не переживает. И следующая сессия предлагает B заново, а ты платишь за тот же эксперимент второй раз. ...