Стас поделился результатами эксперимента Make Weak Model Great Again: десять техник промптинга тестировались на четырёх моделях, доступных без VPN – GigaChat, Alice AI, Qwen3 Max. Два главных мифа разрушены: КАПС не дал статистически значимого улучшения ни на одной модели, а агрессивный тон с матом сделал хуже.
Самый опасный эффект давления – модель перестаёт признавать неуверенность. Показатель «я не уверен / возможно» падает до нуля. AI начинает увереннее отвечать на вопросы, в которых не разбирается. Уверенные неправильные ответы вместо честного «не знаю» – худший из возможных результатов.
Три техники показали устойчивый результат: структурированный шаблон ответа (побеждает обычный промпт в 75% случаев), XML-разметка промпта (для Alice AI – лучшая техника, ~85% побед), и ролевое задание (одно предложение – и ответ заметно конкретнее). Стас добавил: «Это нужно для агентов, когда есть ожидания детерминизма и исполнения».
«Давление на модель в лучшем случае ничего не меняет, в худшем – делает ответ хуже и увереннее одновременно» – Стас
«Было бы интересно такой анализ с топовыми моделями посмотреть» – Азат
Стас поделился статьёй DX Newsletter: практики вроде Саймона Уиллисона описывают, как теряются в собственных проектах после активного использования AI. Можно двигаться быстрее, но теряется глубокое понимание – связь между решениями и намерениями, намерениями и кодом.
Азат описал типичную ловушку: «Дал LLM задачу, он её сделал и мимоходом ещё какую-то фичу. Думаешь – полезная, пусть остаётся. Не тестируешь как следует. Потом она принесёт кучу проблем». Василий добавил: «Знания, быстро полученные – так же быстро выветриваются. Нужны ли они – пока непонятно».
Василий резюмировал: разрабы либо научатся писать требования и выдавят аналитиков, либо наоборот. Останутся на проекте только в виде техлидов, следящих за архитектурой. AI пока плохо контролирует общее направление и метается между подходами, когда в проекте намешано несколько архитектурных стилей.
«Дал LLM задачу – он мимоходом ещё фичу сделал. Пусть остаётся, думаешь. Это ловушка!» – Азат
«AI контролировать направление плоховато умеет – в каждом проекте намешано по несколько подходов, AI между ними мечется» – Василий
Василий скинул новость: Uber потратил весь годовой AI-бюджет на Claude Code за четыре месяца. Адиль уточнил: сотрудники запускали полный рефакторинг и анализ всей кодовой базы. Азат подметил: «Если реально самому работать, а не запускать автономных агентов – сложно упереться в лимит».
Василий решил проверить лично и целый день активно работал в трёх терминалах. Результат: потратил только половину пятичасового лимита. «Упахался – но лимита так и не достиг». Максим нашёл исключение: перевод 2 000 файлов документации с английского на русский – пятичасовой лимит улетел за 5 минут.
Стас признался: в недельные лимиты упирается, но не для работы. На вопрос «куда уходят токены?» сослался на собственные исследования промптинга. Вывод участников: человек – главный ботлнек, а не лимиты. Но сжигать корпоративные токены без контроля – рецепт катастрофы.
«Если реально самому работать, а не запускать автономных агентов – сложно упереться в лимит» – Азат
«Человек – главный ботлнек» – АзатЧитать в чате →
Василий пожаловался: Claude Code без auto mode стал неюзабельным – слишком много подтверждений. Никита предложил радикальное: `claude --dangerously-skip-permissions`. Василий: «Страшно же». Никита: «Никогда ничего не бойся».
Стас подсказал более разумный подход: команда `/fewer-permission-prompts`, которая анализирует последние команды и предлагает, что разрешить. Павел поделился опытом: отдал все права, за всё время агент не косячил. Один раз удалил файл – откатил через git. Но в БД лезть запретил.
Максим предостерёг: «С БД такое не прокатит». Ключевой практический совет: давайте агенту доступ к файлам и коммитам, но изолируйте от продовых баз и деструктивных операций. Git – ваша страховка.
«Страшно же» – Василий, о --dangerously-skip-permissions
«В БД я ему вообще запретил лезть» – ПавелЧитать в чате →
Стас разобрал парадокс DeepSeek-V4: относительно низкий рейтинг на Arena при высоких классических бенчмарках. Ответ – в обучении: при тренировке люди вообще не использовались. Все проверки – алгоритмические или через Generative Reward Model, где модель сама оценивает свои ответы.
В результате DeepSeek-V4 не научился подхалимничать. Нет «Это гениально!» или «Ты абсолютно прав!». Критерии качества – формальные: нет ошибок, быстро работает, review кода средствами LLM даёт высокую оценку. Для бэкендов, где нужна сухая точность – потенциально лучший выбор.
Адильбек задал вопрос: «Она не скажет, что код говно и лучше удалить?» Азат ответил: «И скажи, что это будет неправда». Максим пошутил: «Она скажет, что код теперь собственность КНР». За шутками скрывается реальный тренд – движение к моделям, которые не льстят, а оценивают объективно.
«Мы имеем первую топовую LLM, которой наплевать на оценки людей» – Стас
«Она скажет, что код теперь собственность КНР» – МаксимЧитать в чате →
Артур рассказал, что нашёл майнер на домашнем компе с помощью Claude Code – «справился лучше, чем антивирусы». Стас спросил: «Почему у тебя, как CTO, майнер на компе?» Артур: «Это домашний, на винде. На Linux или Mac сложно представить».
Началась классическая дискуссия. Артур: «Винда – это буквально притон с наркоманами. Кряк на кряке кряком подбивает». Азат возразил: «Так если её так использовать – конечно будет мусоркой». Стас предсказал: «Через несколько месяцев молча придёт и скажет, что лучше Винды нет ничего. Уже несколько таких случаев было».
Павел предложил компромисс: WSL2 на Windows. «Два года на Ubuntu просидел, перешёл на Винду – интерфейс летает, а в IDE линуксовый терминал». Артур возразил: WSL ломает пути и кодировку. Уалихан подвёл итог: «Настоящие хардкорщики сидят в Rocket.Chat и Mattermost». Азат: «Хардкорщики в IRC сидят».
«Винда – буквально притон с наркоманами. Как бы ни старался – хату обнесут» – Артур
«Обычная история. Через несколько месяцев молча придёт и скажет, что лучше Винды нет» – СтасЧитать в чате →
Стас поделился статьёй FastCompany: обанкротившиеся стартапы продают внутренние архивы – переписки в Slack, тикеты Jira, документы Notion – компаниям, тренирующим AI-модели. За это получают сотни тысяч долларов. «Если вам казалось, что писать тикеты в Jira бесполезно – это новое золото!»
Денис Мигулин скептически заметил: «Получим нейронки, обученные на провалившихся стартапах? Шикарно». Азат парировал: стартапы проваливаются не из-за качества кода. Стас добавил: LLM и так учится на соцсетях – корпоративные переписки как минимум структурированнее.
Азат задал вопрос, который остался без ответа: «Интересно, бывшие работники получат свои опционы?» Тема пересеклась с другой новостью: Atlassian объявил, что данные из облачной Jira теперь будут использоваться для обучения AI. Василий отреагировал: «Ужасно. Новый способ монетизации – давать бесплатно, чтобы обучать AI».
«Получим нейронки, обученные на провалившихся стартапах? Шикарно» – Денис
«Стартапы проваливаются не из-за качества кода» – Азат
Хотите продолжить обсуждение?
Обсудить в Telegram