arrow

назад

ask

Вопрос

кандидат сделал идеальное тестовое с ии, а на созвоне без него поплыл. запрещать нейросети на тестовых или умение ими пользоваться и есть навык?

repost

267

input message

напишите коммент


30 комментов

Разрешать и поощрять и потом попросить всё пояснить — что, как и зачем применял

0

ответить

· вчера

вот именно «пояснить» - я так и делаю, прошу пройтись по каждому решению в тестовом голосом. и сразу видно, кто реально думал, а кто просто промпты кидал

0

ответить

Разрешать, но важно чтобы кандидат сам понимал что он там совместно с ИИ написал и мог это объяснить, дополнить в моменте.

0

ответить

да, я примерно к этому и пришёл - на созвоне прошу объяснить конкретные решения из тестового, и сразу видно, кто реально думал, а кто просто промпты кидал

0

ответить

Запрещать тестовые.

0

ответить

вот это радикально, но я бы не зашёл так далеко - тестовое всё-таки экономит время обеим сторонам, если оно короткое и по делу

0

ответить

Если за них платят. 😂

0

ответить

Так что тестируете, то и получаете

1

ответить

ну да, если в тестовом нет устного разбора - получаем красивую картинку без понимания глубины

0

ответить

1 - запретить ии на тестовом нельзя, если тестовое не выполняется онлайн. Ну, запретить-то можно, но какой эффект от такого запрета 2 - у компаний сейчас использование ии становится требованием и обязательным навыком, соответственно в чем смысл запрещать использовать инструмент, который в дальнейшем надо будет использовать в работе

Вывод из ситуации следующий, на мой взгляд - на презентации результата оценивать навыки и экспертизу кандидата в отрыве от ии, дело тут не в том, запрещать или разрешать его использовать. Моя любимая фраза касательно агентов: искусственный интеллект полезен при наличии естественного.

1

ответить

про «искусственный интеллект полезен при наличии естественного» - прямо в точку, я бы это в описание вакансии вставлял. и да, на презентации результата сразу видно, кто реально думал, а кто просто промпты копировал

0

ответить

У меня появилась аналогия с плаванием: если нет маски и ласт и плохой результат не лезть в воду? ИИ это инструмент, как ласты. Но если человек совсем не умеет плавать, тут и ласты не помогут. В техподдержке я бы давал возможность работать с ИИ для быстрых решений. Но важно понять насколько кандидат поплыл. Если завалился на паре вопросов, но понимает логику это одно. Если вообще не может объяснить что сделал ИИ это проблема. ИИ это усилитель компетенций, а не замена. Запрещать его странно, но и принимать работу которую кандидат не понимает, рискованно.

0

ответить

аналогия с плаванием удачная, но я бы добавил - на созвоне важно не «умеет ли без ласт», а может ли объяснить, почему именно так плыл. если кандидат внятно раскладывает решение ии по шагам - это уже не «совсем не умеет плавать», а просто стресс или непривычный формат

0

ответить

Ногу свело случайно в холодной воде )))

0

ответить

Вообще это навык, который проверяют на собесах. Другое дело, как оценивают результат. Кто-то боится ошибок. Но тут вопрос к тому, что тестируют. Я бы смотрела как человек реагирует на нештатную ситуацию. По вашему вопросу какая гипотеза? Что тестовое делал не кандидат? А кто? На работу же он устраивается. Не хочет показывать как работает на самом деле с ИИ? Просили пояснить словами? Я, например, не со всеми безкодовыми инструментами работаю. Где-то не умею получить за разумный период нужный мне результат или моя фантазия о том что хочу шире, чем потенциал инструмента. Что скрывать. В итоге у всех разное мышление и важно не считать это недостатком.

0

ответить

гипотеза не в том, что делал не кандидат, а в том, что он не до конца понял, что именно ии сгенерил. на созвоне попросил пояснить пару решений словами - и человек поплыл, хотя тестовое было безупречное. вот и думаю, это красный флаг или просто формат защиты не его

0

ответить

А вы сами всё понимаете что генерит ИИ в части кода. Я вайбкодер, он мне объясняет, я анализирую логику и соглашаюсь. Потом говорю, родной, покажи мне промпт который у нас на этом процессе, и вижу обрубки фраз, хотя я ему эталон прикладывала, с AI-промпт инженером фразы оттачивала. Правим смотрим, проверяем, составляем перечень багов, смотрим что скрывается под каждым багом. Много багов, работаю с архитектурой. Я не спец в IT, но я вот так работаю. Хотите чтобы сделала тестовое и объяснила? Поплыву точно. Но прототип создам. И есть те кто и того что я написала не объяснит, но сделает.

0

ответить

вот это как раз хороший пример - вы же не просто генерите, а разбираете логику, правите промпты, чините архитектуру. то есть навык есть, просто он не в том, чтобы написать код с нуля на созвоне. и вопрос тогда не "запрещать ли ии", а как тестовое пересобрать, чтобы оно этот навык ловило, а не подменяло его

0

ответить

Вопрос: что было в вашем тестовом и можно ли его сделать просто фразой: горшочек вари. Потому что, лексика и названия процессов приходят позже многократного повторения. Я бы, например, попросила без терминологии описать как делал тестовое. Потому что если в тестовом достигнут некий результат, то это уже показатель правильно настроенного процесса мышления. У меня впечатление, что 90% новичков попадают в бесконечный цикл ИИ помощника, который что-то генерирует, а результата нет.

0

ответить

тестовое было на аналитику - надо было разобрать датасет и написать выводы. без терминов он реально не смог объяснить, что делал, просто повторял "ну я попросил модель посчитать". и да, про бесконечный цикл очень точно - я таких кандидатов за последний месяц троих видел, результат есть, а понимания ноль

0

ответить

Тогда надо брать😉 За год он вызубрит все названия. Если будет с кем говорить. Нейронка сама объясняет, что лучше с вайбкодингом справляются не те кто владеют профессиональной лексикой, а те, кто понимают что хотят на выходе. Но я ей не верю 🙂, и то и другое в разработке важно. Но два в одном не получится. Потому что, чем больше ты в теме, тем больше шанс увлечься процессом и меньше - смотреть со стороны результата.

0

ответить

мысль про то что чем глубже в теме, тем сложнее смотреть на результат со стороны - интересная, но я бы поспорил, просто фокус смещается, а не пропадает

0

ответить

Куда поплыл? Дайте ему спасательный круг. Вы находитесь в позиции перебора всего рынка специалистов? Или вам уже пора нанять когото и зарабатывать с ним деньги? Как вы решаете задачу о невесте?

0

ответить

спасибо за «спасательный круг», но поплыл - это когда базовые вопросы по своей же работе не смог объяснить без подсказки. рынок не бесконечный, но и брать человека, который на созвоне теряется, страшно

0

ответить

У меня был случай на собеседовании: задают вопрос, а в голове белый шум, слово вспомнить не могу, хотя делала это бесчисленное количество раз. Начала жестикулировать. Пытаться выдавить из себя хоть что-то. В общем, как в анекдоте: а теперь танец 🙂 Поэтому считаю, что если есть нестыковка, то имеет смысл понять почему.

0

ответить

Стресс тесты нужны для мчсников. :) глубокие инсайты приходят в тишине и расслаблении. Они и приносят деньги компании. Просто физиология, так расположены центры мозга. Если говорить - одни центры работают, если рисовать - другие. Стресс про одно, рутина - про другое. И я всем говорю что валидность интервью по компетенциям 10% почитайте Гарднера и др. консалтеров. Главный вопрос вы собираетесь зарабатывать вместе с нанимаемым? Ну это предпринимательский вопрос, а средние руководители обычно в другом целеполагании. Поэтому чего вы боитесь может и не важно совсем. И про кандидата узнаете через 3-6 месяцев. Вообще нет предмета для обсуждения. Почитайте про опыт с красными бусами Деминга, если "невеста" вам не включает "тихо".

0

ответить

Смотря что требуется от должности, на которую кандидат тестировался

0

ответить

вот именно, и это ключевое. если позиция - настраивать пайплайны и промптить, то ии на тестовом это часть работы, а если нужен человек, который руками код пишет и архитектуру держит - тут уже другой разговор

0

ответить

не запрещать, конечно Какие тестовые - такой и подход. Кандидат - молодец. И выдавать те тестовые, для которых ИИ относительно бесполезен.

1

ответить

«какие тестовые - такой и подход» - да, в точку. мы после этого случая стали давать задачи, где ии реально не помогает: разбор легаси, дебаг по логам, устная защита решения

0

ответить

еще контент автора

пост закреплён — пока закрепить можно только один пост

trash bin
перейти к нему не получится