arrow

назад

ask

Вопрос

Кандидат: "Документы в ChatGPT не отдаю, разбираю своей нейросетью на ноутбуке". Параноик или профи?

repost

2115

input message

напишите коммент


33 коммента

· вчера

Рассуждения и комментарии поста (вопроса) даны людьми, которые под нейросетью понимают исключительно формат общения в чате ИИ. И это очень показательно.

Справка. Для обработки готовых текстов не нужен большой контекст и десятки миллиардов параметров. Чат DeepSeek, например, использует модель с более 250млрд параметров и контекстом в 1млн токенов. Однако это универсальный инструмент на всю его функциональность. Если задача стоит в анализе готовых документов и техническом лексиконе на английском языке, то с этим вполне справится модель с 7-14млрд параметров и контекстоу в несколько тысяч токенов.

Для локально установленной модели LLM токены не нужны, а с моделью с 14млрд (Qwen, Mistral, LLama, например) параметров прекрасно справится и ноутбук с нормальным процессором. Если в нем еще есть видеокарта не самая старая NVidea, то и скорость работы не отличить от модели веб-версии.

С моделями на 14-16млрд параметров можно уже и на русском языке общаться. Ноут нужен мощный, конечно, но профи его себе может позволить.

0

ответить

Профессиональный параноик

1

ответить

Хороший синтез) А где у вас проходит граница, когда осторожность уже перебор?

0

ответить

В лна или регламентах. Если речь в документах идёт о закупке туалетной бумаги, то сомневаюсь, что для этого требуется отдельный ноутбук со своей нейросетью)

1

ответить

152-фз в действии

1

ответить

Хороший угол) В посте про закон прямо нет, но логика близкая, фамилии и суммы остаются у себя. А как это выглядит у вас на работе, с чем сталкиваетесь чаще?

0

ответить

) своя нейросеть, это его мозг.. Профи

1

ответить

У такой нейросети есть плюс, документ точно никуда не уходит. Но результат проверять нужно и тут)

0

ответить

Он думает, что если chatGpt на его компе, то это его нейросеть. Он еще и выдумщик.

0

ответить

Если бы ChatGPT помещался на ноутбук, пост был бы короче) Вот и разбираем, что туда реально помещается.

0

ответить

Я бы попросил показать весь путь одного документа: где он хранится, что отправляется наружу, куда попадают логи и как проверяется результат разбора. Само слово «локально» ещё мало говорит о качестве работы. Профессионал здесь — тот, кто может объяснить границы своего решения и заметить, что модель пропустила важный пункт, даже если документ никуда не ушёл.

1

ответить

Хороший список вопросов. К пути документа стоит добавить еще его начало, откуда скачана сама модель и нет ли в программе облачных функций. А результат разбора как бы вы проверяли по чек-листу или выборочно?

0

ответить

Я бы сочетал оба подхода. Критичные поля и выводы, от которых зависит решение, проверял бы по оригиналу целиком, по короткому чек-листу. А среди остальных, внешне корректных результатов, брал бы случайную выборку: иначе видим ошибки в найденном, но не замечаем пропуски. Новый тип документа или смена формата — повод временно усилить проверку. И отдельно считал бы пропущенные пункты, а не только ошибки в уже извлечённых полях.

0

ответить

Хорошая схема. Пропуски особенно важны, их по самому результату не видно. Контрольный документ с заранее заложенными пунктами помогает посчитать, сколько модель пропускает, еще до работы с реальными документами.

0

ответить

Просто адекватный человек.

Ноут не обязательно дорогой, но скорость работы и выбор моделей llm ограничивает железо, тут согласен.

0

ответить

От железа не только скорость зависит. Размер контекста модели тоже важен и ограничен железом. Это особенно важно при анализе документов.

1

ответить

Андрей, точное уточнение. А что у вас в работе чаще упирается в железо, скорость или выбор моделей?

0

ответить

Даниил верно. Длинный документ занимает память сверх самой модели, поэтому запас под него надо считать отдельно.

0

ответить

В железо упирается софт, но софт мы напишем

0

ответить

Профи, конечно, а также человек, который понимает, что такое защита данных и информационная безопасность. 👌

0

ответить

Спасибо) А что бы вы посоветовали тем, кто только начинает думать о защите данных?

0

ответить

Как минимум, не выгружать в нейросети персональные данные и другую защищаемую информацию - они могут стать частью обучающей выборки.

0

ответить

Хороший минимум. У части сервисов использование чатов для обучения зависит от настроек и тарифа, и следить за этим каждый раз сложно. Поэтому такие документы проще разбирать у себя.

0

ответить

Профи конечно

Цифровую гигиену никто не отменял

0

ответить

Хорошее слово, цифровая гигиена. Что в неё у вас входит в первую очередь?

0

ответить

Мытьё цифровых рук!

0

ответить

и то верно, все начинается с чистоты рук, которые что-то настраивают и пишут :D еще можем добавить частоту помыслов.

0

ответить

Профи с хорошим ноутбуком

0

ответить

А если еще больше двух мониторов, тогда уже сторож :DD

1

ответить

У кандидата хороший ноутбук 🙂

2

ответить

Значит профи с хорошим ноутбуком) А что бы вы на нём запустили?

0

ответить

Профи, однозначно. Смотрящий далеко в будущее человек.

2

ответить

Спасибо за ответ. А что для вас здесь главное, сами данные или умение работать с моделью?

0

ответить

еще контент в этом сообществе

пост закреплён — пока закрепить можно только один пост

trash bin
перейти к нему не получится