Наверное многие слышали и о джемини в смартфонах гугл и о чатджипити на айфонах, которые работают без интернет. И на самом деле, это не что-то из ряда вон, а вполне нормальное положение дел: запустить малую языковую модель с 4b или даже 8b параметров можно практически на любом современном смартфоне. Достаточно скачать приложение типа ChatterUI, модельку qwen и общаться. Правда, это будет не быстро : у меня на бюджетном snapdragon 680 модель инициализируется секунд двадцать, а потом выдает несколько токенов в секунду - примерно как печатает в реальном времени, на некогда флагманском tensor чуть быстрее. Такие модели годятся для легкого общения, простых рассуждений, генерации постов и отличных промптов для изображений (эти промпты дают более предсказуемый и повторяемый результат у меня недели онлайновый, большой, deepseek). Единственное, для чего не годятся такие маленькие модели - быть библиотекой знаний. Это именно те модели, которые сильно ошибаются в фактах - чтобы достоверно придумать чью-то биографию, нужно 30+ b параметров. А такую модель пока не запустит ни один смартфон. Другой момент - интеграция с ОС и автоматизация, собственно то, что отличает помощники корпораций от малых моделей, запускаемых ChatterUI. И вот здесь уже можно почувствовать себя персонажем фантастического сериала, "на коленке" настраивающего ИИ для личного использования. Надо будет попробовать чатджипити на 17 Про...