LLM нативно в JVM, Value Objects и агенты на Джакарте
Прогнал через себя свежий дайджест InfoQ и вытащил самый сок.
Хардкор, память и предсказуемые API В JDK 28 наконец-то завозят JEP 401 (Value Objects) и JEP 539 (Strict Field Init). Value-объекты без идентичности и только с final полями - это долгожданный минус оверхед. Представьте, сколько RAM мы сэкономим на наших высоконагруженных микросервисах, где гоняются миллионы DTO-шек. А строгая инициализация полей убьет дурацкие дефолтные нули и спасет от NPE на уровне байт-кода. Для нас, пишущих на Kotlin с его жестким контролем null, это звучит как песня.
Инференс LLM прямо в JVM Чуваки из TornadoVM запилили GPULlama3.java. Это инференс Llama 3 на GPU прямо под капотом JVM, еще и с OpenAI-совместимым API. Вы понимаете, что это значит? Нам больше не нужно поднимать отдельный микросервис на Python с FastAPI, чтобы прикрутить локальную LLM к своему бэкенду. Всё крутится в одной экосистеме. Ну и энтерпрайз не отстает: вышел первый майлстоун Jakarta Agentic AI 1.0. Звучит как идеальное заклинание для питчинга инвесторам, да? Ждем, когда БТГ техи начнут переписывать легаси на агентов.
А вы как сейчас гоняете LLM на своих проектах? Поднимаете классические питонячьи микросервисы, просто дергаете внешние API (OpenAI/Claude) или уже пробуете тащить инференс нативно в JVM? Пишите в комменты, интересно сравнить подходы.
· 15.08
Копаю в два направления: 1. Использовать то что написано, тут зависит от задачи: для gen ui в dart вызываю api напрямую. Для сервисов / flow использую temporal + mastra (ts/node). 2. Для локальных проектов - apple foundation models с оберткой в dart, python когда нужно что-то готовое и нет времени / ресурсов писать на другом стеке.
Еще хочу попробовать Lite-RT LM локально в бразуере (wasm/webassembly) и на нативе но пока не дошли руки:)
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён