~ day 15 of learning ai agents by building:

- засетапили baseline для harness, за baseline взяли с агентом pi - потому что он очень удобен так как его можно использовать как sdk - по сути так же как mastra и langchain. - результаты пока на локальном бенчмарке с моделью nvidia/nemotron-3-nano-30b-a3b:free - на open router . apple foundation все ещё в приоритете, однако тут идея в том, чтобы сравнить сравнимое - pi с open router, и мой harness с той же моделью с pi - с минимальным набором тулов (без скилов, extensions etc..)

Guided schema- это была попытка не использовать tools в api, а задавать их в промпте (провал) Native - это когда схема (та же самая но в формате под openai) передается в tools - стало лучше.

Tool Calls basically free, а вот context и токены оплачиваются, поэтому чем меньше токенов удастся израсходовать на задачу тем лучше:

сейчас (очень примерно, и понятно что пока что крайне неточно) ratio:

pi - 1.29m токенов к 19 решенным задачам - это ~67.89к токенов на задачу мой harness - 128к к 6 решенным задачам - это ~21.33к токенов на задачу

а вот в предыдущем бенче была ошибка - там 600 на самом деле было за generation