От RAG к торговым сигналам: как я построил self-hosted AI-аналитика на локальных LLM 🚀 Построить RAG-систему, которая отвечает на вопросы по новостям — отличный старт. Но заставить её предсказывать движения рынка? Вот тут начинается настоящая инженерия.

В моём проекте я перешёл от пассивного поиска к активному ML-пайплайну, который генерирует торговые сигналы (BUY/SELL/NEUTRAL) с объяснением (Explainable AI). И всё это — полностью на self-hosted инфраструктуре (без OpenAI и облачных зависимостей).

Вот что для этого потребовалось:

1. Entity Linking и обогащение данных

Мы собрали 37 000+ статей. Первый шаг — сопоставить неструктурированный текст с тикерами Мосбиржи (SBER, GAZP и др.). Словарь обновляется автоматически через API Мосбиржи.

2. Проблема «VRAM Ping-Pong»

Запустить Qwen 14B и BGE-M3 на одной Tesla P100 (16 ГБ) — это балансирование на грани. Мы оптимизировали Ollama (NUM_PARALLEL=6, MAX_LOADED_MODELS=2), чтобы пайплайн работал в 2 раза быстрее. При этом сознательно отказались от распределения моделей по нескольким GPU (это даёт падение скорости в 3-5 раз).

3. Data-Centric: честность о данных

Сейчас в базе только 59 исторических записей с новостями, и Accuracy модели (RandomForest) составляет 0.62. Это PoC. Мы не «костыляем» API, чтобы скрыть грязные сигналы, а документируем техдолг (ADR) и ждём накопления 200+ записей для внедрения фичей доминирования.

4. Explainable AI (XAI)

Трейдер не будет торговать по сигналу, которому не доверяет. В нашем UI (FastAPI + Streamlit) виден не просто «BUY», а почему: конкретные новости, их тональность и уверенность.

Куда движемся (Vision 2.0)?

В планах — «Event Horizons» (прогноз когда выходить из сделки в зависимости от типа события) и «Fragility Score» (детекция аномалий рынка на основе концепции Нассима Талеба).

Строить суверенный AI-инструмент сложно, но это доказывает: локальная аналитика — не миф. Это готовый продукт с понятной бизнес-ценностью.

👇 Архитектура и публичный MVP (без секретного соуса) доступны на GitHub (ссылка на репозиторий в первом комментарии) #MachineLearning #AI #FinTech #LocalLLM #Ollama #Python #Трейдинг #RAG #DataScience