fkiene/llmtrim
Перехватывает HTTP-трафик к API LLM (OpenAI, Anthropic и др.), анализирует и удаляет избыточные токены из промптов, истории, выводов инструментов и кода, затем пересылает сжатый запрос. Работает как прокси, CLI, MCP-сервер или embeddable-библиотека для Rust, Python, Ruby, Kotlin, Swift. По замерам автора сокращает входные токены на 31%, выходные на 74% без потери качества.
Технологии: Rust, MCP protocol, HTTP proxy, npm, Python bindings
Как применить
1. Развернуть llmtrim как Docker-сервис на тестовом окружении и прогнать его для типичного SEO-пайплайна (генерация 10 статей). Сравнить затраты и качество. 2. Замерить экономию на реальном воркфлоу с GPT-4o и Claude 3.5, убедиться в сохранении качества. 3. Если экономия >25%, интегрировать в продукты как optional proxy-слой, документировать для клиентов как способ снижения расходов на AI.
Нужна такая штука для вашего бизнеса? Разберём вместе →
Похожие инструменты
modelcontextprotocol/python-sdk
Официальный Python SDK для реализации серверов и клиентов по протоколу Model Context Protocol (MCP).
skynetcmd/m3-memory
M3 Memory — это локальный фреймворк памяти для MCP-агентов, реализующий гибридный поиск (FTS5 + векторный + MMR) и предоставляющий 105 инструментов для сохранения и извлечения долгосрочного контекста AI-агентами.
unifapi-agent/agents
UnifAPI Agents — это открытый набор MCP-скиллов для AI-ассистентов (Claude, ChatGPT, Codex и др.), которые через публичные API выполняют SEO-аудиты, проверку GEO/AI-видимости, мониторинг бренда, оценку цен KOL и конкурентный анализ из публичных данных.