Cut LLM prompt tokens on structured data — losslessly

Категория: dev_tool · Оценка: 7.1/10 · Бизнес-потенциал: 6.0/10

ctxfold анализирует структурированный текст, выделяет повторяющиеся ключи, префиксы и шаблоны, заменяет их однократным заголовком и оставляет только варьирующиеся данные. Результат — plain text, который модель читает так же хорошо, как исходный, но с сокращением токенов на 35–40%. Гарантируется lossless: каждый энкодер имеет декодер, и compress() проверяет, что декодирование воспроизводит входные данные, иначе возвращает оригинал без изменений.

Технологии: JavaScript, Node.js

Как применить

1. Протестировать ctxfold на типовых SEO-логах и JSON-выгрузках, оценив реальное сокращение токенов. 2. Написать Python-обёртку для вызова npm-пакета через subprocess. 3. Интегрировать в один из текущих пайплайнов (например, анализ логов краулера) и замерить экономию на API-запросах.

Открыть оригинал →

Нужна такая штука для вашего бизнеса? Разберём вместе →

Похожие инструменты