Идея проста, и мне кажется, что даже несмотря на то, что все игроки достаточно сильно развивают свои модели и являются опытными, в этом сегменте еще есть место для конкурентов. Дело в том, что пока не появляется полноценная функция, в базовом случае, когда модель сама себе говорит "продолжай". Например, если нужно проанализировать большую статью, то модель обычно анализирует ее целиком. Однако лучше анализировать статью по параграфам, а затем объединять результаты. Для этого нужно, чтобы модель могла брать кусок текста, анализировать его и спрашивать "продолжить". Таким образом, модель сама себе отвечает "продолжить" и так далее.
У меня есть скрипт-расширение для Chrome, который видит в ответе вопрос "продолжить" и автоматически отправляет сообщение "Да, продолжить". Это продолжается, пока не будет завершена обработка. Это самый базовый подход, и, по моей идее, можно задавать разные сценарии автоматической работы на длительный период. Сейчас модели умеют делать цепочку рассуждений (CoT), что тоже интересная тема. А Например, Claude, который умеет писать план ответа, работает быстрее, но это не то, что я хочу. Я хочу возможность оставить модель работать несколько часов без прерывания.
Однако использовать для этого открытую модель чата GPT не очень эффективно, так как это будет очень дорого. Более решением будет купить видеокарту и избавиться от всякой цензуры. Короче говоря, я хочу экспериментировать с разными сценариями работы, используя N8N блок-схемы. Самое простое — это сценарий, который говорит "продолжить", а более сложные сценарии будут использовать разные фреймворки для работы модели.
Например с промежуточной суммаризауией для контроля контекста
Тот же Copilot сейчпс очень умный И умеет находить релевантные куски кода для отправки в обработку
Это тоже часть в работе над LLM
LLM уже не плохи но самое главное построить над ними пайплайн и это пока плохо развито
А самое главное она научится сама инициировать разговоры
Это не костыль а переход к тому как работает мозг. А пытаться написать идеальный промпт чтобы за раз решить любую задачу не выйдет это глупость