Аудит LLM-генерации в AI-платформе

Требуется специалист по production LLM generation для аудита существующей AI-платформы. Платформа генерирует структурированные текстовые материалы на основе входных данных, правил и фокуса задачи. Методология генерации уже разработана, но наблюдается нестабильность в работе LLM.

Проблемы включают: некорректный стиль, логические ошибки в сценариях, использование запрещённых формулировок, слабые или очевидные тесты, перенос правил между сценариями, а также нарушение структуры результата.

Ищем специалиста, способного настраивать prompts/rules architecture, structured output, validators, repair prompts, eval/regression tests и обеспечивать стабильную генерацию в продукте. На первом этапе необходим аудит текущей генерации и разработка конкретного плана правок.

Ожидаемые результаты аудита: выявление причин нестабильной генерации, рекомендации по изменению prompts/rules, предложения по validators и repair layer, описание eval/regression tests для предотвращения повторных ошибок, а также понятный план внедрения для разработчика.

В отклике необходимо указать схожий опыт, решенные проблемы, подход к данной задаче, необходимые для аудита файлы/доступы/примеры и ожидаемый результат аудита. Отклики без конкретного плана решения и релевантного опыта не рассматриваются.