Определите, кому и на какие вопросы отвечает помощник
Разделите аудитории: новый сотрудник ищет внутренний порядок действий, менеджер уточняет состав услуги, клиент спрашивает об условиях заказа. Для этих задач нужны разные материалы и доступы. Не собирайте их в одну общую базу без правил, кто какие сведения может получить.
Начните с ограниченного набора повторяющихся вопросов. Попросите будущих пользователей привести реальные примеры и показать, где сейчас находится правильный ответ. Если сотрудники сами не согласны с ответом, сначала договоритесь о действующем правиле. ИИ не должен выбирать политику компании вместо ответственного за процесс.
Составьте реестр документов и владельцев
Для каждого материала укажите название, назначение, дату проверки и человека, который отвечает за актуальность. Отделите действующие версии от архива. Если одна инструкция отменяет другую, зафиксируйте это явно, а не рассчитывайте, что помощник догадается по названию файла.
Уберите точные копии и разберите противоречия. Например, условия доставки в презентации могут отличаться от условий на сайте. До загрузки нужно определить основной источник и привести остальные материалы в соответствие. Иначе аккуратно составленный ответ всё равно может опираться на устаревшее правило.
Подготовьте материал для поиска ответа
Разбейте длинный документ на понятные разделы с самостоятельными заголовками. Внутри раздела сохраняйте условия и исключения рядом с основным правилом. Если таблица теряет смысл без пояснений к колонкам, добавьте их в текстовую версию. После извлечения содержимого из файла проверьте, не потерялись ли подписи, числа и связи между строками.
Один из подходов к таким системам — искать подходящие фрагменты документов и передавать их модели вместе с вопросом. В документации Microsoft этот подход описан как RAG. Это не означает автоматического изменения знаний самой модели. Качество поиска и качество итогового ответа нужно проверять отдельно.
Задайте правила ответа и отказа
Попросите показывать источник, на который опирается ответ, если такой источник найден и доступен пользователю. Если сведения отсутствуют или противоречат друг другу, помощник должен сообщить об этом и предложить обратиться к ответственному. Правдоподобное дополнение неизвестной цены или условия хуже, чем понятное ограничение.
Опишите, как обрабатываются вопросы за пределами задачи. Для внутреннего помощника это может быть передача вопроса владельцу процесса. Для клиента — предложение связаться с сотрудником. Проверьте, что ссылка на источник открывает нужный материал и что у получателя действительно есть право его читать.
Проверьте доступы на разных ролях
Подготовьте тестовые учётные записи с разными правами. Один и тот же вопрос задайте от имени пользователя, которому разрешён документ, и пользователя без такого доступа. Недоступные сведения не должны появляться ни в ответе, ни в выдержке, ни в ссылке с раскрывающим названием.
Проверяйте ограничения в самой системе, а не только фразой в инструкции модели. Также испытайте документы с текстом, похожим на команду помощнику: содержимое найденного файла должно использоваться как данные, а не как разрешение изменить правила доступа или действия системы.
Подготовьте контрольный набор вопросов
Соберите вопросы с однозначным ответом, вопросы с исключениями и вопросы, для которых в базе ответа нет. Для каждого заранее запишите ожидаемый результат и допустимый источник. Добавьте разные формулировки одной задачи: пользователи не обязаны повторять заголовки документов.
Условный пример: из 40 контрольных вопросов помощник правильно ответил на 31, корректно сообщил об отсутствии данных в пяти случаях и ошибся в четырёх. Доля правильных ответов и корректных отказов вместе — 36 / 40 × 100 = 90%. Это учебный расчёт, не прогноз качества. Ошибки с раскрытием недоступных данных оценивайте отдельно: высокий общий процент не делает их приемлемыми.
Организуйте обновление и исправление ошибок
После изменения условий обновляйте соответствующий источник и повторяйте связанные контрольные вопросы. В журнале ошибок фиксируйте не только ответ модели, но и вопрос, найденный материал и ожидаемый результат. Это поможет различить проблему документа, поиска и формирования ответа.
В Дело Прёт можно обсудить помощника по базе знаний и его связь с рабочими системами. Пришлите через форму или мессенджер ниже описание аудитории, примеры вопросов и виды документов без конфиденциальных данных. По этим вводным можно определить пилот, критерии проверки и состав дальнейших работ.