Как мы тестировали инструмент “Анализ файлов” с искусственным интеллектом и что узнали?

Относительно недавно мы начали предлагать клиентам воспользоваться новым решением, которое называется Jay Copilot.

Это набор инструментов, который включает стандартные плагины для выполнения самых распространённых задач. Преимущество для пользователя тут очевидно – использовать зарубежные нейросети сейчас довольно проблематично, поскольку оплатить их получится далеко не у каждого, а если работать именно в корпоративной среде, то есть некоторый риск утечки чувствительных данных. Все ведь помнят, как в какой-то крупной компании сотрудники подгрузили внутренний документ в Chat GPT, а алгоритм обучился на этих данных и они стали достоянием общественности?

Системы из линейки Jay лишены таких рисков. Ведь используется специальный алгоритм шифрования.

Второй плюс – это несколько сетей сразу в одном интерфейсе. Получается удобный агрегатор с разными функциями. Вот что видит пользователь на главной страничке системы Jay Copilot при входе.

Мы решили протестировать инструмент “Анализ файла”. Почему именно его? Всё просто. Часто приходится работать с объемными инструкциями, а стандартный поиск не раскрывает всю специфику, которая есть в инструкции. Оно и понятно – любой стандартный текстовый поиск обычно имеет простейший алгоритм и выполняет сравнение.

Если мы ввели слово “кот”, то поиск будет искать все совпадения с эти словом. Во многих случаях такой подход может помочь. Мы просто перековыряем всю информацию по конкретному совпадению слова и вычитаем то, что ищем. Но это, как минимум, очень долго. Кроме того, не получится рассматривать фрагменты, которые не содержат в тексте так называемого “прямого вхождения”. Например, если предложение будет написано так: “Кот был серого цвета и сидел на пеньке”, то в результатах поиска он будет подсвечен. Зато если мы увидим формулировку “Он был серый и сидел на пеньке”, то стандартный поиск по документу уже не найдёт упоминаний в тексте. Хотя речь и идёт про того же самого кота.

Ещё довольно значительной проблемой является отсутствие обобщения в ответе. Это будет не суммированный результирующий ответ, а разрозненный набор информации. Для полноценного формулирования нам придётся самостоятельно пробежаться по результатам и выписать их на бумажку. Пример прост. Пусть текст содержит три предложения, которые разбросаны по страницам документа. Один фрагмент пусть будет на странице 12, второй на странице 15, а третий – на странице 145. Текст пусть будет тоже простой: “Кот любил птиц”, “Кот любил варенье”, “Кот был серый с пушистым хвостом”.

Стандартный поиск даст вам три ссылки. Но согласитесь, что гораздо удобнее и быстрее было бы получить ответ в виде: Кот был серого цвета, любил птиц и варенье.

Увы, обычные алгоритмы не умеют так делать. Мы не говорим сейчас про сложнейшие поисковые машины. Речь про встроенные инструменты в любом стандартном редакторе.

По всей логике эти возможности должны быть как раз-таки у более современных инструментов на базе нейросетевых алгоритмов. Там используются лингвистические модели, которые могут понимать контекст и умеют обобщать информацию. Мы решили проверить, как это работает.

Единственное, что пришло в голову – это взять инструкцию по сервисам 1С и озадачить алгоритм стандартными вопросами из теста, который сдают менеджеры. Механизм видится вполне удобным. Файлик подгружается в систему и даётся директива в стиле зирокодинга.

Дальше начинаем терзать алгоритм вопросами.

Первый вопрос возьмём прямо из теста. Для начала перефразируем его, чтобы он был похож на, собственно говоря, вопрос. Спрашиваем:

При выполнении каких условий возможно безбумажное продление сертификата сотрудника в 1С-Отчетности?

Алгоритм уверенно отвечает.

Что же, кажется справился. Вроде бы ошибок не видно. Да, система пробежалась по тексту, нашла совпадение. Привела ссылку на документ.

Давайте попробуем подгадить злому Скайнету. Перефразируем задачку и поставим вопрос так, как будто мы даже читать не хотим. Пусть просто циферку предложит.

Хм, пока система вполне справляется. Нашла ссылку, привела циферку.

Второй вопрос, заданный в том же духе, тоже вполне вдохновляет.

Что же, раз ты такой умный…Чувствую тут себя преподавателем и хочется студента-терминатора завалить. Задам-ка я что посложнее. Согласитесь, было бы очень удобно, если бы система могла указать точное место или точные места в исходном документе, где найдена информация. Так и попросим сделать:

Имея базовые знания программирования и понимая, что не так просто забраться в файлик, исправить его и загрузить обратно, я могу простить такой ответ. И правда технически это довольно сложная задачка. Особенно если ты работаешь с правами пользователя. Поставим вопрос иначе.

С одной стороны я доволен ответом. Ведь робот упоминает, что использует не единственное совпадение в тексте, а проверяет сразу весь документ. Но что мешает сказать, где именно про это он слышал? И погодите. А Остапа-то понесло! Он потерял сюжетную линию и не распознал контекст. Мы беседовали про UMI, а он опять перескочил на Отчётность из первого вопроса. Что это может значить?

Давайте ещё раз перефразировать и уточним страницу.

Уже очевидно, что контекст потерян. Ладно, пусть так. Правда вместе с этим пропало и упоминание про несколько точек с данными в тексте и появилась одна конкретная страница. Ладно, давайте всё-таки его достанем по вопросу UMI.

Опять справился. По сути повторил исходный ответ. Постараемся опять его качнуть.

Что же, вроде бы удалось вывести беседу из крутого пике. Но нужно сделать вывод, что контекст система сохраняет довольно посредственно и нужно тщательно и подробно описывать новую задачу. Всё-таки Чат-бот пока ещё не совсем-таки живой собеседник и любое отклонение от соответствия его модели не может быть компенсирована.

Для понимания – я повторил эксперимент и каждый раз при похожих вопросах он опять обращался к отчётности. Видимо текст разметился таким образом, что он все ответы решил искать в этой точке.

На абстрактные вопросы без конкретного контекста бот продолжал отвечать странно. Вот в случае с вопросом о центрах компетенции вроде бы и нашёл всё, но требования не понял. Сказал, что он так думает, потому что про это было в тексте. С одной стороны ответ верный. С другой – ну мы ведь все понимаем, что идеальным было бы видеть ответ: Я считаю так-то, потому что в тексте на странице такой-то написано это, на такой-то вот это, а тут – вот это. Мини-отчёт по результатам интегрирования. Но нет…

Что же, а где же тут обещанная многомерность? Где про серого кота, который любит варенье и птиц. Погнали! Скормим Скайнету сказку о рыбаке и рыбке сломаем ему психику.

Для начала спросим а о чём там всё вообще? Хм, а ведь неплохо.

Как насчёт сложного вопроса, характеризующего героев?

И ведь тоже совсем недурно.

Хотите, чтобы мы реализовали для Вас такой же или похожий проект?
Вам нужна консультация?
Задайте свой вопрос или просто введите телефон и мы перезвоним!
Обратная связь

Теперь ещё кое-что. Появились нехорошие мысли относительно источника поиска. Давайте спросим у алгоритма вот такое:

Понимаете, да? Про это в тексте сказки ничего нет. Система подтянула откуда-то дополнительные знания. Тут такой подход помог. Но если мы рассматриваем какой-то сложный противоречивый мануал, то всё хуже. Есть риск, что где-то в интернете Chat GPT наковыряет, например, что шестерни можно мыть водой, а в тексте будет отмечен запрет на такие действия. Какой результат найдет система? Большой вопрос! И проверить никак невозможно. И элементов управления для ограничения пространства поиска у нас нет. Если только каждый раз просить ссылку на результат.

Давайте спросим откровенную ерунду.

Вроде бы тут никаких фантазий у нас нет. И то неплохо.

Что же, переходим к выводам. Резюме по результату анализа будет таким:

Если понимать специфику этой системы и правильно задавать промпт (или запрос к чату), то нейросеть вполне себе справляется с задачей. Даже в таком виде инструмент может значительно облегчить проблему поиска информации в инструкции или большом тексте и составления результирующих ответов. Очень важно тут проверить насколько исчерпывающими получаются ответы. Мы запланируем такой тест и обязательно расскажем о результате. Нужно подготовить заведомо противоречивый текст и посмотреть, как робот отработает разные факты, привязанные к одной сущности.

При правильном подходе это ценный и полезный инструмент для всех сфер деятельности. Однако, полного доверия система пока не вызывает. Впрочем, это не значит, что инструмент совсем не подходящий для использования. Это означает лишь, что пользоваться им нужно правильно, прилагать усилия для осмысления ответов и это всё ещё не джин из бутылки. Тем не менее, работу такая штука способна упростить.