Сбор данных для разговорного ИИ

Как подойти к сбору данных для разговорного ИИ

Сегодня в наших домах, автомобильных системах, портативных устройствах, решениях для домашней автоматизации и т. Д. Есть говорящие роботы, такие как чат-боты, виртуальные помощники и т.д. .

И если вы использовали помощника, такого как Сири или Алекса, вы также заметите, что с каждым днем ​​они становятся все более причудливыми. Их ответы остроумны, они возражают, пренебрежительно отзываются, говорят комплименты и ведут себя более по-человечески, чем некоторые коллеги, которых вы, возможно, знаете. Мы не шутим. По данным PwC, 27% пользователей, которые недавно общались со своим недавним сотрудником службы поддержки клиентов, не знали, с кем они разговаривали - с человеком или с чат-ботом.

Разработка таких сложных диалоговых систем и устройств очень сложна и обескураживает. Это совсем другая игра с мячом, с разными подходами к разработке. Вот почему мы подумали, что должны разбить его для вас, чтобы облегчить понимание. Итак, если вы хотите разработать диалоговый движок ИИ или виртуального помощника, это руководство поможет вам внести ясность.

Значение разговорного ИИ

По мере того, как технологии становятся более неотъемлемым аспектом нашей жизни в виде новых устройств и систем, возникает необходимость преодолевать барьеры, нарушать условности и придумывать новые способы взаимодействия с ними. От простого использования подключенных периферийных устройств, таких как мышь и клавиатура, мы перешли на более удобные коврики для мыши. Затем мы перешли на сенсорные экраны, которые обеспечили дополнительное удобство ввода данных и выполнения задач.

Поскольку устройства становятся продолжением нас самих, мы открываем новый способ управления с помощью голоса. Нам даже не нужно находиться рядом с устройством, чтобы управлять им. Все, что нам нужно сделать, это использовать свой голос, чтобы разблокировать его и управлять нашими входами. Из соседней комнаты, во время вождения и одновременного использования другого устройства, разговорный ИИ без проблем выполняет поставленные задачи. Итак, с чего начать - все начинается с высококачественных речевых данных для обучения моделей машинного обучения.

Основы сбора данных для обучения речи

Сбор и аннотирование обучающих данных ИИ для разговорного ИИ сильно отличается. Есть множество тонкостей, связанных с человеческими командами, и должны быть реализованы различные меры, чтобы гарантировать, что каждый аспект приспособлен для впечатляющих результатов. Давайте посмотрим, каковы некоторые из основ речевых данных.

Понимание естественного языка (НЛУ)

Чтобы чат-боты и виртуальные помощники понимали и реагировали на то, что мы пишем или приказываем, этот процесс называется НЛУ реализуется. Это означает Изучение естественного языка и включает в себя три технические концепции для интерпретации и обработки различных типов ввода.

  • Намерение

    Все начинается с намерения. Что конкретный пользователь пытается передать, передать или достичь с помощью команды? Пользователь ищет информацию? Они ждут обновлений по акции? Отдают ли они команду системе на выполнение? Как они этим распоряжаются? Это через вопрос или просьбу? Все эти аспекты помогают машинам понимать и классифицировать намерения и цели, чтобы соответственно давать надежные ответы.

  • Сборник высказываний

    Есть разница между командой «Где ближайший банкомат?» и команду «Найди мне ближайший банкомат». Теперь люди признают, что оба значения означают одно и то же, но машины должны быть объяснены этой разницей. Они одинаковы с точки зрения намерения, но то, как оно было сформировано, совершенно другое.

    Сбор высказываний - это определение и сопоставление различных высказываний и фраз с конкретными целями для точного выполнения задач и ответов. Технически специалисты по аннотации данных работают с речевыми или текстовыми данными, чтобы помочь машинам различить это.

  • Извлечение сущности

    В каждом предложении есть определенные слова или фразы, которые имеют подчеркнутый вес, и именно этот акцент приводит к интерпретации контекста и цели. Машины, как и жесткие системы, нужно кормить такими сущностями с ложечки. Например, «Где я могу найти струны моей гитары возле 6-й авеню?»

    Если вы уточните предложение, найдите это сущность один, струны - две, гитара - три, а 6 авеню - 4. Эти сущности объединяются машинами для получения соответствующих результатов, и для этого эксперты работают на сервере.

Готовые наборы голосовых/речевых/аудиоданных для более быстрого обучения модели разговорного ИИ

Разработка диалогов для разговорного ИИ

Целью ИИ в основном является воспроизведение человеческого поведения с помощью жестов, действий и ответов. Сознательный человеческий разум обладает врожденной способностью понимать контекст, намерения, тон, эмоции и другие факторы и реагировать соответствующим образом. Но как машины могут различать эти аспекты? 

Создание диалогов для разговорный ИИ очень сложно и, что важнее, совершенно невозможно развернуть универсальную модель. У каждого человека свой образ мышления, разговора и реакции. Даже в ответах мы все уникальным образом формулируем свои мысли. Итак, машины должны слушать и соответственно реагировать. 

Однако и здесь не все гладко. Когда люди говорят, учитываются такие факторы, как акцент, произношение, этническая принадлежность, язык и многое другое, и машинам нелегко неправильно понять и неправильно истолковать слова и ответить в ответ.. Конкретное слово может быть понято машинами множеством способов, если оно продиктовано индийцем, британцем, американцем или мексиканцем. В игру вступает множество языковых барьеров, и наиболее практичным способом создания системы ответов является визуальное программирование на основе блок-схем. 

Через специальные блоки для жесты, ответы и триггеры, авторы и эксперты могут помочь машинам развить характер. Это больше похоже на алгоритм, который машина может использовать для получения правильных ответов. При подаче входных данных информация проходит через соответствующие факторы, что приводит к правильному ответу машин. 

Наберите D для разнообразия

Как мы уже упоминали, человеческие взаимодействия очень уникальны. Люди во всем мире происходят из разных слоев общества, происхождения, национальности, демографии, этнической принадлежности, акцента, дикции, произношения и многого другого. 

Чтобы диалоговый бот или система были универсальными, они должны быть обучены с использованием как можно более разнообразных обучающих данных. Если, например, модель была обучена только речевым данным одного конкретного языка или этнической принадлежности, новый акцент запутает систему и заставит ее давать неверные результаты. Это не только неловко для владельцев бизнеса, но и оскорбляет пользователей. 

Вот почему фаза разработки должна включать данные обучения ИИ из обширного пула разнообразных наборов данных, состоящих из людей из всех возможных слоев общества. Чем больше акцентов и национальностей понимает ваша система, тем она будет универсальнее. Кроме того, пользователей больше раздражает не неправильный поиск информации, а в первую очередь непонимание вводимых ими данных. 

Устранение предвзятости должно быть ключевым приоритетом, и один из способов сделать это компании - использовать краудсорсинговые данные. Когда вы используете краудсорсинг своих речевых или текстовых данных, вы позволяете людям со всего мира вносить свой вклад в выполнение ваших требований, делая ваш пул данных только полезным (прочтите наш Блог чтобы понять преимущества и недостатки передачи данных на аутсорсинг работникам краудсорсинга). Теперь ваша модель будет понимать разные акценты и произношения и реагировать соответственно. 

Путь вперед

Разработать разговорный ИИ так же сложно, как вырастить младенца. Единственная разница в том, что младенец в конечном итоге вырастет, чтобы понимать вещи и лучше общаться самостоятельно. Это машины, которые нужно постоянно подталкивать. В настоящее время в этой области существует несколько проблем, и мы должны признать тот факт, что, несмотря на эти проблемы, у нас есть одни из самых революционных систем разговорного ИИ. Давайте подождем и посмотрим, что ждет в будущем наших дружелюбных соседских чат-ботов и виртуальных помощников. Между тем, если вы намерены разработать диалоговый ИИ, такой как Google Home, для своего бизнеса, свяжитесь с нами, чтобы получить данные для обучения ИИ и потребности в аннотациях.

Социальная Поделиться