Лицензированные текстовые наборы данных для обучения LLM и ИИ.
Получите лицензию на готовые к использованию текстовые корпуса для обучения в области LLM, NLP и генеративного ИИ — диалоговые вопросы и ответы, код, новости, клинические, академические и многоязычные данные, адаптированные под ваш проект.
Лицензированные текстовые наборы данных для обучения LLM и NLP.
Каталог текстовых данных Shaip предоставляет командам разработчиков ИИ готовые к лицензированию текстовые наборы данных для обучения, тонкой настройки и оценки больших языковых моделей (LLM) и систем обработки естественного языка (NLP). Он охватывает восемь категорий. Каждый набор данных основан на реальных материалах и может быть адаптирован под ваш проект.
Каталог включает в себя наборы данных с вопросами и ответами в диалоговом режиме и инструкциями на английском и арабском языках, охватывающие современный стандартный арабский язык, а также саудовские, эмиратские, египетские и левантийские диалекты. Он также содержит наборы данных репозитория кода на девяти языках программирования, некоторые из которых имеют полную историю запросов на слияние и коммитов. Для моделей, отражающих текущие события, и RAG (Received Agencies and Authenticator) имеются новостные наборы данных на английском, испанском и арабском языках, включая архив из 975 000 статей, начиная с 1999 года. Команды, занимающиеся разработкой ИИ в здравоохранении, могут использовать наборы данных с вопросами и ответами в клинической практике и наборы данных по клиническим случаям , доступные в виде «золотых» и «серебряных» наборов с включенной деидентификацией.
Для предварительного обучения используются необработанные текстовые и веб-корпусы , включая арабский корпус объемом 20 миллионов слов. Корпусы отсканированных документов поддерживают искусственный интеллект для работы с документами и извлечения информации. Академические и издательские тексты охватывают двенадцать научных и инженерных дисциплин, а тексты развлекательных программ — фильмы, телепередачи, анимацию и микродрамы.
Каждый набор данных поставляется с четкой лицензией и проверкой качества. Доступны образцы, чтобы вы могли оценить набор данных перед покупкой. Просмотрите категорию ниже или свяжитесь с нами, чтобы обсудить сбор текстовых данных на заказ.
Наборы данных для диалоговых вопросов и ответов и инструкций
Эти наборы данных содержат созданные людьми пары вопросов и ответов, а также подсказки в виде инструкций на арабском и английском языках, охватывающие современный стандартный арабский язык, а также саудовские, эмиратские, египетские и левантийские диалекты. Наборы данных, ориентированные на конкретные области, включают STEM-дисциплины, пищевую промышленность и сельское хозяйство. Они поддерживают настройку инструкций, тонкую настройку и оценку языковых моделей, где важны региональные диалекты и знания, основанные на культурных особенностях.
Наборы данных репозитория кода и программного обеспечения
Кодовые базы, созданные на основе реальных, выпущенных программных продуктов, написанных на C#, React, TypeScript, Angular, Java, Go, PHP, Swift и BrightScript. Некоторые записи содержат полную историю запросов на слияние и коммитов, показывающую, как код изменялся в процессе проверки. Они поддерживают автозавершение кода, генерацию кода, понимание кода и обучение моделей анализа кода, при этом репозитории доступны для ознакомления перед лицензированием.
Наборы данных новостных и журналистских текстов
Профессионально подготовленные и отредактированные новостные статьи от крупной международной новостной организации, доступные в виде регулярной ленты на английском, испанском и арабском языках, а также в виде архивного корпуса из 975 000 статей, опубликованных с 1999 года. Каждая статья содержит теги: имя автора, дата, заголовок, основной текст и тема. Они подходят для обучения моделей текущих событий, генерации с расширенными возможностями поиска и задач временного анализа.
Вопросы и ответы по клиническим случаям и наборы данных по клиническим случаям
Наборы медицинских вопросов и ответов, краткие описания клинических случаев и полные тексты медицинских статей для обучения и оценки моделей, ориентированных на здравоохранение. Доступны эталонные и серебряные наборы данных, причем эталонные подготовлены в соответствии с более высокими стандартами проверки для сравнительного анализа. В случаях, когда исходные материалы содержат персональные данные или защищенную медицинскую информацию, в рамках проекта предусмотрено редактирование, обезличивание и маскирование данных.
Необработанный текст и корпуса веб-масштаба
Обширные корпуса необработанных текстов, подсказок и сценариев преобразования текста в речь, охватывающие современный стандартный арабский язык и региональные диалекты, включая корпус объемом 20 миллионов слов. Они используются для предварительного обучения языковых моделей и расширения словарного запаса и охвата диалектов в моделях, которые хорошо справляются с современным стандартным арабским языком, но плохо работают с разговорными региональными вариантами.
Корпусы документов и отсканированных текстов
Документы, полученные методом сканирования в реальных условиях, и структурированные формы предоставляются в формате PDF с аутентичным макетом и качеством сканирования, а не с синтетическими изображениями. Они поддерживают искусственный интеллект для документов, обработку естественного языка, близкую к OCR, и извлечение информации, особенно для понимания документов в формате «ключ-значение» и табличных документов, где макет имеет такое же значение, как и сам текст.
Академические и издательские текстовые наборы данных
Полнотекстовые книги и журнальные статьи, лицензированные у академического издательства и предоставляемые через API, охватывают двенадцать предметных областей в рамках физических наук и инженерии — астрономию, биомедицину, гражданское строительство, электротехнику и электронику, энергетику, промышленность, материаловедение, машиностроение, нанотехнологии, физику, полимерную науку и управление безопасностью. Они подходят для научной и технической подготовки и поиска рецензируемых источников.
Сценарий развлекательного контента и повествовательный текст
Сценарии, стенограммы и повествовательные тексты, взятые из обширного каталога художественных фильмов, телесериалов, анимации и микродрам, охватывающих жанры драмы, комедии, научной фантастики, вестерна, боевика, детектива, романтики, триллера и религиозной тематики. Они поддерживают создание повествования и диалогов, моделирование формата сценария и согласование сценария со сценами.
Частые вопросы (FAQ)
1. Что такое текстовые наборы данных для обучения ИИ?
Текстовые наборы данных для обучения ИИ представляют собой тщательно отобранные коллекции письменного языка, такие как пары вопросов и ответов, инструкции, статьи, код, медицинские записи, книги и сценарии, используемые для предварительного обучения, тонкой настройки и оценки больших языковых моделей (LLM) и систем обработки естественного языка (NLP). Каталог текстовых данных Shaip предлагает готовые к лицензированию наборы данных в восьми категориях, каждая из которых основана на реальных материалах.
2. Какие типы текстовых наборов данных предлагает Shaip?
Каталог охватывает восемь категорий: наборы данных с вопросами и ответами в формате диалога и инструкциями, наборы данных из репозиториев кода и программного обеспечения, новостные и журналистские тексты, наборы данных с вопросами и ответами в клинической практике и клиническими случаями, необработанный текст и корпуса веб-масштаба, корпуса отсканированных документов, академические и издательские тексты, а также сценарии развлекательных и повествовательных текстов.
3. Какие языки и диалекты рассматриваются?
Наборы данных доступны на английском, арабском и испанском языках. Арабский язык охватывает современный стандартный арабский, а также саудовские, эмиратские, египетские и левантийские диалекты, что помогает моделям, хорошо работающим с современным стандартным арабским, но испытывающим трудности с региональными вариантами разговорной речи.
4. Какие сценарии использования ИИ поддерживают эти наборы данных?
Типичные сценарии использования включают предварительное обучение LLM, настройку и тонкую настройку инструкций, оценку и сравнительный анализ моделей, генерацию с расширенными возможностями поиска (RAG), автозаполнение и проверку кода, ИИ в здравоохранении, ИИ для работы с документами и извлечение информации, а также генерацию диалогов и сценариев.
5. Могу ли я оценить набор данных перед тем, как получить на него лицензию?
Да. Перед лицензированием набора данных можно организовать предоставление образцов или доступа к нему для оценки, чтобы ваша команда могла проверить соответствие, формат и качество. Свяжитесь с нами, описав свой сценарий использования, чтобы запросить образец из соответствующей категории.
6. Как обрабатываются конфиденциальные данные, такие как персональные данные и медицинская информация?
В случаях, когда исходные материалы содержат персональные данные или защищенную медицинскую информацию, например, клинические данные, в рамках соглашения предусмотрено редактирование, обезличивание и маскирование данных, чтобы они соответствовали вашим требованиям конфиденциальности и законодательства.
7. В чем разница между золотым и серебряным наборами данных?
«Золотые» наборы данных подготовлены в соответствии с более высокими стандартами проверки и лучше всего подходят для сравнительного анализа и оценки. «Серебряные» наборы данных проходят стандартную проверку и хорошо подходят для крупномасштабного обучения, где объем данных имеет большее значение.
8. Можно ли настраивать или расширять наборы данных?
Да. Наборы данных могут быть адаптированы под ваш проект по языку, предметной области, объему или формату. Если каталог не содержит необходимых вам данных, Shaip может собрать и аннотировать текстовые данные в соответствии с вашими требованиями.
9. Какие варианты лицензирования доступны?
Условия лицензирования определяются для каждого конкретного случая в зависимости от набора данных, объема, предполагаемого использования и продолжительности. Некоторые наборы данных, например, новостной контент, доступны как в виде регулярно обновляемой ленты, так и в виде одноразового архивного корпуса.
10. Каким образом предоставляются наборы данных?
Способ доставки зависит от набора данных. Варианты включают структурированные файлы, PDF-файлы для отсканированных документов, регулярные новостные ленты и доставку через API для академического и издательского контента. Формат доставки может быть согласован с вашим процессом обучения.
11. Сколько стоят текстовые наборы данных?
Цена зависит от категории, объема, эксклюзивности и условий лицензирования. Поделитесь своими требованиями с нашей командой, чтобы получить индивидуальное предложение для вашего проекта.
12. Как мне начать?
Выберите категорию, соответствующую вашим задачам, а затем свяжитесь с компанией Shaip, изложив свои требования. Наша команда предоставит подробную информацию о наборе данных, организует предоставление образцов и определит условия лицензирования для вашего проекта.
