Разработка продвинутых решений для автоматизации общения с использованием искусственного интеллекта в регионах с ограниченным доступом к данным представляет уникальные вызовы. Чтобы обучить речевые системы (распознавание и синтез речи) для таких условий, необходимо использовать различные источники данных. Помимо общедоступных наборов данных, которые часто бывают недостаточными или содержат ошибки, критически важными становятся анонимизированные реальные диалоги из целевой среды. Особое внимание уделяется тщательной разметке и нормализации этих данных, учитывая лингвистические особенности, такие как смешение языков и диалектов в одной фразе, а также недавние переходы в алфавите. Этот процесс требует создания тысяч правил нормализации, чтобы модель понимала нюансы речи и не звучала неестественно. Для синтеза речи, помимо общих текстовых корпусов (финансовые новости, сказки), также собираются специфические анонимизированные внутренние данные для обучения на необходимой лексике и тональностях, а также записи от профессиональных дикторов в различных эмоциональных состояниях. Для создания эффективных языковых моделей (LLM) вместо дорогостоящего обучения с нуля применяется тонкая настройка (fine-tuning) существующих открытых моделей. Этот процесс включает два основных этапа. На первом этапе, для освоения низкоресурсного языка, используются публичные наборы данных, дополненные переведенными материалами, а также собственные анонимизированные диалоги для формирования естественного стиля общения и понимания специфической терминологии. Второй этап — обучение следованию инструкциям — требует создания обширных наборов данных. Они включают как переведенные общие инструкции, так и синтетически сгенерированные и созданные совместно с экспертами инструкции, специфичные для целевой области. Важно также учитывать, что синтетические данные могут быть "слишком идеальными", поэтому для придания модели естественности крайне важны реальные диалоги и обратная связь от пользователей при пилотном тестировании в контролируемой среде. Таким образом, разработка ИИ в условиях дефицита данных сродни созданию мозаики: вы начинаете с общедоступных, но неполных фрагментов, а затем кропотливо добавляете и обрабатываете уникальные, индивидуальные кусочки (реальные, анонимизированные данные), чтобы собрать цельную и функциональную картину, которая точно отражает реальность. Источники: https://medium.com/aiphoria/ai-agents-in-uzbekistan-cad2f5b3c1b3 https://medium.com/aiphoria/when-languages-lack-data-making-open-source-llms-work-for-banking-in-uzbekistan-663e6b3891b8

Ask this episode

“What did the council decide on item 42?” — answered with the speaker and the moment.

Transcript

Related