Татарский язык «подружится» с ИИ

Согласно статистике, татарский язык с большим отрывом занимает лидирующие позиции по представленности в Сети среди 21 языка народов России. Такие данные были представлены на ежегодной стратегической сессии Федерального агентства по делам национальностей, проводимой совместно с компанией «Яндекс». В ней также принял участие директор Института прикладной семиотики Академии наук Татарстана Ринат Гильмуллин.

Ученый объяснил лидерство языка проведением системной работы работы в том числе по внедрению в популярные цифровые сервисы крупнейших ИТ-компаний. Например, «Яндекс» уже поддерживает распознавание речи, документов и фото, перевод с татарского языка, голосовой ввод, интегрирована и клавиатура с татарским алфавитом. С «Яндексом» подобная работа длится уже с 2014 года: проводится подготовка параллельных текстовых датасетов, речевого корпуса и другого.

Такое же сотрудничество осуществляется и со Сбером. «ГигаЧат» (ИИ-бот, разработанный компанией) теперь полностью поддерживает татарский язык. Для этого был подготовлен миллиард датасетов, в создании которого приняли участие волонтеры под руководством Молодежного конгресса татар.

С 2013 года проводится международная конференция по компьютерной обработке тюркских языков — TurkLang («ТюркЛанг»). На этом мероприятии объединяются исследователи, которые занимаются обработкой естественного языка (NLP) и инновациями в области искусственного интеллекта.

О молодежи в Татарстане тоже не забывают — шестой год в республике проводится «Татар.Бу Хакатон». На этом мероприятии студенты и школьники посвящают себя созданию продуктов, инновационных ИТ-проектов для развития татарского языка и культуры.

— На самом деле, то, что мы занимаем первое место, я уже отметил, — это благодаря системной работе и поддержке руководства республики. Важно иметь, создавать данные для того, чтобы максимально представить, интегрировать язык в цифровом пространстве, — подчеркнул спикер.

Гильмуллин обратил внимание на национальный корпус татарского языка «Туган тел», который является лингвистическим ресурсом современного литературного татарского языка. Объем платформы составляет более 200 миллионов словоформ. Речь идет о полноценных текстах на татарском языке, которые морфологически и синтаксически размечены. Именно это позволяет использовать корпус для создания различных приложений. Кроме того, корпус помогает филологам и лингвистам — при помощи него ученые могут исследовать различные нюансы языка.

Нельзя обойти стороной всем знакомый сервис «Татсофт» (Tatsoft) — нейросетевой онлайн-переводчик и сервис для работы с татарским языком. Движок этой платформы на протяжении последних 5-6 лет используется в системе поддержки профессионального автоматизированного перевода «Смарткэт». На сегодняшний день Tatsoft принял более 40 миллионов запросов из 150 стран. Суммарно оба упомянутых сервиса перевели более 100 миллионов текстов.

Гильмуллин рассказал также и о приложении «Тиз.Яз» — это татарская клавиатура, которую можно установить на Android и iOS. Она используется для набора текста, однако проект продолжает совершенствоваться — вводится возможность орфографической автоматической проверки текста, уже есть предиктивный ввод и умный словарь. Особенно это актуально для молодежи, подчеркнул Гильмуллин — молодые люди привыкли набирать сообщения с помощью русского алфавита, опуская некоторые особенности татарского языка. Ученый выразил надежду, что проект поможет исправить сложившуюся ситуацию.

Кроме того, для всех носителей языка и желающих его выучить, работает сайт «Татарспич», который помогает расшифровывать и озвучивать текст на татарском языке. Эксперт упомянул и об Атласе татарских народных говоров, который реализован совместно с Институтом языка, литературы и искусства им. Ибрагимова Академии наук республики — там собрана информация о более чем одной тысяче населенных пунктов из 28 регионов России. Обновление на данный момент получает фонд электронных словарей «Сүзлек». Пользователей ожидает новый интерфейс и даже мобильное приложение.

Еще один новый проект — единый голосовой датасет, который будет использован в поддержке «ГигаЧата», в умных устройствах и в ИИ-операторах в кол-центрах. На данный момент собрано около трех терабайтов данных для речевой ресурсной базы, которые еще предстоит обработать. Возможно, это избыточное количество информации, добавил Гильмуллин, однако именно так обеспечивается полное покрытие.

— Хорошо, что татарский язык занимает лидирующие позиции. Но этим успокаиваться нельзя, потому что сейчас есть новые вызовы, — предостерег директор Института, подразумевая фактически неправильные ответы ИИ-чатов. — Если мы не будем готовить именно качественные данные, то мы в перспективе будем получать, как говорится, искаженные данные. Это очень серьезный вопрос, — подытожил Гильмуллин.

Он подчеркнул, что ИИ никогда не будет предоставлять качественную информацию на основе данных из интернета. В этом помогает база знаний TurkLang, разработанная в Институте прикладной семиотики. Она является единой основой для хранения языковых единиц, морфем и семантических связей. Во время работы каждая отдельная морфема и лексема описывается в определенном контексте. В таком случае ИИ сможет понять, например, в каких условиях используется тот или иной аффикс, пояснил Гильмуллин.

Татарский язык обладает множественными инструментами — например, фрактальностью и рекурсией, что помогает развивать искусственный интеллект как сервис в принципе. Разбор словоформ татарского образно и визуально похож на то, что происходит в разуме человека, поделился Гильмуллин.

Во время выступления Гильмуллин также поздравил жителей. Напомним, что в этом году 8 сентября в стране впервые отмечают День языков народов России. Соответствующий указ президент Владимир Путин подписал в ноябре прошлого года. Введение знаменательной даты имеет целью сохранение и поддержку языков народов страны, развитие культурного наследия и популяризацию знаний о языковом разнообразии.

Ранее глава республики Рустам Минниханов поздравил татарстанцев с Днем языков народов России. Раис отметил, что в республике единство многонациональной страны ощущается особенно ярко.

Все самое интересное в нашем канале в MAX.