Майкрософт обновил свои службы перевода. Новые модели в ходе слепых оценок показали на 3-15% лучшие результаты, чем предыдущие. Они основаны на Z-Code – части более широкой инициативы Майкрософта XYZ-Code, направленной на объединение аудио-, визуальных и текстовых моделей на нескольких языках для создания более мощных и полезных систем искусственного интеллекта.
Z-Code использует «смесь экспертов» – технику не совсем новую, но особенно полезную в сфере перевода. Эта система разбивает задачи на подзадачи и делегирует их более мелким специализированным моделям, называемым «экспертами». Модель решает, какую задачу делегировать какому эксперту, основываясь на собственных прогнозах. Сильно упрощая, это модель, которая включает в себя несколько более специализированных моделей.
«С Z-кодом мы добились удивительного прогресса, потому что используем как трансферное обучение, так и многозадачное обучение на основе одноязычных и многоязычных данных для создания современной языковой модели, которая, по нашему мнению, имеет наилучшее сочетание качества, производительности и эффективность, которую мы можем предоставить нашим клиентам», сказал технический сотрудник Майкрософта, главный техдиректор Azure AI Сюэдун Хуанг.
Результатом стала новая система, которая теперь может напрямую переводить между 10 языками, что устраняет необходимость в нескольких системах. Майкрософт начал использовать модели Z-кода для улучшения других функций своих систем искусственного интеллекта, в том числе для выделения именованных объектов, резюмирования текста, его пользовательской классификации и извлечения ключевых фраз. Тем не менее, это первый раз, когда Майкрософт использовал этот подход для перевода.
Традиционно модели перевода очень громоздкие, что затрудняет их внедрение в производственную среду. Однако Майкрософт предлагает «разреженный» подход, который активирует только небольшое количество параметров модели для каждой задачи, а не всю систему. «Это делает их гораздо более экономичными в эксплуатации, так же как дешевле и эффективнее обогревать дом зимой только в то время суток, когда вам это нужно, и в местах, которые вы регулярно используете, вместо того чтобы держать печь работающей на полную мощность все время», объясняет Майкрософт.