Действительно ли нейронный машинный перевод такой же качественный, как человеческий?

Большинство людей, вероятно, уже встречались с утверждениями, что нейронный машинный перевод (НМП) приносит такие же (или почти такие же) хорошие результаты, что и человеческий перевод. Если данные утверждения, которые повторяются в популярных изданиях о технологиях, без подробного исследования вопроса, точны, то в скором времени профессиональные переводчики останутся без работы.

Основываясь на продолжающемся исследовании компании Common Sense Advisory (CSA Research), о роли машинного перевода в многоязычных коммуникациях, мы обнаружили, что данные утверждения – очень сильное преувеличение. Во многих отношениях НМП представляет собой значительное улучшение по сравнению с современным статистическим машинным переводом, но до сих пор разрыв между НМП и человеческим переводом не преодолен. МП станет более приемлемым и поможет сгладить огромный разрыв между спросом и предложением на лингвистические услуги, но мы полагаем, что это одновременно будет способствовать повышению ценности переводчиков при выполнении особо важных задач – здесь люди остаются непревзойдёнными.

Google одним из первых начал крупномасштабное применение НМП в производственной среде. До 2016 года исследователи искусственного интеллекта рассматривали НМП как нечто, что когда-нибудь появится, но относились к нему скорее как к «журавлю в небе». Всё изменилось в 2016 году. На самом деле, Microsoft обогнал Google с запуском НМП на несколько месяцев, но запуск НМП компанией Microsoft привлек минимальное внимание, в то время как пресс-релиз компании Google вызвал такое восторженное внимание прессы, какого лингвистические технологии не привлекали к себе почти никогда.

Различие в количестве привлечённого внимания отчасти происходит от того, что хитрая PR стратегия компании Google основана на растущем интересе к искусственному интеллекту и предоставляет читателю простые и понятные (по крайней мере, с виду) утверждения, обещая глобальные результаты, которые изменят мир. По контрасту, более реалистичные и умеренные пресс-релизы от Microsoft и SYSTRAN, которые анонсировали переход на НМП в то же время, что и Google, не взбудоражили воображение публики.

Что особенно «зацепило» прессу, так это обнародованное открытие компании Google, что текст перевода, созданный посредством НМП, оказался почти неотличим от человеческого перевода, когда он был подвергнут оценке рецензентов, и что ошибки перевода в нём снизились на 55–85%. Второе утверждение базировалось на неясных математических вычислениях, которые не были с очевидностью отражены даже на предъявленных самой компанией диаграммах, демонстрировавших существенное, но постепенное улучшение.

Стороннее расчётно-аналитическое исследование МП и его результатов помогло бы контекстуализировать эти открытия и избежать тенденции разработчиков представлять свои достижения, преувеличивая успехи. Однако при отсутствии надёжного нейтрального источника, который уравновесил бы заявление компании Google, это заявление привело к тому, что доверчивые масс-медиа стали утверждать, что МП вот-вот заменит работу людей-лингвистов.

Похоже, что данные компании Google указывают на разницу между старой системой, базировавшейся на пофразовом переводе и человеческим переводом. И эту разницу устраняет НМП. Такое утверждение компании вводит в заблуждение по следующим двум причинам:

Тесты, использованные компанией Google с целью демонстрации высокого качества, на самом деле не могут служить этой цели. Тестовая методика, на которую опирается Google, состоит в том, что опрашиваются не переводчики, а непрофессионалы, свободно владеющие обоими языками – оригинала и перевода, и эти респонденты должны присудить баллы как результатам МП, так и человеческому переводу. Не оценивается количество ошибок и степень их серьёзности. Кроме того, свободное владение языком – не достаточная гарантия полного понимания проблем перевода, так что данная методика имеет тенденцию к предпочтению беглого – естественно звучащего – перевода переводу точному. Анализ образцов Google показывает, что переводы по старой статистической пофразовой системе этой компании, часто звучали неестественно, но улавливали смысл правильно в тех случаях, когда версия НМП его не улавливала. Переход к новой системе может привести к проблемам, если лучше звучащий результат будет приводить потребителей информации к признанию перевода точным, когда он таковым не является.

Отзывы непрофессионалов не выдержат конкуренции с анализом профессиональных переводчиков. К тому же отзывы непрофессионалов выявляют много проблем. НМП оказались переводами не того уровня, чтобы LSP (поставщики услуг перевода) согласились с гордостью предложить их своим клиентам. Собственные результаты компании Google показывают, что эти переводы зачастую далеко не дотягивают до количества баллов, которое получил бы «идеальный перевод». Следовательно, Google продемонстрировал, что продукция НМП является более «гладкой», чем переводы по старой системе, и почти достигает уровня плохого или чернового человеческого перевода, но не уровня качественного человеческого перевода.

Разумеется, популярные СМИ не собираются интересоваться тонкостями оценки качества перевода. Сравнение человеческого и машинного перевода – это особенно трудная тема, в которой методики, предпочитаемые исследователями МП и основанные на отзывах, не имеют почти ничего общего с тем, как специалисты, профессионально работающие с языками, видят и понимают хорошее качество перевода.

Из всего сказанного следует, что НМП выполняет обещание предоставить значительно лучший МП и распространить его в тех областях, в которых уже существующие решения недостаточно хороши, а содержание остаётся непереведённым. Компания CSA Research прогнозирует, что НМП будет играть всё более важную роль в многоязычных контент-стратегиях компаний. Нынешнее поколение МП уже помогает поставщикам услуг перевода обеспечить устойчивый рост количества услуг, который превышает продуктивные возможности переводчиков, если бы они не прибегали к помощи МП. Это обеспечит более качественный МП, что в свою очередь приведёт к увеличению доли рынка в тех сегментах, где вопрос качества ранее не позволял МП конкурировать с человеком.

НМП и другие технологии, такие как адаптивный МП, изменят методы профессионалов, работающих с языками, но не смогут их заменить в обозримом будущем. Вместо этого НМП поможет им увеличить свою продуктивность и ценность. Используя МП высокого качества в своей повседневной деятельности, переводчики смогут работать быстрее и концентрироваться на «хороших частях» своей работы – тех аспектах, которые требуют опыта и креативности.

Источник

поделиться

комментарии
или войдите, чтобы оставлять комментарии