Тестирование новой технологии перевода Google Translate

Недавно Google значительно усовершенствовал систему Google Translate. На этой неделе компания заявила, что новая система машинного перевода, основанная на принципе искусственного интеллекта, “Google Machine Neural Translation”, способна снизить количество ошибок до 80% по сравнению с современными алгоритмами Google Translate, максимально приблизив полученный текст к переводу, сделанному человеком. Пока что новый метод доступен только для перевода с мандаринского диалекта китайского языка, однако, судя по примерам, представленным Google, система отлично справляется со стандартными публицистическими текстами.

Команда Quartz просто обожает языки, поэтому мы решили взять дело в свои руки. Как и в случае со Skype-переводчиком, мы устроили новому Google Переводчику эффективный стресс-тест по переводу с китайского языка. Максимальная оценка – 5 лампочек:

Этап 1: Разговор

Для начала мы взяли отрывок из обычного повседневного разговора из курса по английскому для начинающих на сайте ESLfast, бесплатной онлайн платформе по изучению языка. Мы сами перевели диалог на китайский, потом пропустили его через новый Google Переводчик, чтобы проверить, насколько хорошо он переведет его обратно на английский.

Вот оригинал текста (и да, он сексистский):

A: I've got a date for you.

B: Oh, really?

A: Are you interested?

B: Maybe. What is she like?

A: She's got a great personality.

B: Uh-oh. That means that she's fat and ugly.

A: She's cute.

B: OK, so she's not ugly; she's just fat.

A: She weighs 98 pounds.

B: OK, she's not fat. So what's the problem with her?

A: Who said there is a problem with her?

B: The problem is she has no problems—she's too good for me!

Вот что предложил Google:

A: I arranged an appointment for you.

B: Oh, really?

A: Interested?

B: Maybe, how about her?

A: Her character is super good.

B: God, that means she is fat and ugly.

A: She is very cute.

B: OK, that means she's not ugly, but fat.

A: She's 98 pounds.

B: So it seems she is not fat, that she has any problem?

A: Who says she has a problem?

B: The problem is that she has no problem, I am not worthy of her.

Довольно неплохо справился. Единственная ошибка в изменении значения с “What is she like?” на “How about her?” Мы перевели “What is she like?” на китайский как “她人怎么样”, что дословно переводится «Как она?», но имеет значение ближе к «Какой у нее характер?» Так как Google эту фразу перевел на английский дословно, в итоге получилось “How about her?”, не передающее исходное значение.

Оценка за первый этап: 💡💡💡💡

Этап 2: Академическая статья

После этого мы решили пойти еще дальше, взяв для перевода более сложный текстовый материал, с которым часто сталкиваются, например, студенты.

Ниже приводим цитату из исследования Национальной академии наук США о размерах мозга птиц и их когнитивных способностях, которая может оказаться полезной какому-нибудь студенту-зоологу:

“Birds are remarkably intelligent, although their brains are small. Corvids and some parrots are capable of cognitive feats comparable to those of great apes. How do birds achieve impressive cognitive prowess with walnut-sized brains? We investigated the cellular composition of the brains of 28 avian species, uncovering a straightforward solution to the puzzle: brains of songbirds and parrots contain very large numbers of neurons, at neuronal densities considerably exceeding those found in mammals. Because these “extra” neurons are predominantly located in the forebrain, large parrots and corvids have the same or greater forebrain neuron counts as monkeys with much larger brains. Avian brains thus have the potential to provide much higher “cognitive power” per unit mass than do mammalian brains.”

Команда Quartz перевела этот абзац на китайский и пропустила через Google Переводчик:

“Although the heads of birds are small, they are very clever. Some crows and parrots can even be cognitively comparable to apes. Why do these birds walnut-sized brain, can have such amazing cognitive ability? We have 28 species of birds brain cell nerve composition investigation, solved the answer to this answer. The answer is straightforward: both the songbird and the parrot have large numbers of neurons in the brain that are denser than the known mammalian neuron density. Coupled with the large number of neurons concentrated in the forebrain, large parrots and songbirds have the same number, or more neurons, than monkeys with much larger heads than these birds. Thus birds have a higher brain specific energy than mammals.”

Другой пример ̶ переведенный Google Переводчиком термин «экономический пузырь» (“bubble economy”) со страницы Википедии на китайском языке:

“Bubble economy, refers to the value of assets beyond the real economy can bear the degree, it is easy to lose the sustainable development of the macroeconomic status”

Отдаленно похоже на что-то вразумительное. Но все же у Google есть проблемы со структурой предложения. Из-за сильных различий в порядке слов в английских и китайских предложениях онлайн переводчику не удалось корректно и доступно перевести определение на английский. Должно получится “the asset values that are beyond the degree the real economy can bear” и “a macroeconomic status that is easy to lose sustainability.” В случае же с последней фразой, смысл был бы передан более корректно в варианте “a macroeconomic status that is easily unsustainable.”

Бессоюзные сложные предложения довольно характерны в китайском языке, также если в предыдущем предложении было указано подлежащее, то в следующем оно обычно опущено. Далее рассмотрим пример переведенного при помощи Google Translate отрывка о происхождении вируса Зика, взятого, опять же, из китайской Википедии. С каждой последующей частью предложения, Google Переводчику все хуже удавалось передавать их смысл:

“The virus first in 1947 in Uganda Zika forest of macaque isolated from the body, hence the name. According to genotypes are divided into Asian and African type two types, in Central Africa, Southeast Asia and India have found records. In the past, only a small number of human cases were reported, until 2007, in the Federated States of Micronesia, Yabu outbreak of cluster epidemic, only this disease have more awareness.”

Оценка за второй этап: 💡💡

Этап 3: Поэзия

Принимая во внимание все лингвистические, литературные, культурные и эстетические особенности поэтических текстов, их перевод для любого профессионального переводчика - настоящий вызов. Посмотрим, как справится с этим искусственный интеллект Google Переводчика. Мы протестировали его способности произведением «Думы тихой ночью» (“Thoughts on a still night”), написанным поэтом древней династии Тан, Ли Баем (701—762/763 г.) Оно очень простое, по пять иероглифов в каждой строке. Ниже неплохой вариант перевода на английский:

Before my bed, the moon is shining bright,

I think that it is frost upon the ground.

I raise my head and look at the bright moon,

I lower my head and think of home.

А теперь версия перевода от Google:

Moonlight before bed,

Suspected to be frost on the ground.

Raised his head and looked at the moon,

Bow thinking hometown.

“Suspected to be frost on the ground” - здесь окончательно теряется вся эстетичность стихотворения. Можно так же заметить, как Google пытался найти в третьей строке подлежащее, в результате получилось “raised his head.”

Оценка за третий этап: 💡💡

Бонусный раунд: Ругательства

Некоторые стандартные китайские ругательства Google верно переводит на английский язык как “f—“ и “f— your mother”. Однако у него не получилось перевести более разговорную фразу 我操 , которая дословно переводится как “I f—,” но имеет значение, эквивалентное “f— you” в английском. На картинке ниже Google переводит ругательство довольно безобидным словосочетанием, что может поставить в неудобное положение любого, кто решит таким переводом воспользоваться.

 

Эвфемизм для “I f—” с китайского был переведен тоже в более смягченном варианте:


Оценка за бонусный раунд: 💡


поделиться

комментарии
или войдите, чтобы оставлять комментарии