Ihmisen korvaamattomuudesta kaunokirjallisuuden kääntämisessä

© Andrey Shilov

Turun yliopiston monikielisen käännösviestinnän professori Kristiina Taivalkoski-Shilov piti professoriluentonsa Ihmisen korvaamattomuudesta kaunokirjallisuuden kääntämisessä: esimerkkinä moniäänisyyden välittäminen kertovissa teksteissä 11.1.2017. 

Viime elokuussa raisiolainen toimittaja Taina Saarinen aiheutti kohun lataamalla Twitteriin ja Facebookiin kuvia Shakespearen King Lear -näytelmän suomennoksesta, jonka hän oli ostanut Suomalaisen kirjakaupan verkokaupasta (Saarinen 2016)[1]. Saarinen oli luullut ostaneensa aivan tavallisen, käännetyn taskukirjan, jonka kääntäjän nimeä hän ei tosin ollut huomannut katsoa. Kirja paljastui kuitenkin konekäännökseksi, jota ei ollut edes päällisin puolin editoitu ennen painamista. Pian kuvakaappaukset ja sitaatit kömpelöstä tekeleestä levisivät sosiaalisessa mediassa ja lehdistössä. Varsinaiseksi meemiksi muodostui kreivi Glosterin repliikki, “Kuningas on kauhea rage” (Kuningas Lear, toinen näytös, neljäs kohtaus).

Tapaus ei ollut ainutkertainen, vaan konekääntimillä tehtyjä suomennoksia on aiemmin paljastunut mm. Amazonin ja AdLibriksen valikoimista (Koistinen 2016). Niitä tuli lisää ilmi myös Kuningas Learia koskevan keskustelun yhteydessä (ks. esim. Turun Sanomat ja Määttänen 2016). Vaikka konekäännetyt suomennokset on toistaiseksi jouduttu vetämään myynnistä, herättää niiden tulo kirjamarkkinoille huolta kirjallisuuden ystävissä ja ammattikääntäjissä. Tämä johtuu erityisesti siitä, että konekääntämistä hyödynnetään jo käännöstoimistoissa, yhdistettynä ammattikääntäjän tekemään jälkieditointiin. Tämän menetelmän laatu paranee koko ajan kielipareissa, joissa nk. tilastollisia konekääntimiä ja jälkieditointia on hyödynnetty pidemmän ajan ja joista sen takia löytyy näiden kääntimien tarvitsemaa sähköistä tekstimassaa. Konekääntäminen on jalkautunut Suomeenkin, vaikka suomen kieli runsaine taivutusrakenteineen asettaakin erityisiä haasteita konekääntämiselle. (Koponen 2016; Sotejeff-Wilson 2016.) Tässä yhteydessä on huomautettava, ettei konekäännösten kehittämistyö sinänsä ole kielteinen ilmiö, koska joissakin olosuhteissa koneiden tekemien raakakäännösten on todettu nopeuttavan ja helpottavan asiatekstien kääntäjien työtä (ks. Koponen 2016, 12). Lisäksi sen avulla voidaan kehittää sovelluksia tilanteisiin, joissa ammattimaista käännös- tai tulkkauspalvelua ei ole tarjolla tai joissa sitä ei ole mielekästä tai turvallista tarjota. Tällaisia ovat esimerkiksi yhteistä kieltä puhumattomien maallikoiden väliset spontaanit kielenkäyttötilanteet sekä sota- ja konfliktilanteet, joissa tulkit usein joutuvat hengenvaaraan.  

Viime aikoina on julkisuudessa kuitenkin esitetty skenaarioita, että koneet lopulta syrjäyttävät ihmiskääntäjät kokonaan. Kerrotaan sensaatiomaisen hyvin onnistuneista konekäännöksistä, jotka on todellisuudessa tehty vain lyhyistä tekstinpätkistä, joiden kerronnallinen rakenne on yksinkertainen. (Lewis-Kraus 2016; Similä 2017). Mutta vakavasti ajatellen, kun konekääntimiä voidaan räätälöidä tiettyjä tekstityyppejä varten (Koponen 2016), voidaanko niitä kehitellä myös kaunokirjallisuuden kääntämiseen? Siirrytäänkö käännöskirjallisuudessakin vähitellen koneen tekemän raakakäännöksen ja ihmisen jälkieditoinnin yhdistelmään? Mitä silloin tapahtuu kirjallisuudelle ja kulttuurille? Vaikka kaunokirjallisuuden konekääntämistä koskeva tutkimus on toistaiseksi ollut melko vähäistä ja koskenut lähinnä runouden kääntämistä (ks. esim. Genzel et al. 2010; Greene et al. 2010; Lee 2011), työpajoja, joissa tutkitaan kirjallisuutta tietokonelingvistiikan keinoin on järjestetty vuodesta 2012 (Toral & Way 2015b, 244-245; CLFL 2016; LaTeCH-CLfL 2017). Lisäksi ainakin yhdessä pilottitutkimuksessa, joka tehtiin Grenoblen yliopistossa, on kokeiltu konekäännöksen jälkieditointia kaunokirjallisen tekstin kääntämisessä (Besacier 2014). Dublinin yliopiston tietojenkäsittelytieteen laitoksessa puolestaan on parhaillaan meneillään tutkimusprojekti, joka ensimmäisenä maailmassa pyrkii kehittämään erityistä konekäännösjärjestelmää romaanien kääntämiseen (Toral & Way 2015a, 123, 124). Tämän professoriluentoni tarkoituksena on tarkastella näitä tutkimuksia ja selvittää, kuinka pitkällä kaunokirjallisuuden konekääntämisen tutkimuksessa tällä hetkellä oikeasti ollaan.

Miten konekäännöksen jälkieditointi soveltuu esseen kääntämiseen?

Vuonna 2014 ranskalainen tietojenkäsittelytieteen professori Laurent Besacier halusi testata, miten konekäännöksen jälkieditointi soveltuisi kaunokirjallisuuden kääntämiseen. Häntä kiinnosti myös tutkia, kuinka hyväksyttävinä lukijat pitäisivät sen avulla tuotettuja käännöksiä. (Besacier 2014, 389). Hän teki pilottitutkimuksen, jonka lähtötekstinä käytettiin englanninkielistä Richard Powersin GQ -lehteen kirjoittamaa noin 20-sivuista esseetä “The Book of Me” (Powers 2008). Se käännettiin ranskaksi. Powers oli antanut hankkeelle suostumuksensa, mikä ei ole yllättävää, koska tiede ja teknologia ovat hänen teostensa keskeisiä teemoja. Powers oli ensimmäisiä ihmisiä maailmassa, joiden koko geeniperimä selvitettiin vuonna 2008, ja “The Book of Me” kertoo tuosta prosessista. Tekstin valintaan vaikutti Besacier’n mukaan sen aihepiiri. Hän arveli, että sillä saattaisi olla yhteisiä piirteitä tieteellisten tekstien kanssa. Kuitenkin hän kuvaa artikkelissaan “The Book of Me”:tä ensisijaisesti kaunokirjalliseksi tekstiksi, jonka minä-kertojana ja päähenkilönä on kirjailija itse. (Besacier 2014, 390.) 

Tekstin käännös- ja jälkieditointiprosessi toteutettiin konekääntimellä, jota oli aiemmin räätälöity lehtitekstien kääntämistä varten sekä jälkieditointiin kehitetyllä työkalulla, jota oli käytetty esim. tietosanakirja-artikkelien ja internet-tekstien käännösten muokkaamisessa. “The Book of Me” käännettiin ja jälkieditoitiin kolmessa osassa ja konekäännintä muokattiin jokaisessa vaiheessa jälkieditoinnista saadun datan avulla. Johtuen syistä, joita artikkelissa ei mainita, jälkieditoinnista ei vastannut ammattikääntäjä, vaan käännöstieteen maisteriopiskelija. Aikaa käännösprosessin kolmeen vaiheeseen kului yhteensä viisitoista tuntia. Kun tekstiä tämän jälkeen luettiin, lopputulos todettiin hyvin epätyydyttäväksi. Besacier toteaa, että siltä puuttui kaunokirjalliselta tekstiltä vaadittava yhtenäisyys. Niinpä tekstin jälkieditoinnista vastannut opiskelija hioi tekstiä vielä neljän tunnin ajan, minkä jälkeen Besacier itse käytti kuusi tuntia tekstin viilaamiseen. Tähän mennessä noin kymmenentuhatta sanaa sisältävän tekstin kääntämiseen oli kaikkiaan mennyt 25 tuntia (Besacier 2014, 391-392).

Lopputulosta arvioitiin kahdella tavalla. Ensin yhdeksän maallikkolukijaa osallistui kokeeseen, jossa he lukivat tekstin ja vastasivat sen luettavuutta koskevaan kyselyyn, jossa testattiin myös, olivatko he ymmärtäneet tekstin oikein. Näistä lukijoista, joista vähemmän kuin puolet oli ahkeria lukijoita, enemmistö piti käännöksen laatua hyväksyttävänä ja melko sujuvana. Tämän lisäksi Besacier antoi käännöksen arvioitavaksi Richard Powersin nimikkoranskantajalle, Sorbonnen yliopiston lehtorille Jean-Yves Pellegrinille ja haastatteli häntä. Pellegrinin arvion mukaan käännös välittää tarkasti lähtötekstin sisällön, erityisesti geenitutkimusta koskevat tieteelliset yksityiskohdat. Mitä tulee tekstin tyyliin, englannin kielen rakenne paistaa monessa kohdassa häiritsevästi läpi. Lisäksi kulttuuriviittauksissa, esimerkiksi paikannimissä on epätäsmällisyyksiä. Ammattikääntäjä ei hänen mielestään voisi käyttää tällaista käännöstä oman työnsä pohjana, koska jo raakaversiossaan hän itse pääsisi parempaan lopputulokseen. Käännöstyöhön menisi kuitenkin kaksinkertainen tuntimäärä eli vajaat 50 tuntia. Pellegrin toteaa, että huomattavaan ajansäästöön voitaisiin päästä, mikäli kääntäjä voisi työskennellä pelkän jälkieditoidun konekäännöksen pohjalta, vertaamatta sitä lähtötekstiin. Se kuitenkin edellyttäisi, että käännöksessä ei takuuvarmasti olisi virheitä, aukkoja ja tyylivirheitä. Besacier toteaa artikkelinsa johtopäätöksissä, että kyseisellä konekääntämisen ja jälkieditoinnin yhdistelmällä voidaan tuottaa nopeasti halpoja käännöksiä, joiden laatu kuitenkin jää puutteelliseksi. (Besacier 2014, 393-394.)

Kirjallisuudentutkimuksen näkökulmasta Besacier’n projektissa on lähtökohtainen ongelma. Hän ei ole ottanut huomioon, että kaunokirjallisen tekstin sisältöä ja muotoa ei voida erottaa toisistaan. Kaunokirjallisen tekstin sanat eivät välitä tietoa pelkästään teoksen juonesta ja teemoista. Ne kannattelevat myös tekstin kerronnallista rakennetta, joka Markku Lehtimäen ja Pekka Tammen sanoin (2011, 257) on yhdistelmä kertojan ja henkilön diskursseista. Kertojan ääni on tekstissä päällimmäisenä ja se toimii välittävänä tahona tekstin kaikille muille äänille, joita tyypillisesti ovat henkilöhahmojen puhe ja ajatukset. (Taivalkoski-Shilov 2006, 51-57; ks. myös Kuusi 2011, 25). Yksittäinen ääni muodostuu toistuvista tyylipiirteistä, jotka tuntuvat viittaavaan yhteen subjektiiviseen tai kollektiiviseen tietoisuuteen tekstissä (Taivalkoski-Shilov 2015, 60). Tekstit ovat aina jollakin tapaa moniäänisiä, ja moniäänisyydellä en tässä tapauksessa tarkoita bahtinilaista polyfoniaa vaan arkisemmin sitä, että ne rakentuvat hyvin monille eri äänille, jotka voivat myös nivoutua toisiinsa. Moniäänisyys ilmenee myös eri murteiden, sosiolektien ja kielten kirjona, jolla teksteihin luodaan autenttisuuden vaikutelmaa (Tiittula & Nuolijärvi 2013, 11) ja jolla voi olla myös temaattisia funktioita (ks. Taivalkoski-Shilov & Suchet 2013, 4). Moniäänisyyttä luovat kielen elementit voivat olla esimerkiksi pronomineja, verbien tempuksia, deiktisiä ajan ja paikan määreitä, kielen eri tyylirekistereihin liittyviä elementtejä tai typografisia korostuskeinoja. Nuo elementit eivät sinällään ole moniäänisiä, vaan ne saavat tekstissä moniäänisen funktion suhteessa paikalliseen kontekstiinsa ja suhteessa tekstiin kokonaisuutena. Täten nykyiset konekääntimet eivät voi tunnistaa tekstissä olevia ääniä, eikä niille voida etukäteen syöttää tietoa moniäänisyyden tunnusmerkeistä. Totean siis kokoavasti, että koska tekstin yksityiskohdat eivät ole koristeita vaan niillä on kerronnallinen funktio, kaunokirjallisuuden kääntäjä tarvitsee tulkintansa pohjaksi koko alkuperäisen tekstin eikä koneen tekemää raakakäännöstä sellaisenaan tai jälkieditoituna. Tästä menetelmästä ei ole kaunokirjallisuuden kääntämiselle mitään hyötyä vaan suoranaista haittaa.

Onko kaunokirjallisuuden konekääntäminen sukulaiskielten välillä lähitulevaisuutta?

Dublin City Universityssä tietojenkäsittelytieteen laitoksessa meneillään olevassa tutkimusprojektissa professori Andy Way ja tutkija Antonio Toral kertovat päässeensä lupaaviin tuloksiin kaunokirjallisuuden konekääntämisessä erityisesti sukulaiskielten välillä (Toral & Way 2015b, 240). Koska kaunokirjallisuuden kääntäjien palkkiot ovat hyvin alhaisia, aika on heidän mielestään on kypsä kokeilla tilastollista konekääntämistä “ihmiskääntämisen viimeiseen linnakkeeseen” (Toral & Way 2015a, 123), koska sen avulla voitaisiin mahdollisesti nopeuttaa kaunokirjallisuuden kääntäjien työskentelyä ja lisätä heidän ansaintomahdollisuuksiaan. Tätä kautta voitaisiin myös lisätä käännöksiä harvinaisista vähemmistökielistä. (Toral & Way 2015a, 123; 2015b, 243, 247-248).

Toral ja Way ovat julkaisseet tutkimuksestaan kaksi artikkelia vuonna 2015, joista keskityn tässä ensimmäiseen. Siinä he tarkastelevat aluksi kaunokirjallisten tekstien käännettävyyttä tilastollista konekääntämistä ajatellen ja lopuksi kokeilevat kokonaisen romaanin konekääntämistä espanjasta katalaaniin. Toral ja Way kertovat, että tilastollisessa konekääntämisessä käännettävyys riippuu kahdesta seikasta: tekstilajin aihealueen suppeudesta sekä siitä, mitä opetusmateriaalia eli tässä tapauksessa ihmisten tekemiä todellisia kaunokirjallisuuden käännöksiä löytyy internetistä. He arvelevat, että kaunokirjallisten käännösten tapauksessa opetusmateriaalin ongelmana on käännösten vapaus suhteessa lähtötekstiin. Heidän hypoteesinsa mukaan käännösten vapaudessa olisi kuitenkin vaihtelua riippuen siitä, mikä kielipari ja genre on kyseessä. He esittävät, että sukulaiskielten muodostamissa kielipareissa myös esimerkiksi metaforat olisi käännetty kirjaimellisemmin (Toral & Way 2015a, 124-125).

Toral ja Way tutkivat kaunokirjallisten tekstien käännettävyyttä vertailemalla erilaisia korpuksia. Yhden korpuksen he olivat koonneet neljästä espanjankielisestä romaanista ja niiden katalaanin- ja englanninkielisistä käännöksistä. Vertailukohteena oli internetistä löytyviä uutistekstien, teknisten tekstien ja Euroopan parlamentin tekstejä käsittäviä korpuksia, jotka on valmiiksi segmentoitu. Myös heidän kokoamansa, romaaneja ja niiden käännöksiä käsittävä korpus jaettiin yksittäisten virkkeiden segmenteiksi, joita vertailtiin lähtöteksteissä ja käännöksissä. Vain ne segmentit, jotka pystyttiin kohdistamaan eli joille löytyi suora vastine, otettiin analyysiin mukaan (Toral & Way 2015a, 126-127). Romaanikorpuksen segmentointi lienee ollut välttämätöntä, jotta korpuksia voitiin vertailla. Kuitenkin viitaten siihen, mitä olen edellä puhunut kertovan tekstin rakenteesta, irrallisten segmenttien analyysi soveltuu huonosti ihmisten tekemien kaunokirjallisten käännösten tutkimukseen, koska kaunokirjallinen teksti on yhtenäinen kokonaisuus. Esitän siis kysymyksen tutkimuksen validiteetista. Soveltuuko tämä menetelmä lainkaan kaunokirjallisten tekstien ja niiden käännösten vertailuun?

Korpuksensa romaanien aihealueen suppeudesta Toral ja Way toteavat, että se sijoittuu teknisten tekstien ja uutistekstien välimaastoon. Täten kaunokirjalliset tekstit ovat heidän mukaansa ennustettavampia kuin uutistekstit, vaikka niiden kielelliset rakenteet ovat monimutkaisempia. Hypoteesi siitä, että sukulaiskielten välisistä käännöksistä löytyy enemmän kirjaimellisia käännösvastineita sai korpusanalyysissa vahvistusta. (Toral & Way 2015a, 126). Tästä rohkaistuneina he päättivät kokeilla kokonaisen romaanin konekääntämistä kahden sukulaiskielen välillä. Carlos Ruiz Zafónin romaani El prisionero del cielo (2011) käännettiin espanjasta katalaaniksi uutiskääntämiseen räätälöidyllä konekääntimellä, jota kehitettiin Ruiz Zafónin teosten aiempien käännösten avulla. Konekäännöksen onnistuneisuutta testattiin kahdella espanjaa ja katalaania puhuvalla henkilöllä,[2] joilla on kielitieteellinen koulutus, mutta ei perehtyneisyyttä konekääntämiseen. He saivat lukeakseen 101 segmenttiä alkutekstistä, konekäännöksestä sekä ihmisen tekemästä käännöksestä, josta heille ei kerrottu, että se on ihmisen tekemä. Nämä segmentit annettiin arvioitavaksi Appraise Tool nimisen työkalun avulla. (Toral & Way 2015a, 129). Koehenkilöiden lukukokemus ei siis millään tavalla vastannut autenttista kaunokirjallisuuden lukutilannetta, koska tekstiä ei saatu kokonaisuutena. Toral ja Way (2015a, 130) kertovat, että kumpikin arvioija piti konekäännöstä monessa tapauksessa ihmisen veroisena. Se oli hyvä tai jopa ihmistä parempi lyhyiden virkkeiden kääntämisessä (esim. ¿Adónde vas? Minne menet?), kun taas ihmisen tekemää käännöstä pidettiin parempana, kun kyseessä olivat pidemmät virkkeet. Koska Toralin ja Wayn lukijatutkimuksesta puuttuu ekologista validiteettia eli vastaavuutta tosielämän kanssa, näihin tuloksiin on syytä suhtautua varauksella.   

Johtopäätöksenä totean, että tarkastelemieni kahden tutkimuksen perusteella kaunokirjallisuuden konekääntämisen tutkimuksessa ei vielä olla kovin pitkällä. Koska sen tutkijoilta puuttuu kirjallisuuden asiantuntemusta, he käyttävät tutkimuksissaan virheellisiä oletuksia tai menetelmiä, joilla ei voida oikeasti mitata konekäännösten onnistuneisuutta. Jotta konekääntämisen tutkimuksessa päästäisiin eteenpäin, tarvittaisiin monitieteistä tutkimusta. Harva humanisti kuitenkaan haluaisi lähteä mukaan hankkeeseen, jossa kehitetään konekääntimiä kaunokirjallisuuden kääntämistä varten, koska vaikka niitä kehitettäisiinkin hyvässä tarkoituksessa, ne saattaisivat johtaa kaunokirjallisuuden kääntäjien kurjistumiseen ja käännöskirjallisuuden laadun romahtamiseen. Toral ja Way (2015b, 264) toteavat jälkimmäisen artikkelinsa lopulla, etteivät konekääntäminen ja jälkieditointi kenties sovellukaan niin hyvin kaunokirjallisuuteen ja he hahmottelevat ajatusta vuorovaikutteisesta konekääntimestä, joka antaisi useita käännösehdotuksia, kun kääntäjä kirjoittaa tekstiä. Kaunokirjallisuuden kääntämiseen räätälöity työkalu, joka ei huonontaisi vaan parantaisi kaunokirjallisuuden kääntäjien asemaa, kuulostaakin jo järkevämmältä hankkeelta ja se voisi kiinnostaa myös käännöstieteilijöitä. Näen tässä hedelmällisen tutkimusyhteistyön mahdollisuuksia.       

Lähteet:

Laurent Besacier 2014. “Traduction automatisée d’une œuvre littéraire: une étude pilote.” Traitement Automatique du Langage Naturel (TALN), Marseille. http://www.aclweb.org/anthology/F14-2001, viimeksi katsottu 6.1.2017.

CLFL = Fifth Workshop on Computational Linguistics for Literature, https://sites.google.com/site/clfl2016/, viimeksi katsottu 6.1.2017.

Genzel, Dmitriy, Jakob Uszkoreit & Franz Och 2010. “Poetic” Statistical Machine Translation: Rhyme and Meter. Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, EMNLP ’10, s. 158-166.

Greene Erica, Tugba Bodrumlu & Kevin Knight. 2010. “Automatic analysis of rhythmic poetry with applications to generation and translation. Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, EMNLP ’10, Stroudsburg, PA, USA. Association for Computational Linguistics, s. 524-533.

Koistinen, Olavi 2016. “’Jussi liikkui suolla, pysähteli’ – Muokkasimme Väinö Linnan klassikkokirjan alun sellaiseen muotoon, että Google Translate osaa kääntää sen.” Helsingin Sanomat 20.2.2016, http://www.hs.fi/tekniikka/art-2000002887061.html, viimeksi katsottu 3.1.2017.

Koponen, Maarit 2016. “Onko konekäännöksestä hyötyä? Jälkieditointiprosessia ja sen työläyttä tutkimassa.” Kääntäjä 2/2016, s. 12-13.

Kuusi, Päivi 2011. Miksi näkökulma muuttuu käännöksessä? Eksplisiittistämisen ja normaalistamisen selitysvoima ja seuraukset. Tampere: Tampere University Press.

LaTeCH-CLfL 2017 = Joint SIGHUM Workshop on Computational Linguistics for Cultural Heritage, Social Sciences, Humanities and Literature, https://sighum.wordpress.com/events/latech-clfl-2017/, viimeksi katsottu 6.1.2017.

Lee, Tong King 2011. “The death of the translator in machine translation: a bilingual project.” Target 23(1): 92-112. DOI 10.1075/target.23.1.06lee

Lehtimäki, Markku & Pekka Tammi 2011. “Discourse: Direct, Indirect, Tagged, Free.” The Encyclopedia of the Novel, toim. Peter Melville Logan et al. (Wiley-Blackwell Encyclopedia of Literatures) s. 256-261.

Lewis-Kraus, Gideon 2016. “The Great A.A. Awakening.” The New York Times Magazine 14.12.2016, http://www.nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html?_r=2, viimeksi katsottu 10.1.2017.

Määttänen, Juuso 2016. “Suomalaisen kirjakaupan konekäännetty Shakespeare hämmästyttää netissä: ”Kuningas on kauhea rage”.” Helsingin Sanomat 25.8.2016, http://www.hs.fi/kulttuuri/art-2000002917673.html, viimeksi katsottu 3.1.2017.

Powers, Richard 2008. “The Book of Me.” http://www.gq.com/story/richard-powers-genome-sequence?currentPage=1, viimeksi katsottu 7.1.2017.

Saarinen, Taina 2016. Facebook -päivitys 23.8.2016, https://www.facebook.com/taina.saarinen.5/posts/10210657178922638, viimeksi katsottu 3.1.2017

Similä, Ville 2017. “Algoritmi ajaa autoa ja käy pörssikauppaa – nyt kerromme, mikä se algoritmi on.” Helsingin Sanomat 8.1.2017, http://www.hs.fi/sunnuntai/art-2000005034336.html, viimeksi katsottu 8.1.2017.

Sotejeff-Wilson, Kate 2016. Kirja-arvostelu: FT Maarit Koponen, Machine Translation Post-editing and Effort. Empirical Studies on the Post-editing Process. (Väitöskirja, Helsingin yliopisto, 2016), Kääntäjä 3/2016, s. 13.

Taivalkoski-Shilov, Kristiina 2006. La tierce main. Le discours rapporté dans les traductions françaises de Fielding au XVIIIe siècle. Arras: Artois Presses Université.  

Taivalkoski-Shilov, Kristiina 2015. “Friday in Finnish: A Character’s and (Re)translators’ Voices in Six Finnish Retranslations of Daniel Defoe’s Robinson Crusoe.” Target 27 (1): 58-74.

Taivalkoski-Shilov, Kristiina & Myriam Suchet. 2013. “Introduction: Voice in the Field of Translation Studies/De questionnement en questionnement.” La Traduction des voix intra-textuelles/ Intratextual Voices in Translation [Vita Traductiva 1], toim. Kristiina Taivalkoski-Shilov & Myriam Suchet, 1–30. Montreal: Éditions québécoises de l’œuvre.

Tiittula, Liisa & Pirkko Nuolijärvi 2013. Puheen illuusio suomenkielisessä kaunokirjallisuudessa. Helsinki: SKS.

Toral, Antonio & Andy Way 2015a. “Translating Literary Text between Related Languages using SMT.” Proceedings of NAACL-HLT Fourth Workshop on Computational Linguistics for Literature, Denver, Colorado, June 4, 2015, s. 123-132, © 2015 Association for Computational Linguistics, http://www.aclweb.org/anthology/W/W15/W15-0714.pdf, viimeksi katsottu 5.1.2017.

Toral, Antonio & Andy Way 2015b. “Machine-assisted translation of literary text: a case study.” Translation Spaces 4(2): 240-267. DOI 10.1075/ts.4.2.04tor

Turun Sanomat “Kirjakaupat myyvät konekäännettyä roskaa – "Opi Color Names Lasten".” 25.8.2016, http://www.ts.fi/uutiset/paikalliset/2760058/Kirjakaupat+myyvat+konekaannettya+roskaaOpi+Color+Names+Lasten, viimeksi katsottu 3.1.2017.