РОЗРОБКА КРОССПЛАТФОРМНОЇ СИСТЕМИ ДЛЯ ВИРІШЕННЯ ЗАДАЧІ МУЛЬТИМОДАЛЬНОГО НЕЙРОМАШИННОГО ПЕРЕКЛАДУ

Микита Олександрович Майоров

Анотація


Штучні нейронні мережі в останній час є одним з найбільших напрямів досліджень у галузі штучного інтелекту. При наявності великої кількості даних для навчання, нейронні мережі можуть проявляти себе якісніше ніж традиційні алгоритми машинного навчання, особливо у задачах обробки природної мови. Однією с основних проблем побудови систем нейромашинного перекладу є втрата контексту із збільшенням довжини речень. Для її вирішення, у даній статті запропоновано модифікований метод навчання, що залучає до основного набору даних зворотне представлення їх векторизованної форми.


Повний текст:

PDF

Посилання


D. Bahdanau Neural Machine Translation by Jointly Learning to Align and Translate / D. Bahdanau, K. Cho, Y. Bengio. arXiv preprint: 1409.0473, 2014. URL: https://arxiv.org/pdf/1409.0473.pdf (дата звернення: 16.10.2019).

A. Vaswani Attention Is All You Need / A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, I. Polosukhin. arXiv preprint: 1706.03762, 2017. URL: https://arxiv.org/pdf/1706.03762.pdf (дата звернення: 16.10.2019).

K. Cho Learning phrase representations using rnn encoder–decoder for statistical machine translation / K. Cho, B. Van Merriënboer, Ç. Gülçehre, D. Bahdanau, F. Bougares, H. Schwenk, Y. Bengio // In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), P.1724–1734, Doha, Qatar, October 2014. Association for Computational Linguistics. URL: http://www.aclweb.org/anthology/D14-1179 (дата звернення: 20.10.2019).

M. Sun Baidu Neural Machine Translation Systems for WMT19 / M. Sun, B. Jiang, H. Xiong, Z. He, H. Wu, H. Wang // Proceedings of the Fourth Conference on Machine Translation. P.374–381. URL: https://www.aclweb.org/anthology/W19-5341.pdf (дата звернення: 25.10.2019).

Y. Wu Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation / Y. Wu, M. Schuster, Z. Chen, Q. V. Le, M. Norouzi. arXiv preprint: 1609.08144, 2018. URL: https://arxiv.org/pdf/1609.08144.pdf (дата звернення: 17.10.2019).


Посилання

  • Поки немає зовнішніх посилань.