Сенсорний інтерфейс як співавтор наративу мультимедійних текстів
DOI:
https://doi.org/10.28925/2311-259x.2026.1.13Ключові слова:
мультимедійний текст, жестова семантика, цифрова епоха, штучний інтелект, медіаАнотація
У статті досліджується еволюція наративних практик цифрової журналістики через гаптичні технології у взаємодії з мультимедійним контентом. Актуальність дослідження зумовлена поширенням гаджетів із сенсорними дисплеями та зміною взаємодії з контентом. Поступ сенсорних дисплеїв відкрив нові можливості для звичайного користувача, де дотик став одним із важливих елементів розповіді. Предметом є характеристики тактильних інтерфейсів як елементів структурної організації тексту. Мета полягає у виявленні механізмів, що сприяють перетворенню сенсорного інтерфейсу з нейтрального посередника на активного учасника наративу в українському цифровому просторі.
У роботі використано методологію, яка поєднує медіалінгвістику, теорію сенсорних інтерфейсів, когнітивістику, семіотику. Застосовано структурно-функціональний аналіз мультимедійних текстів українських видань. Семіотичний аналіз дав змогу виявити природу жестової взаємодії та інтерпретувати певні типи жестів. Кейс-метод використано для детального розгляду інтерактивних проєктів українських медійників. Емпіричною базою дослідження cтала окулографія, а також результати експериментів із визначення когнітивного навантаження.
У результаті дослідження зроблено висновок, що сенсорний інтерфейс трансформувався з посередника в учасника творення наративу. Встановлено, що жести набувають відповідних семантичних значень, які є інтуїтивними під час взаємодії з мультимедійним контентом. Структуру мультимедійних текстів автори поділяють на модулі, які розділяються візуальними елементами або незаповненим простором, що робить навігацію зручною. Українські видання застосовують технологію паралакс, утворюючи ефект глибини та об’єму.
Перспективною розробкою в цьому напрямі здатна стати більш складна гаптика, яка використовуватиметься для тактильної віддачі різної інтенсивності та ритміки. Застосування AR/VR-технологій сприятиме відкриттю можливостей для створення просторових наративів. Розвиток гнучких дисплеїв у гаджетах потребуватиме нових підходів до адаптації мультимедійних текстів.
Завантаження
Посилання
Drozdova, Ye., Bodnar, P., & Kelm, N. (2022, August 18). Pid udarom. Shcho y koly obstriliuvala Rosiia [Under attack. What and when Russia shelled]. Texty.org.ua. https://texty.org.ua/projects/107440/pid-udarom-sho-i-koly-obstrilyuvala-rosiya/
Gatcho, A. R. G., Manuel, J. P. G., & Sarasua, R. J. G. (2024). Eye tracking research on readers’ interactions with multimodal texts: A mini-review. Frontiers in Communication, 9, Article 1482105. https://doi.org/10.3389/fcomm.2024.1482105
HO “Interniuz-Ukraina”. (2025, September 23). Ukrainski media: spozhyvannia novyn i dovira u 2025 rotsi [Ukrainian media: News consumption and trust in 2025]. https://internews.ua/opportunity/media_trust_consumption_2025_release
Huth, F., Koch, M., Awad-Mohammed, M., Weiskopf, D., & Kurzhals, K. (2024). Eye tracking on text reading with visual enhancements. In Proceedings of the 2024 Symposium on Eye Tracking Research and Applications (ETRA’24). https://doi.org/10.1145/3649902.3653521
Lee, S. (2024). Future trends: The evolution of storytelling in mobile apps. https://thisisglance.com/blog/future-trends-the-evolution-of-storytelling-in-mobile-apps
Lei, Y., Wang, Y., Caslin, T., Wisowaty, A., Zhu, X., Khamis, M., & Ye, J. (2023). DynamicRead: Exploring robust gaze interaction methods for reading on handheld mobile devices under dynamic conditions. Proceedings of the ACM on Human-Computer Interaction, 7(ETRA), Article 158. https://doi.org/10.1145/3591127
Mayer, A.-T., Ohme, J., Maslowska, E., & Segijn, C. M. (2024). Headlines, pictures, likes: Attention to social media newsfeed post elements on smartphones and in public. Social Media + Society, 10(2), 1–16. https://doi.org/10.1177/20563051241245666
McKenna, S., Henry Riche, N., Lee, B., Boy, J., & Meyer, M. (2017). Visual narrative flow: Exploring factors shaping data visualization story reading experiences. Computer Graphics Forum, 36(3), 377–387. https://doi.org/10.1111/cgf.13195
Mika, A., & Chu, M. (2025). Multimodal Interfaces in App Design. https://www.ramotion.com/blog/multimodal-interfaces/
Mykhailyshyn, Ya., Solodko, P., & Kulchynskyi, R. (2016). Svydovets. Anatomiia Karpat [Svydovets. Anatomy of the Carpathians]. Texty.org.ua. https://texty.org.ua/d/carpathians-3d/
Ovsianyi, K. (2023). Do i pislia. Pohliad z suputnyka na mista Ukrainy, zruinovani Rosiieiu [Before and after. A view from a satellite of Ukrainian cities destroyed by Russia]. Radio Svoboda. https://www.radiosvoboda.org/a/skhemy-rik-vtorhnennya-suputnyk/32279385.html
Pardos, Z. A., Rosenbaum, L. F., & Abrahamson, D. (2022). Characterizing learner behavior from touchscreen data. https://doi.org/10.1016/j.ijcci.2021.100357
Seyser, D., Zeiller, M. (2018). Scrollytelling — An analysis of visual storytelling in online journalism. 2018 22nd International Conference Information Visualisation (IV) (pp. 401–406). https://doi.org/10.1109/iV.2018.00075
Shchotkina, K. (2023). Dolia UPTs MP v Ukraini: doroha vid khramu [The fate of the UOC MP in Ukraine: The road from the temple]. Dzerkalo tyzhnia. https://zn.ua/project/church/
Zhang, K., Luo, J., & Pan, Y. (2025). Design and evaluation of touch and touchless interfaces for interactive digital heritage experiences. Herit. Sci, 13, 313. https://doi.org/10.1038/s40494-025-01889-3
Zozulia, Yu., Matiash, D., Matiash, Yu., Omelchenko, M., Orlyk, S., & Syvak, O. (2025). Viina Vprytul [War Up Close]. https://war.city/uk/objects/
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2026 Дмитро Гончар
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Автори, які публікуються у цьому журналі, погоджуються з такими умовами:
- Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
- Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
- Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).
