Augmented reading bei Marisha Pessls »Night Film«, Juli Zehs »Unterleuten« und Steve Jacksons »Sorcery!« 

Die Verbreitung digitaler Lesemedien hat die Lesepraktik transformiert, indem neue technologische Möglichkeiten in literarische Konzepte integriert werden. Eine Form dieser Entwicklung sind companion apps und second screens, die analoge und digitale Leseoberflächen erweitern. Mit dem Begriff des augmented reading schlägt Peter Scheinpflug in diesem Zusammenhang die Bezeichnung für eine eigenständige Form des Lesens vor. Der Begriff geht aus der augmented reality (erweiterte Realität) hervor, mit der „Praktiken [bezeichnet werden], bei denen […] die Erfahrung einer dreidimensionalen Welt mit digitalen Informationen kombiniert wird […]“ (Scheinpflug 2017: 70; vgl. Azuma 1997).

Mit dem Fokus auf das Lesen im abgewandelten Term augmented Reading gerät das Textverstehen in den Vordergrund und wird ein Anschluss an literatur- und medienwissenschaftliche Debatten möglich, allen voran die des transmedia storytelling (vgl. Scheinpflug 2017: 71; Reichert-Young/Baar 2017). Augmented reading oder erweitertes Lesen ergibt sich aus der Erweiterung der Angebotsstruktur des Textes durch den Einsatz weiterer Trägermedien (second screens) und Texte. Typographische Marker, wie QR-Codes oder spezielle Symbole, die von einem Smartphone oder Tablet gescannt werden, liefern zusätzliches mitunter audiovisuelles und interaktives Material, das die Lektüre begleitet und unterbricht. Das Verhältnis von Lese- und Spielelementen variiert innerhalb des angebotenen Spektrums: So ist das als AR-Buch beworbene „Wonderbook: Book of Spells“ von J. K. Rowling für Spielkonsolen ausgerichtet und benötigt neben einem Motion Controler als Zauberstab auch die dazugehörige bewegungssensitive Eye Camera mit Spracherkennung, um die Interaktivität zu gewährleisten.

Popars interaktive Buchreihen „Princess and Her Pals 3D“ (Jochim 2012) und „Popar smart books 4D“ bieten Lesenden die Möglichkeit, über Tablet oder Smartphone mit den auf dem second screen erscheinenden Illustrationen zu interagieren. In weniger ausgeprägtem Maße finden sich digitale Erweiterungen auch in der Belletristik, wie in Juli Zehs (2016a) „Unterleuten“, das eine Reihe pseudoauthentischer Webseiten zur Erkundung bietet. Lesen und Transmedialität sind auch in Marisha Pessls (2013) „Night Film“ verwoben, anhand dessen in diesem Artikel die Verwendung von companion apps und second screens erläutert wird. Als digitales Interface, das augmented reading ohne transmedialen Bildschirmwechsel nutzt, wird Steve Jacksons (2016) digitales Spielbuch „Sorcery!“ hier vorgestellt. Wie diese trans- und multimedialen Kopplungen die Komplexität der Lektüre steigern und zugleich eine kognitive Herausforderung der Leseaufmerksamkeit darstellen, soll im Folgenden deutlich werden.

Augmented reading leitet sich aus dem Begriff Augmented Reality ab, der die durch Computertechnik ermöglichte, erweiterte Wahrnehmung der Realität bezeichnet (Scheinpflug 2017). Peter Scheinpflug (ebd.) schlägt drei Formen des augmented reading vor: erstens, das Erfassen der zusätzlichen Informationen über eigens dafür installierte companion apps. Sie setzen mit ihren Funktionen und Darstellungsmöglichkeiten dort an, wo gedruckte Texte an ihre Grenzen stoßen, bspw. bei der Wiedergabe von Audio- und Videodateien und der dreidimensionalen Darstellung von Illustrationen. Die gleiche Funktion erfüllen, zweitens, Anwendungen, die Lesende nicht eigens für die Lektüre installieren und bereits in anderen Zusammenhängen nutzen, die sie jedoch zur Lektüre hinzuziehen können. Darunter fallen auch das Scannen von QR-Codes, um ergänzende Angaben zum Narrativ zu erhalten, die Nutzung von Übersetzungsdiensten sowie die Verwendung digitaler Nachschlagewerke. Drittens lassen sich „digitale Interfaces […], bei denen ein Text um Informationen erweitert und beides auf demselben Bildschirm angezeigt wird, […] [letztere] jedoch nicht als integraler Teil des Referenztextes anzusehen sind“ (ebd.: 73), zur Kategorie des augmented reading zählen.

Lesen, so Scheinpflug, ist auch im analogen Raum immer ein über den Text hinausgehendes, erweitertes Lesen, das von Inhalten des Paratextes, intertextuellen Bezügen, dem kontextuellen Bezugsrahmen, dem Vorwissen der Lesenden und seinen persönlichen Erfahrungen begleitet wird. So lassen sich auch Bücher wie Doug Dorsts und J.J. Abrams (2015) „S. – Das Schiff des Theseus“, das diverse analoge Zusatzmaterialien, u.a. eine beschriebene Serviette und eine Codierscheibe integriert, als augmented bezeichnen. Auch interaktive game books und BYOH-Romane, bei denen gewürfelt und auf Spielbögen notiert wird oder Pfadentscheidungen im Narrativ von Lesenden getroffen werden können (Wilke 2024), zählen hierzu. Augmented reading bezieht Scheinpflug jedoch auf den speziellen Fall technologischer Erweiterungen, die das Lesen zu einer multimedialen Praktik transformieren (Scheinpflug 2017: 72). Es ist eine „spezifische multimediale Praktik“ (ebd.: 74), deren „Angebot, unabhängig von seinem Inhalt, immer Effekte auf die Wahrnehmung und Deutung seines Referenztextes hat.“ (ebd.)

Scheinpflug schließt Autor- und Fankommentare in seinen Begriff des augmented reading ein. Für eine Verwendung des Begriffs im rezeptionsästhetischen Kontext der Konstanzer Schule ist jedoch eine teilweise Einschränkung hilfreich. Äußerungen des Autors zu seinem Text oder literaturkritische Rezensionen sind nicht Teil der Infrastruktur des Textes, auch wenn sie über eine App, die mit dem Erzähltext verbunden ist, abgerufen werden können. Deshalb wird hier vorgeschlagen, den Term augmented reading zu konkretisieren und ausschließlich für die Rezeption der narrativen Elemente zu verwenden, die über einen einzelnen Textkörper zwar hinausgehen, der jeweiligen Narration jedoch konkret und nicht metatextuell zugeordnet werden können, wie es im transmedia storytelling der Fall ist.

Transmedia storytelling represents a process where integral elements of a fiction get dispersed systematically across multiple delivery channels for the purpose of creating a unified and coordinated entertainment experience. Ideally, each medium makes it[s] own unique contribution to the unfolding of the story. (Jenkins 2007)

Während Fan Fiction und Rollenspiele zur storyworld zählen und Austauschkommunikation unter den Lesenden im Rezeptionsprozess vorgesehen ist, finden paratextuelle Äußerungen der Autoren bei Henry Jenkins, der den Begriff prägte, keine Erwähnung. Er verweist lediglich auf die kreativitätsfördernde und zur Suche animierende Komponente, die sowohl für die Produktionsseite als auch für die Rezeptionsseite relevant ist.

This process of world-building encourages an encyclopedic impulse in both readers and writers. We are drawn to master what can be known about a world which always expands beyond our grasp. (ebd.)

Jenkins thematisiert hier zugleich die Lust am Entdecken und Wissen, die Lesende motiviert, den transmedialen Angeboten zu folgen. Eine Erweiterung des Begriffs transmedial storyworld zu transmedial universe schlägt Jan-Noël Thon (2015) vor.

 

Augmented Reading über Companion Apps

Von 2012 bis 2015 bot der Verlag Marvel im Zuge seines Anliegens, das Comic-Lesen zu digitalisieren und konkurrenzfähig zu gestalten, eine lektürebegleitende App an, die Marvel Augmented Reality (AR). Die App eröffnete Lesenden den Zugang zu zusätzlichen Informationen zum Plot des gedruckt vorliegenden Comics. Durch das Scannen hervorgehobener Symbole im Text konnten kurze Videos abgerufen werden. Unter der Nutzungsvoraussetzung eines technischen Gerätes mit integrierter Kamera erfuhren Lesende zusätzliche Details zu den Figurenbiografien, der Handlung oder Stellungnahmen der Autoren und Autorinnen.

Eine ähnliche Entwicklung zeigt sich bei Sach- und Kinderbüchern, die mit AR-Effekten ausgestattet werden. Die Apps Superbuch, Tigerbook und LeYo! (letzteres wurde 2016 eingestellt, ist aber in Bibliotheken noch verfügbar) nutzen AR und second screens zur audiovisuellen Erweiterung gedruckter Bücher. Nach dem Herunterladen der kompatiblen Kinderbuchtitel auf das Smartphone oder Tablet und dem Scannen spezieller Marker legt sich mit dem digitalen Bildschirm eine zweite, mitunter interaktive Ebene als visuelle Schicht über die Seiten der analogen Kinderbücher. Lesende betrachten die Buchseiten durch die integrierte Kamera auf dem digitalen Bildschirm. Dieser second screen wird als tangible user interface (greifbare Benutzeroberfläche) zum Berührungspunkt zwischen Lesenden und Lesematerial. Derartige tangible user interfaces, die sich ebenso in Haushaltsgeräten und Unterhaltungselektronik verbreiten, werden als Rückkehr zum „Dinghaft-Konkreten und zur Anerkennung des menschlichen Körpers“ (Hornecker 2015: 253) besprochen. Das Resultat sind hybride Leseoberflächen und -hilfsmittel, die Elemente der analogen Lese- und Schreibkultur integrieren und mit veränderter Haptik und Funktion in ihr digitalisiertes Angebot aufnehmen. Prominent ist diese Entwicklung etwa bei digitalen Vorlese- oder Audiostiften (z.B. tiptoi, BOOKii, ting, Anybook Reader), die nicht schreiben, sondern kompatible Bücher interaktiv mit Geräuschen, Sprachsequenzen und Musik ergänzen oder vorlesen. Hier zeigt sich außerdem das integrative Element digitaler Medien, da die Vorlesefunktion als Ausgabehilfe oder der Übersetzung dienen kann.

Lesende agieren bei der Lektüre demnach an zwei Trägermedien parallel und wechseln vom gedruckten Bild-Text, Fließtext oder eBook-Reader zum Bildschirm des Smartphones oder Tablets. Die durch lineares, multimediales und betrachtendes Lesen (Wilke 2022: 55-61) gekennzeichnete Comic- und Kinderbuchlektüre wird von zusätzlichen Sequenzen der Bildbetrachtung ergänzt. Die Videosequenzen waren im Fall der Marvel AR App nur wenige Minuten lang, um zu vermeiden, dass die Lesenden nach dem Medienwechsel am ursprünglich ergänzend verwendeten Gerät blieben, statt zum Ausgangstext zurückzukehren. Die Erweiterung wäre in diesem Fall kein Mittel zur Komplexitätssteigerung, sondern würde die Lektüre des Ausgangstextes beenden.

Weigel (2016: 79) bemerkt dazu, dass „constantly switching back and forth between book and digital device can also interrupt or even disturb the reading process.“ Die spielerische Immersion bei der Nutzung des digitalen Gerätes stünde dann in direkter Konkurrenz zur inhaltlichen Involviertheit in die Handlung des Comics. Vor dieser Herausforderung stehen AR-Angebote grundsätzlich, da di multifunktionalen Oberflächen wie Smartphones und Tablets Anwendungspalimpseste ermöglichen. Multifunktionalität und Medienintegration führen zu Anwendungspalimpsesten, das heißt zur parallelen Nutzung verschiedener Anwendungen bzw. schnellerem Wechsel zwischen den Anwendungen und zur Konkurrenz der am Gerät ausgeführten Lesepraktiken. Dass Störungen sich nicht zwingend negativ auf den Leseprozesses auswirken, wird bei James/de Kock deutlich, die das „multimodal ‚reading‘ experience [as] additive rather than deficit-inducing“ (James/de Kock 2013: 114) beschreiben. Die Marvel AR App reagiert auf diese Konkurrenz, indem die Videos mit Rückverweisen auf die Fortsetzung der Lektüre des Textes endeten, unterstützt durch digitale Lesezeichen und Anschlussfragen, um die Kontinuität der Lektüre zu befördern (ebd.: 69, 75f.). Die Anziehung, die von digitalen Medien ausgeht, wurde somit bereits vom Verlag berücksichtigt. Zugleich stellt sich die Frage nach dem Nutzen der Integration eines Konkurrenzmediums, wenn die Sorge um seine Überlegenheit bereits in die Struktur der Kombination eingeschrieben ist.

Ein literarisches Beispiel, dessen Lektüre von einer eigens dafür eingerichteten companion app transmedial erweitert wird, ist Marisha Pessls Roman „Night Film“. Der 2013 in gebundener Form und als eBook veröffentlichte Roman wird von der App „Night Film Decoder“ begleitet. Um „Night Film“ zu lesen, stehen Lesenden verschiedene Strategien zur Auswahl: ihnen bleibt überlassen, ob sie ihre Lektüre auf den Ursprungstext (in analoger oder digitaler Form) beschränken oder das Angebot der digitalen Ergänzung wahrnehmen. Eine dem Roman beigefügte Lektüreempfehlung weist auf die begleitende App hin.

If you want to continue the Night Film experience, interactive touch points buried throughout the text will unlock extra content on your smartphone or tablet. These hidden Easter eggs include new images and audio. If you have a device with a rearfacing camera (connected to WiFi or a cellular network), please follow these steps to access the bonus content: […]. (Pessl 2013: 924)

Die Leseradressierung enthält Hinweise auf die technischen Voraussetzungen der erweiterten Lektüre: die Frontkamera eines Smartphones oder Tablets und eine Internet-Verbindung sind die Zugangsbedingungen für die erweiterte Lektüre von Night Film. (Weigel 2018: 83f.). Schlüsselworte wie interactive, bonus content und easter eggs weisen auf die gesteigerte Handlungsmacht der Lesenden und den Spielcharakter des Angebots hin. Das Phänomen der Easter Eggs, die als versteckte Hinweise in verschiedenen Medienformaten auftauchen, findet sich zunehmend in Musikvideos und -alben. Sie dienen als Ausgangspunkte für eine oft kollektive Entschlüsselung geheimer Botschaften der Künstler an ihre Fangemeinde (Weinel et al. 2014).

Der Lektürehinweis steht am Ende des Buches und geht mit dem Angebot einher, die Leseerfahrung weiterzuführen („continue the experience“). So wird statt einer gleichzeitigen eine konsekutive Nutzung der Erweiterung impliziert. In einer aktuelleren eBook-Version ist die Information zum „Night Film Decoder“ dem narrativen Teil des Romans vorangestellt. In diesem Fall werden Lesende eher zum Medienwechsel und zu erweitertem Lesen aufgefordert als Lesende der gebundenen Version, die erst im Nachgang der bis dahin linearen bis multimedialen Lektüre (nach der Lesetypologie in Wilke 2022: 55ff.) von der App-Erweiterung und der Bedeutung eines im Text immer wiederkehrenden Vogel-Symbols erfahren. Letztere sind die Marker (migratory cues), die den Medienwechsel initiieren (Ruppel: 2009). Ohne vorhergehende Erklärung stehen die Symbole stärker im Kontext der beschriebenen Easter Eggs. Die Aufdeckung ihrer Bedeutung und der Erfolg, wenn das Scannen des Symbols mit zusätzlichem Inhalt belohnt wird, ist Teil des Lektüreerlebnisses.

Entscheiden sich Lesende gegen die Nutzung der „Night Film Decoder“-App oder können den migratory cues aufgrund des ihnen zur Verfügung stehenden Trägermediums nicht folgen, lesen sie linear, wenn auch multimedial und realisieren trotz der zahlreichen intertextuellen Verweise im Roman kein augmented reading. Eine Benachteiligung der Nutzenden wird ausgeschlossen, indem Dateien, deren Inhalt und Gestaltung für die Handlung bedeutend sind, im Text beschrieben werden. Wählen Lesende die Option, die App erst nach der vollständigen Lektüre des gebundenen oder digitalen Romans zu verwenden, gehen sie nach abgeschlossener linearer Lektüre zu den Praktiken des Scannens und Klickens sowie zum augmented reading über. Dazu blättern sie erneut im Buch oder Klicken im eBook, um an die Stellen zu gelangen, an denen sich die Vogel-Symbole befinden. Bereits gelesene Abschnitte oder Schlagworte werden dann eventuell selektierend gelesen, um die zusätzlichen Inhalte in die Handlung einzuordnen.

Pessls „Night Film“ thematisiert die Nutzung digitaler Lesemedien auf mehreren Ebenen. „Instead of writing a conventional crime novel, Pessl decided to create a story that integrates a variety of new media formats and applications on the levels of story and discourse.“ (Weigel 2018: 80). „Night Film“ beginnt mit einer Reihe von Screenshots. Gezeigt werden „even faked URLs, newspaper sections, and search and comment fields, as well as Facebook Like, Twitter, Google + 1 and inShare buttons, which resemble the proper homepages in every detail“ (Weigel 2018: 81) sowie eine 18-seitige Fotostrecke über das Leben einer der Romanfiguren in der New York Times, inklusive Lebensgeschichte und detaillierter Hintergrundinformationen (Abb. 1-3). Mediale Akteure der extratextuellen Wirklichkeit, wie die Website der New York Times und Twitter werden herangezogen, um ein heterogenes Abbild aktueller digitaler Medienformate zu liefern und bereits auf inhaltlicher Ebene auf den transmedialen Charakter des Buches zu verweisen.

Auf rezeptionspraktischer Ebene des Romans führt die Abbildung der Nutzeroberflächen digitaler Zeitungen, sozialer Plattformen und ihrer Kommentierungsfunktionen etc. aufgrund der Textgestaltung zu selektierendem und informierendem Lesen. Als hätten Lesende tatsächlich die Anwendung gewechselt, passt sich ihre Lesepraktik den vorgegebenen Strukturen an. Hypertextuelle und interaktive Angebote werden nur als Oberfläche dargestellt, wodurch das volle Spektrum ihrer Funktionen und Lesemodi, das im digitalen Ursprungskontext bestünde, wegfällt. Durch die Rückübersetzung ins Digitale im eBook werden diese Funktionen nicht wiederhergestellt. Die Verlinkungen werden durch ihre Darstellung als Bild fixiert und entnetzt (Stäheli 2021: 284-321). Die Lektüre am eBook-Bildschirm verstärkt die Illusion, die angezeigten Seiten seien tatsächlich in ihrem ursprünglich vernetzten Kontext zu sehen. „Night Film“ übernimmt die typographische Gestaltung und Ästhetik von Websites, Webartikeln und sozialen Plattformen, ohne die darunterliegenden Hyperlinkstrukturen zu integrieren. Lesende, die am eBook aus ihrer Nutzungsgewohnheit heraus ergebnislos auf die entsprechenden Symbole klicken oder tippen, werden an die Gemachtheit des Textes erinnert, der trotz seiner Digitalität nicht das volle Spektrum der digitalen Möglichkeiten nutzt.

Das Zitieren anderer Medien erfolgt mitunter zur Authentizitätssteigerung und ist kein neues Phänomen in der Literatur. Die Integration intermedialer Referenzen ist bereits seit dem Briefroman gängige Praxis und passt sich im Zuge neuer Entwicklungen der Kommunikationstechnologie an, indem Plattformen wie Twitter, Facebook und Instagram in literarischen Texten Erwähnung finden. Oft wird dabei das Ausgabeformat der Dienste übernommen oder nachgeahmt: „books have responded to media development by, for instance, transforming their ‚outward appearance‘ and integrating links or digital audio and visual materials.” (Weigel 2018: 85). Die Kombination des Romans mit einer companion app geht über diese ebenfalls vorhandenen intermedialen Referenzen hinaus. Sie integriert nicht den Verweis auf die digitale Mediennutzung, sondern die Nutzungshandlungen selbst.

Die migratory cues oder Marker sind im ganzen Text verteilt und in Form gestempelter Vogelumrisse gestaltet. Der Stempel als Werkzeug des Druckverfahrens steht hier im Kontrast zur innovativen Anbindung an die digitale companion app. Die Position und der Rhythmus der Marker folgen keinem vorhersagbaren Muster. Das detektivische Moment der abduktiven Lektüre wird dadurch verstärkt und die Aufmerksamkeit Lesender eingefordert. Die Marker liefern einen Zugang zu multimedialen Inhalten, die z.B. die Erzählperspektive wechseln und der Darstellung des Ursprungstextes widersprechen. Die Leserschaft „comes across documents that include flashbacks, ellipses and foreshadowing. Therefore, the change of the medium/device not only carries meaning; it is also a trigger of suspense.“ (ebd.: 81). Die migratory cues führen zu einem Medienwechsel, der nicht nur eine inhaltliche Erweiterung darstellt, sondern über die konkrete technische Bedienung, das Einscannen und Warten, einen zusätzlichen Spannungsbogen erzeugt, der die spielerische Immersion intensiviert. Der

plot is highly fragmented, consisting of a multitude of texts, pictures and audio-visual elements, it is comparable to the architecture of a hypertext through which the reader has to ‚navigate‘ to solve the mystery. (ebd.)

Die als augmented reading angedachte Lektüre des Romans besteht im kontinuierlichen Wechsel zwischen den Trägermedien. Dabei verknüpft sich die digitaltechnologische Erweiterung parallel mit der Rezeption des Basistextes.

Wählen Lesende die digitale Lektüre am eReader, zieht die Nutzung des „Night Film Decoders“ trotzdem einen Medienwechsel nach sich. Die Links und Bilder werden auf dem eReader nicht angezeigt, obwohl dieser technisch auf diese Funktionen ausgerichtet ist. Die visuellen Marker müssen sowohl im gedruckten Buch als auch im eBook mithilfe eines weiteren Gerätes, das über eine Kamera verfügt, gescannt und die Erweiterungen auf einem zweiten Bildschirm (second screen) aufgerufen werden. Die Nutzung mehrerer Geräte zugleich ist Teil des Konzeptes und verstärkt die technische und spielerische Immersion der Lesenden.

In gesteigerter Form findet sich die Affordanz zur gleichzeitigen Nutzung mehrerer Lesegeräte auch in der filmbegleitenden App zu Bobby Boermans Thriller „App“ von 2015, die von Blake (2017) besprochen wird. Die Anwendung gibt den Lesenden zusätzliche Informationen, die einen Wissensvorsprung des Publikums gegenüber der Protagonistin bewirken. Das gezeigte Material kündigt sich jedoch nicht durch ein Signal auf dem Gerät an, sodass Zuschauende beide Bildschirme (des Laptops oder Fernsehers und des Smartphones) ununterbrochen im Blick behalten müssen, um keine Zusatzinformationen zu verpassen. Die Produzenten arbeiten zur Steigerung der Affordanz des Medienwechsels mit voyeuristischen Anreizen, indem App-Nutzenden intime Bilder der Hauptfigur bleibend zur Verfügung gestellt werden, welche im Laufe des Films nur flüchtig zu sehen sind. Zum einen wird hier die Mediennutzung und der Voyeurismus der Rezipierenden selbst in Szene gesetzt und reflektiert, zum anderen wird auf die Konnotation digitaler Medien als informative und affektintensive Ressource verwiesen. Der Interaktionsgrad und die agency (Handlungsmacht) der Lesenden bleiben in diesem Beispiel jedoch vergleichsweise gering, da Nutzende nicht über die Anzeige oder Auswahl der Inhalte bestimmen können (Scheinpflug 2017: 79-83).

Bei der Verwendung eines Smartphones oder Tablets zusätzlich zum eReader im Fall von Pessls „Night Film“ ist der Grad der agency höher. Wie bei den second screens der Spielanwendungen von Disney stehen die interaktive Mediennutzung und die Intensivierung einer betont individuellen Rezeptionserfahrung durch gesteigerte Handlungs- bzw. Entscheidungsmacht im Vordergrund.

Das Publikum kann sich auf sein appfähiges Gerät eine companion app zu einem Film laden. Dieser second screen muss dann durch ein Netzwerk mit einem Blu-ray-Player synchronisiert werden, der auf einem first screen den Film wiedergibt. Durch die Synchronisation der beiden Bildschirme kann das Publikum auf einem second screen Zusatzmaterialien wie Animationen, Grafiken, Videoclips oder auch Spiele nutzen, die sich auf die jeweilige Szene beziehen, die das Publikum zeitgleich auf dem first screen rezipieren kann. (ebd.: 77)

Auch Scheinpflug stellt fest, dass second screens in begleitender Funktion der Filmrezeption das Gegenteil bewirken (ebd.). Die technischen Neuerungen des interaktiven Bonusmaterials von (Disney-)Filmen beinhalten die synchrone Abfolge der Spielangebote mit dem gezeigten Film, woraus sich keine Steigerung, sondern eine Einschränkung der agency ergibt. Die Nutzenden haben keinen Einfluss auf die Abspielgeschwindigkeit der Anwendung. Ähnliches kann bereits in Susanne Berkenhegers (1997/2013) Pionier der Hyperfiktion „Zeit für die Bombe“ beobachtet werden. Die zur Intensivierung der spielerischen Immersion angelegten selbständig ablaufenden Bildschirmanzeigen führen in „Zeit für die Bombe“ zu einer Reduktion der agency und Zeitsouveränität der Lesenden (Scheinpflug 2017: 78). Zu dem führt eine zu große Abweichung der angebotenen Inhalte vom Basisnarrativ zu einer spielerischen Immersion, die nicht mehr in Verbindung zur inhaltlichen Involviertheit steht und die Lektüre im äußersten Fall beendet.

Mit zunehmender Entscheidungsmacht und Informationsfülle steigt die kognitive Anforderung an die Lesenden. In Anlehnung an John Ellis (1982) Unterscheidung zwischen dem fokussierenden Blick im Kino (gaze) und dem gleitenden Blick beim Fernsehen (glance) befindet Scheinpflug (2017: 78), dass second screen-Anwendungen

eine so große Konzentration der Aufmerksamkeit [erfordern], dass weitere Tätigkeiten oder ein (Ab-)Gleiten des Blickes eigentlich undenkbar sind. […] zudem [sind] die Hände der Nutzenden so stark eingebunden, dass sie nicht für andere Praktiken genutzt werden können. […] alternative Funktionen sind […] während der Verwendung einer second screen-App auf einem Gerät nicht nutzbar.

Die Nutzenden sind während der Anwendung an diese gebunden und können nicht etwa Kurznachrichten versenden oder soziale Plattformen besuchen, ohne einen third screen einzubeziehen. Scheinpflug geht jedoch auch auf die körperliche Komponente ein und stellt fest, dass die Lesenden wörtlich alle Hände voll zu tun haben.

Überträgt man diese Erkenntnisse auf den decoder, ergibt sich für das augmented reading-Angebot in Pessls „Night Film“ eine gesteigerte agency der Leserschaft aufgrund der individuellen Handlungsmöglichkeiten, die eine erweiterte Lektüre in selbstgewählter Reihenfolge, Auswahl und Geschwindigkeit ermöglichen. Wählen Lesende die Lektürestrategie der parallelen Mediennutzung und wechseln zwischen Buch oder eBook und den interaktiven Elementen der App hin und her, werden sie körperlich und technisch so stark eingebunden, dass zusätzliche Nebenbeschäftigungen unwahrscheinlich werden. Die Stabilität der zum Text hergestellten Bindung und der Grad der digital literacy (Koltay 2011: 215; Wilke 2022: 288-290) der Lesenden bestimmt dann über die Vollständigkeit der Lektüre.

 

Augmented Reading mithilfe bestehender Anwendungen

Juli Zehs „Unterleuten“ dient als Beispiel für augmented reading mithilfe bereits vorhandener Anwendungen. Zeh erweitert den Handlungsraum ihres Romans um verschiedene fiktive und real existierende mediale Komponenten. Das heterogene Angebotsspektrum reicht vom linear gelesenen Fließtext des Ratgebers „Dein Erfolg“ (Zeh/Gortz 2015) über die informierend gelesenen Textbausteine der Webseiten bis zu selektierend gelesenen Beiträgen und Kommentaren sozialer Medienprofile. Die Texte erfordern eine jeweils eigene Lektürestrategie, die durch Indikatoren der typographischen Gestaltung und Angebotsstrukturen beeinflusst wird. Die vernetzten Texte funktionieren als Erweiterungen der jeweils anderen Texte, sodass Unterleuten, trotz seiner zunächst klassischen Erscheinung, Elemente des erweiterten Lesens und der second screen-Anwendungen aufweist.

Auf den ersten Blick sind im Fließtext von „Unterleuten“ keine Markierungen sichtbar, die eine Lektüreerweiterung nahelegen. Die geringe Strukturierung, Serifenschrift und Blocksatz unterscheiden sich nicht von anderen Texten, die lineares Lesen evozieren. So ist es möglich, den gebundenen Text vollständig und ohne Kenntnis seiner digitalen Erweiterungskomponenten zu lesen. Durch die Verknüpfung mit Internetpräsenzen und sozialen Medien wird der narrative Raum von „Unterleuten“, der seinen Ausgangspunkt in einem gebundenen Buch oder einem eBook nimmt, transmedial erweitert. Jason Mittell (2015: 294) nennt diese verbreitete Form des transmedia storytelling, in der ein Medium als dominant hervortritt, unbalanced transmedia. Er entwirft den Begriff als Gegenstück zu dem, was Jenkins ideale Konstellationen nennt (Mittell nennt sie balanced transmedia), in denen »[t]here is no one single source or ur-text where one can turn to gain all of the information needed to comprehend« (Jenkins 2007) die Erzählung.

Statt offensichtlicher visueller Marker stehen hier Webadressen als Teil des Narrativs im Fließtext oder werden Foren erwähnt, in denen die Figuren sich mit anderen austauschen. Die unklar gezogene Grenze zwischen realweltlichen und fiktionalen Erweiterungen gehört zum Konzept des Romans „Unterleuten“. Während die Rezensionsauszüge am Anfang des Romans noch echten Kritiken entnommen sind, gehört das vorangestellte Motto schon zur fiktiven Welt der Erzählung. Das als extratextuell wahrgenommene Zitat überzeugt Lesende aufgrund seiner formalen Anordnung und ihrer Nutzungsgewohnheit von seiner Authentizität. Tatsächlich aber verbirgt sich hinter dem zitierten Manfred Gortz die Autorin Juli Zeh, die den dazugehörigen Ratgeber unter Pseudonym veröffentlicht hat.

Zeh kreiert eine Vielzahl von Verbindungen, die es für Lesende zu entschlüsseln gilt. Die über verschiedene Kanäle vermittelten Informationen kreieren Verbindungen zwischen den Elementen der Romanwelt sowie zwischen der fiktiven und der realen Welt.

Lindas Freund Frederik klagt sein Leid über die schwierige Beziehung zu seiner pferdeverrückten Freundin in einem realen Reiterforum. Lucy Finkbeiner, die angeblich die Recherche zu Unterleuten gemacht und ihr Material der Autorin Juli Zeh zur Verfügung gestellt hat, klagt auf Facebook über die Arroganz der Schriftstellerin und über die mangelnde Würdigung ihrer eigenen Leistung. Kathrin Kron-Hübschke und Jule Fließ posten Fotos von ihren Töchtern, Manfred Gortz twittert, mailt, betreibt eine Homepage und nimmt auf Youtube Stellung, als es in der Presse heißt, er würde möglicherweise gar nicht existieren. Der Vogelschutzbund Unterleuten hat ebenfalls eine eigene Website, auf der man Führungen buchen und T-Shirts kaufen kann. Und der Märkische Landmann, in dem die Geschichte von Unterleuten ihren Anfang nimmt, hat seine Speisekarte ins Internet gestellt. (Zeh 2016b)

Der Mehrwert der Verknüpfung eines Romans mit einem Ratgeber, Unternehmens-Websites, Social-Media-Profilen und Foreneinträgen kann neben den Konzepten der Multimedialität oder der Intertextualität, spezifischer mit Jurij M. Lotmans externer Umkodierung beschrieben werden (Lotman 1993: 61-65). Die Bedeutungsebene des Romans geht über die Struktur eines einzigen Textes hinaus und verfügt über sogenannte „außertextuelle Strukturketten“ (Fischer-Lichte: 3109), die die externe Umkodierung erzeugen. Die zusätzliche Bedeutung wird dadurch hervorgebracht, dass Textelemente zueinander in Relation gesetzt bzw. einander zugeordnet werden.

Neben den inhaltlichen Verflechtungen tragen auch die besonderen Bedienungstechniken, wie z.B. Kommentierungsfunktionen auf Portalen wie YouTube und Profileingabestrukturen sozialer Plattformen wie Facebook, zur Bedeutungsproduktion bei. Das Vorhandensein einer digital literacy, die das spezifische kulturelle Wissen (Knowhow) zur Decodierung der verstreuten Hinweise umfasst, ist dafür eine wichtige Voraussetzung. Die Rezipienten sind nur in der Lage, die erweiterte Bedeutung der außertextuellen Strukturketten zu erfassen, wenn sie diese überhaupt entdecken, mit der Bedienung des jeweiligen Kanals vertraut sind und die Erweiterungen dann in den Kontext des Romans einordnen können.

Die migratory cues sind u.a. die im Text abgedruckten Links, die einen Medienwechsel herbeiführen. Diese können über bereits genutzte Browser geöffnet werden und benötigen keine spezielle Companion App. Anhand der Website des „Vogelschutzbundes Unterleuten“ (Zeh 2016c) in Zehs Roman lässt sich die trans- und multimediale Erweiterung der Lektüre einfach beschreiben. Im Fließtext der gebundenen Version von „Unterleuten“ stellt die vollständig aufgeführte Adresse http://www.vogelschutzbund-unterleuten.de den ersten konkreten migratory cue dar. Lesenden wird damit die Möglichkeit gegeben, die Erreichbarkeit des Links zu prüfen. Hier kann ansatzweise von einem Hinweis im Sinne der easter eggs gesprochen werden. Um dies zu tun, müssen Lesende des gebundenen Romans das Trägermedium wechseln. Sie legen das Buch vorübergehend zur Seite und nehmen ein digitales Lesemedium zur Hand. Muss dieses erst gestartet werden, kommt es zu Verzögerungen. Der Link muss in die Adresszeile eines Browsers eingegeben werden, was sich je nach verwendeter Tastatur und Gewöhnung mehr oder weniger zeitintensiv gestaltet. Die inhaltliche Involviertheit wird durch die nötige technische Immersion kurzzeitig unterbrochen, um dann, verbunden mit spielerischer Immersion, während der Erkundung der Website wieder einzusetzen.

Lesenden des eBooks wird der Medienwechsel stärker suggeriert, da die Verlinkung im eBook aktiv und farblich hervorgehoben ist. Die Affordanz, dem Link zu folgen, ist am digitalen Lesemedium durch den erleichterten Zugang und geringen Aufwand verstärkt vorhanden. Lesende können direkt auf den markierten Text klicken und gelangen zur Website des Vogelschutzbundes. Lesende des eBooks bleiben zwar an derselben Nutzungsoberfläche, verlassen jedoch zeitweise das Programm, in dem der Roman als Datei geöffnet ist. Durch den vereinfachten Wechsel (vom eBook zum Browser) und den Wegfall mehrerer Bedienungsschritte (digital zu digital statt analog zu digital) wird die inhaltliche Involviertheit trotz der spielerischen Immersion nur für die Dauer eines Klicks und eventuell eines Ladevorgangs unterbrochen. Die Website ist für Webbrowser vorgesehen, die entsprechend den Bildschirmen von Computer und Laptop im Querformat angelegt sind. Aufgrund des Hochformats des eReaders sind Lesende angehalten, einen Bildausschnitt der Website auszuwählen, der dann an den Bildschirm des eReaders angepasst wird. Die Darstellung am eReader ist je nach Modell schwarzweiß oder farbig, das Öffnen mehrerer Browserfenster ist nicht möglich, sodass nicht alle Links verfolgt werden können. Diese Einschränkungen stärken ein Szenario, in dem Lesende ein weiteres digitales Gerät, einen second screen zur Lektüre hinzuziehen.

Die Leseoberflächen der Internetpräsenzen des „Märkischen Landmanns“ und des „Vogelschutzbundes Unterleuten“, die Profile der fiktiven Figuren in realen sozialen Netzwerken und die fiktiven Einträge eines Protagonisten in ein real bestehendes soziales Forum bilden die second screens zum Roman, der als analoge Oberfläche oder Bildschirm vorliegt. Die multimedialen Erweiterungen des Romans werden zu Entsprechungen der Inhalte der companion app in „Nightfilm“. Den Lesenden bleibt überlassen, ob sie den erweiternden Angeboten folgen wollen und dies während oder nach der Lektüre des Ausgangstextes tun.

 

Augmented Reading und Digitale Interfaces

Erweitertes Lesen besteht auch dann, wenn Texte unterschiedlicher Sinneinheiten auf demselben Bildschirm gelesen werden. Ein Beispiel dafür ist die bereits beschriebene Lektüre der Website des Vogelschutzbundes in „Unterleuten“ in der eBook-Version des Romans, die ebenso wie der Ausgangstext auf dem Bildschirm des eReaders anzeigt wird. Die Funktionalität und Anzeigekapazität des eReaders sind für diese Form des Lesens jedoch weniger ausgeprägt als die des Tablets oder Smartphones. Auf letzteren lässt sich das digitale Spielbuch „Sorcery!“ (Jackson 2016) lesen. In dieser App-Version von Steve Jacksons Spielbuchklassiker wählen Lesende einen Avatar, mit dem sie auf den Pfaden einer Landkarte herumreisen. „Sorcery!“ enthält nicht nur Pfadentscheidungen, durch die Lesende den Handlungsverlauf mitgestalten, es werden auch immer wieder Zwischentexte, Spielelemente oder Videosequenzen integriert. Sie erscheinen auf dem Bildschirm des Smartphones ebenso wie der zu lesende Haupttext, der als Ende einer Schriftrolle dargestellt wird. Wie schon im Fall der Stempeloptik der Vogelsymbole in „Nightfilm“ wird hier auf ein vordigitales Format verwiesen. Dessen Eigenschaft, sich beliebig erweitern zu lassen, steht in direktem Zusammenhang mit der schrittweisen Erweiterung der Spielbuchrolle. Die gewählten Pfadoption fügen sich mit kleinen Nadelstichen an die Schriftrolle an.

Auf dem Bildschirm werden verschiedene Menüpunkte angezeigt, die über Kraft, Proviant und Gold Auskunft geben. Auch ein Zauberbuch kann konsultiert und der Geisteszustand des eigenen Avatars abgefragt werden. Neben dem Haupttext, der die Geschichte des Helden erzählt, werden Bedienungshinweise, Zaubersprüche und Ratschläge gelesen. Hier wird die verschiedene Zugehörigkeit der Textbausteine sehr deutlich illustriert – alles, was nicht zum linearen Haupttext gehört, wird nicht an die Schriftrolle angefügt, sondern bleibt als erweiterndes Zusatzmaterial auf demselben Bildschirm bestehen oder verschwindet.

In den Kampfszenen werden Lesende interaktiv tätig und entscheiden selbst, ob sie sich verteidigen oder angreifen und wieviel Kraft sie anwenden. Während Lesende mehrere dieser Entscheidungen treffen, schreibt sich die Geschichte entsprechend fort und Lesende können parallel zu den spielerischen Handlungen das Vorgehen ihres Avatars nachlesen. Zugleich erhalten sie in diesen Beschreibungen des Kampfes Hinweise über ihre Gegner. Beachten Lesende diese Hinweise, hat dies Vorteile im Kampf und führt zum Sieg. So wird die spielerische Immersion der interaktiven Sequenzen mit der inhaltlichen Involviertheit in die kontinuierlich fortgesetzte Geschichte verknüpft. Die Anforderungen an Lesende sind in diesem Lektüreszenario am digital interface sehr hoch und die Übergänge zum klassischen Adventure fließend. Statt einzelner migratory cues, die einen Medienwechsel erfordern, stehen hier dauerhaft mehrere spielerische Optionen und Affordanzen nebeneinander. Um alle Informationen zu erfassen und zu verknüpfen, müssen sich Lesekörper und -geist vollständig der Praktik widmen. Die Ausübung einer weiteren Tätigkeit ist sehr unwahrscheinlich. Das Lesen der Texte bleibt für das Vorankommen in der Handlung obligatorisch.

Erweitertes Lesen oder augmented reading bezieht sich immer auf ein zuvor nicht erweitertes Lesen und beschreibt, wie zu der bestehenden Kulturtechnik Lesen etwas hinzukommt. Das kann eine transmediale Erweiterung sein, wenn mehrere Leseoberflächen kombiniert werden, die Darstellung verschiedener Sinneinheiten auf demselben Bildschirm oder auch nur die Kombination multimedialer Inhalte. Die Erweiterungen können unterschiedlich motivierte Mehrwerte generieren: sie unterhalten, erläutern, verbildlichen oder setzen die Handlung als gleichberechtigte Texte fort. Mitunter kann es zur Konkurrenz unter den verschiedenen Kanälen und somit zur Sabotage der Lektüre kommen. Werden Texte mit AR-Angeboten erweitert, kann durch kontinuierliche inhaltliche Verknüpfung sowie Rückverweise das Verhältnis der gleichzeitig rezipierten Elemente reguliert werden.

 

Literatur

Azuma, Ronald T. (1997): A survey of augmented reality. In: Presence. Teleoperators and Virtual Environments 6/4, S. 355-385.

Abrams, Jeffrey Jacob/Dorst, Doug (2015): S. – Das Schiff des Theseus. Köln.

Berkenheger, Susanne (1997): Zeit für die Bombe. http://www.berkenheger.netzliteratur.net/ouargla/wargla/zeit.htm  [07.08.2023].

Berkenheger, Susanne (2013): Zeit für die Bombe (Android-App). https://play.google.com/store/apps/details?id=appinventor.ai_mujizapedzki.BOMBE [07.08.2023].

Blake, James (2017): Second Screen interaction in the cinema: Experimenting with transmedia narratives and commercialising user participation. In: Participations. Journal of Audience & Reception Studies 14/2, S. 526-544.

Ellis, John (1982): Visible Fictions. Cinema, Television, Video. London/New York.

Fischer-Lichte, Erika (2003): Semiotische Aspekte der Theaterwissenschaft: Theatersemiotik. In: Roland Posner (Hg.): Semiotik Bd. 3. Berlin, S. 3103-3118.

Hornecker, Eva (2015): Rückkehr des Sensorischen. Tangible Interfaces und Tangible Interaction. In: Hans Dieter Hellige (Hg.): Mensch-Computer-Interface. Zur Geschichte und Zukunft der Computerbedienung. Bielefeld, S. 235-256.

Jackson, Steve (2016): Sorcery! Regie: Joseph Humfrey/Jon Ingold: Inkle.

Jenkins, Henry (2007): Transmedia Storytelling 101. http://henryjenkins.org/2007/03/transmedia_storytelling_101.html [07.08.2023].

James, Ryan/de Kock, Leon (2013): The Digital David and the Gutenberg Goliath. The Rise of the „Enhanced“ E-Book. In: The English Academy Review 30/1, S. 107-123.

Jochim, Annee (2012): Princess and Her Pals 3D. Interactive Book. Phoenix.

Koltay, Tibor (2011): The Media and the Literacies: Media Literacy, Information Literacy, Digital Literacy. In: Media, Culture & Society 33/2 (2011), S. 211-221.

Lotman, Jurij M. (1993): Die Struktur literarischer Texte. München.

Mittell, Jason (2015): Complex tv. The Poetics of Contemporary Television Storytelling. New York.

Pessl, Marisha (2013): Night film. New York (ebook).

Reichert-Young, Patrick/Baar, Florian (Hg.) (2017): Transmedia Storytelling. Über das Erzählen transmedialer Welten und die Architektur der Bindung. Norderstedt.

Ruppel, Marc (2009): Narrative Convergence, Cross-Sited Productions and the Archival Dilemma. In: Convergence: The International Journal of Research Into New Media Technologies 15/3, S. 281-298.

Scheinpflug, Peter (2017): Augmented reading. Lesen als multimediale Praktik im Digitalzeitalter. In: Sebastian Böck et al. (Hg.): Lesen X.0: Rezeptionsprozesse in der digitalen Gegenwart. Göttingen, S. 69-88.

Stäheli, Urs (2021): Soziologie der Entnetzung. Berlin.

Thon, Jan-Noël (2015): Converging Worlds. From Transmedial Storyworlds to Transmedial Universes. In: Storyworlds: A Journal of Narrative Studies 7/2, S. 21-53.

Weigel, Anna (2016): New Narrative Forms in the Digital Age: The Emergence of Enhanced E-Books. In: On_Culture: The Open Journal for the Study of Culture 1, S. 1-12. http://geb.uni-giessen.de/geb/volltexte/2016/12070/ [07.08.2023].

Weigel, Anna (2018): New reading strategies in the twenty-first century. Transmedia storytelling via app in Marisha Pessl’s Night Film, in: Heta Pyrhönen/Janna Kantola (Hg.): Reading Today. London 2018, S. 73-86.

Weinel, Jonathan/Griffiths, Darryl/Cunningham, Stuart (2014): Easter eggs. Hidden tracks and messages in musical medium. In: International Computer Music Association (Hg.): Joint International Computer Music Conference/Sound and Music Computing, Athen u.a., S. 140-147. http://hdl.handle.net/2027/spo.bbp2372.2014.024 [07.08.2023].

Wilke, Franziska (2022): Digital lesen. Wandel und Kontinuität einer literarischen Praktik. Bielefeld.

Wilke, Franziska (2024): Spielerische Immersion in analogen und digital(isiert)en Spielbüchern. In: kjl&m 24/1 (im Erscheinen).

Zeh, Juli (2016a): Unterleuten. München.

Zeh, Juli (2016b): Juli Zeh über Manfred Gortz und den virtuellen Kosmos von „Unterleuten“. https://www.unterleuten.de/index.html#derRoman [07.08.2023].

Zeh, Juli, (2016c): Vogelschutzbund Unterleuten e.V. http://www.vogelschutzbundunterleuten.de [07.08.2023].

Zeh, Juli/Gortz, Manfred (2015): Dein Erfolg. München.