Augmented Human

By Marcus on 26. September 2017 — 11 mins read

Lesenotizen zum empfehlenswerten kleinen Büchlein Augmented Human – How technology is shaping the new reality von Helen Papagiannis. 

Ich habe mich lange auf das Buch gefreut. Als es dann endlich im Briefkasten lag, leichte Enttäuschung. Dünne 139 Seiten. Und dann gleich im Foreword des „Grandfather of AR/VR“ Tom Furness marktschreierisch: we need to throw out the old rulebook of how we understand and interact within in the real world. Alles neu. Und natürlich for the better: we must answer the question: does augmenting us make our lives better?

Im Preface dann MIT Media Lab Founder Nicholas Negroponte im Zitat: Computing is not about computer anymore. Its is about living. Ein ganz schöner Satz, weil er das vermeintliche Verschwinden von Technologie bildlich gut fasst. Das Zurücktreten von riesigen Kästen die man Öffnen und folglich auch irgendwie verstehen kann hin zur fast vollkommen vernetzten Immer-online-Welt. This is just water.

Und dann geht das Buch los. Reality becomes malleable, mutable, and highly personalized. Wenn sie das nicht eh bereits ist und immer war, ist der Aspekt des Mutens natürlich ganz schön. Get me out of here.

First Wave Augmented Reality 1997

Was ist eigentlich AR: We´ve been using the same definition of AR since 1997 when AR pioneer Ronald Azuma explained: AR supplements reality, rather than completely replacing it. Es gibt 3 characteristics:

1) Combines real and virtual
2) Interactive real time
3) Registered in three dimensions

Papagiannis bezeichnet diese „first wave of AR“ mit dem Begriff Overlay. Um im weiteren Verlauf von der zweiten AR-Welle zu sprechen: Entryway – creating a more immersive, integrated and interactive experience. Beispiel gefällig?

Next Wave 2017 

AR will not be about a virtual lamp on your physical desk. It will be about a lamp appearing at the appropriate moment when you perhaps need more light.

Diese next wave moves beyond printed targets toward a new spatial understanding and deeper intelligence of your environmen. More data, more convenience. Oder: Technology starts understanding us.

Und das ganze dann multisensorisch! Dazu Adrian David Cheok, Professor of Pervasive Computing at the City University London.

„Everything is behind glass, behind the window, your either touching glass or looking through glass. But in the real world, we can open up the glass, open the window and we can touch, we can taste, we can smell.“

Mr. Gorbachev, open up the glass

The next wave of AR allows us to „open up the glass“. Das ist ein schönes mächtiges Bild und an den gesammelten Auswirkungen die daraus folgen, kann man sich sicher herrlich abarbeiten.

Die Auswirkungen in allen denkbaren Bereichen liegen auf der Hand. Papagiannis listet kurz Health, Learning, Retail, Work und Entertainment auf. Aber natürlich kann man das beliebig ergänzen. Aber lieber erst mal die einzelnen Sinne durchgehen, auch wenn das offenbar ein von manchen kritisiertes Vorhaben ist, gibt es doch – so die Argumentation – beliebig viele Sinne usw. Erst mal egal.

Die Augen – Extending human perception

1929 arbeitet sich Filmpionier Dziga Vertov an den neuen Möglichkeiten der Filmkamera ab. He used innovative camera angles and techniques to defy the limitations of human vision. Schön, dass Papagiannis historisch einsteigt. Wird diese Perspektive in der ganzen Gegenwartserrgung doch häufig aus purem Unwissen und Faulheit ignoriert.


Danach diskutiert sie die depth-sensing camera der Kinect, stellt SLAM vor (with a kinect camera worn on the chest, a digital 3D map is built in real time as the user moves through the environment) und OrCam (Move your finger along a phone bill, and the device will read the lines; the device will tell you when your friend is approaching you) und „The Advertiser“ (Julian Oliver, Damian Stewart, Arturo Castro 2008)  to selectively see, or unsee the world around us. Oliver nennt das „Improved Reality“, um public spaces  from „read-only“ to „read-write“ platforms umzudefinieren.

Switch off distractions temporarily. Highly personalized.

Taktile Sensationen

Touching wird further blurring our ability to distinguish between real and virtual. Seitenaspekt: Tritt hier nach einem kulturellen Lernprozess eine Gewöhnung ein? Also wie im Kino wo die ersten Besucherinnen noch unter den Sitz flüchten während wir weiter überteuertes Popcorn in uns reinstopfen?

Anknüpfend an Cheok „the virtual no longer needs to feel „glassy“ schreibt Papagiannis und listet einen ganzen Berg von Forschungsprojekten der vergangenen Jahre auf: PHANTOM desktop des Magic Vision Lab der University of Southern Australia 2011, GHOST, eine Uni-Kooperation 2013, REVEL des Disney Research Lab 2012 und AIREAL 2013 und weitere.

Mehrfach zitiert wird „A brief Rant on the Future of Interaction Design“ 2011 von Bret Victor. Er will: a dynamic medium that we can see, feel, and manipulate. Word. Beliebige Einsatzszenarien denkbar. Ein paar werden aufgelistet. Mir gefällt: It could be applied either for one-to-one interactions, such as a discrete tactile system between a couple or friends. Oder ergänzen wir eigenmächtig: Zwischen Lady Gaga und ihren Fans. Just: Create your own personalized communication system. Going to the Feelies this evening, Henry?

Our augmented future won´t feel „glassy“, it will be visceral.

The Audio Zone

Die Bedeutung von Audio als Interface ist offensichtlich. Ohne Screen den man anschauen muss, kann man sich auf die Umgebung konzentrieren. Papagiannis verweist auf ältere Beispiele der „blended reality“ im Kontext von so genannten Audio Walks. Die sich dank zunehmender Sensoren im Mobiltelefon zum Beispiel der Situation anpassen.

Als ich am Wochenende auf einer Brücke in London stand, hätte ich sehr gerne automatisierte Audioinformationen über die ganzen unbekannten Gebäude gehabt. Wo wir aber derzeit technologisch im Alltag 2017 stehen, zeigte sich dann später beim Versuch den angeblich smarten Fernseher via Voice zu steuern. Am Ende musste man mit einer Fernbedienung einzelne Buchstaben anhand von Pfeiltasten ansteuern. Well. Nix da mit: The best technology is invisible.

Guter Hinweis auf Frank Bowe und „Making Computers Accesible to Disabled People“ von 1987. Die Idee. Dinge von den Rändern her denken. Finde ich eine Problemlösung für Einzelfälle, löse ich gleichzeitig die Probleme der Masse.

Insgesamt empfinde ich das Audiokapitel trotz zahlreicher Beispiele als eher schwach.

Digital Smell and Taste

Die beiden Sinne sind die einzigen, „that are directly connected to the limbic system of the brain, which is responsible for emotion and memory.“ Das Kapitel ist super interessant. Habe ich hier doch etliches gefunden, was beim ersten Mal Herumsuchen (siehe hier) nicht mit dabei war.

Sehr schön der historische Abriss der 1939 auf der New Yorker World´s Fair beginnt und dann in den 1960ern mit „heavily scented actors“ weitergeht, die „walked through the auditorium“. Werbung:

First they moved (1895)! Then they talked (1927)! Now they smell (1960)!

Das ganze Thema möchte ich eh noch mal vertiefen. Würde jetzt den Rahmen sprengen. Interessant aber die von Plamer Luckey jüngst noch mal angestoßene Debatte: Once we can directly stimulate the brain neurons, we can bypass the sensors of our body. Und der Ausblick: When we move away from copying reality, AR in general will be liberated from the burden of simulating the real, with the creative doors wide open to new modes of expression and invention.

Storytelling and the Human Imagination

„The danger…is that the new medium focuses on the characteristics of the older medium rather that building on what is truly new. So how do we drive the medium forward without replicating what has come before? Wet clay.“

Hier spiegeln sich ganz schön Teile der McLuhan’schen Medientheorie und Zugänge die auch andernorts diskutiert werden. Vgl. cinema of attractions. Hier könnte man auch sehr schön einen vertiefende Vergleich zwischen „Magic and Illusion in Early Cinema“ und „Magic and Illusion in Early MR“ (S. 70/71) anstreben. Hier auch Verweis auf Oliver Grau und „habituation {that} chips away at the illusion“.  Auch noch mal lesen: „Video: From Technology to Medium“ von Yvonne Spielmann.

„The old rules not only no longer apply in the new format, they don´t really work.“

Danach listet P. ganz schön „Storytelling Conventions: Where We´ve Been“ auf, um danach „What´s Emerging“ anzuschließen:

1) Abstract And Artistic AR Filters – „these filters made it difficult to distinguish virtual elements from physical ones, all meshing into one world.“ Quote: Come with me and you´ll be in a world of pure imagination, Willy Wonka 1971.

2) Shared Virtual Space – „Imagine being able to teleport to any place with anyone, anytime.“ Zum Beispiel: Walking into a living memory.

3) Objects Telling Stories – „ways to further engage with the subject“ or object

4) Action Galleries And 3-D AR Stickers – „Why not place a 3-D AR Sticker on the real world or in someone else´s environment to let them know that your are thinking of them“ oder auch: what you are thinking about them. Vgl. This might be the first act of vandalism to happen in augmented reality.

5) 3-D Photo-realistic Personalized AR Avatars – „multiple versions of ourselves“

Avatars and Objects as Living Change Agents

„Your environment becomes a mirror to your being, adapting to your needs. Your surroundings become attuned and responsive, delivering a personalized, relevant, and meaningful experience.“

P. stellt das zunächst faszinierende und danach leicht gruselige Konzept des „ultimate selfies“ von Dr. Jacquelyn Ford vor (S. 93) der nach näherer Beschäftigung den jüngst vorgestellten grinsenden Emoji-Scheißhaufen in einem anderen Licht erscheinen lässt. Denn „Imagine our descendants talking to their ancestors, asking for advice“. Notwendig dafür: train your personal avatar like forever. Hinweis auf Black Mirror series 2, episode 1 und Final Cut von Omar Naim aus dem Jahr 2004.

Um das ultimative Selfie zu erhalten, müssen natürlich viel mehr Daten her. Ein Datenschutzalbtraum. Futurist Brian David Johnson sagt: Statt Input-Ouput Modell „we are entering more intelligent relationships with technology today“ – also so wie die Sprachinterfaces in ungefähr jedem Science-Fiction Film. Statt interaction eine realtionship mit einem device. Das heißt offenbar „Cognizant Computing“ mit den Phasen: Sync Me, See Me, Know Me, Be Me. Geht ein bisschen von AR weg, ist aber sinnvoll um den Kontext zu verstehen.

Dann haut P. noch ein paar weitere prototypische Cutting-Edge Spielereien raus: Invoked Computing, 4-D Printing und den Reality Editor, den ich hier auch irgendwo mal erwähnt habe: „in order to reprogram the physical world using AR“.

Physical objects typically have a static behaviour, whereas virtual objects are nonstatic, can be changed all the time, and have different properties.“ *

* Auf dem Holographic Meeting for einige Tagen der Hinweis des Hololens-Designers niemals ein statisches Interface im Sichtfeld festzupinnen

The Body as Interface

You never forget to bring your body. Totschlagargument. Spanned auch das Thema „Invisible Interfaces“. Ich streiche hinten an meinem Ohr nach oben um die Lautstärke der Musik zu regeln.*

Auf dem Holographic Meeting for einige Tagen die Diskussion über die wenig intuitive Geste des „Blooming“ und des Tippens des Zeigefingers auf dem Daumen.

Schön auch die so genannten Imaginary Interfaces. Egal wann und egal wo. Leaving behind screens. Natürlich kann man das alles auch in Kleidung einarbeiten und die Schuhe aus „The Wizard of Oz“ 1939 bringen einen dann wirklich immer nach Hause. So lange der Akku hält natürlich. Oder reden wir einfach über Implantate.

Um das aber alles wieder in einen Kontext zu setzen: „The scarce ressource of the twenty-first century will not be technology, it will be attention.“ Und daran anschließend gleich die Sinnfrage: Was machen wir damit? Und warum?

Growing the Possibilities

Am Ende steht eine recht nüchterne Auflistung der Möglichkeiten, die nicht ganz stringent wirkt, vermsichen sich hier doch die Vergleichsebenen. Vielleicht lässt sich besser als eine Art Brillen (siehe Jesse Schell) verstehen, mit denen man auf die Thematik blicken kann. Fazit: Es geht bereits unglaublich viel. Vor allem an Universitäten und prototypisch. Noch sind die Gerätschaften in Gänze zu clunky.

Unbeantwortet auch noch die Frage was „Let´s make it our collective goal and commitment to design for the best of technolgy and the best of humanity“ genau heißen mag, wie und wohin sich alles nach der Phase der Attraktion / des nassen Tons entwickeln wird, wer es machen wird und wann und ob es passieren wird. Vgl. Mike Rundle über das iPhone XX:

Technology doesn’t move as fast as people think. 100 years ago people were convinced we’d be living in colonies on Mars and food would materialize from pills. Instead we haven’t put a person on a new celestial body in 50 years and Soylent not only tastes bad but made people sick. The iPhone will still be around in 2027 and will still mostly look like the smartphones we use today.

The Art 

Wenn Technologen und Experten nicht weiterwissen, verweisen sie gerne auf die Kunst. Artists act as wonderment operators. Hier noch ein Text von Golan Levin „New Media Artworks: Prequels to Everyday Life“ – „some of today´s most commonplace and widely-appreciated technologies were initially conceived and prototyped years ago, by new-media artists.“

Und mit diesem Ausblick, lassen sich für mich zumindest meine gegenwärtigen ganz persönlichen Interessengebiete – Multisensorisches Mixed Reality, Contemporary (Post-Internet) Art und Medienarchäologie (vor allem vorangegangene Umbrüche und Experimente) – sehr schön zusammenbinden.

Was jetzt noch fehlt: Die Fokussierung auf eine konkrete und spezifisch spitze Fragestellung, deren Beantwortung mich in den kommenden Jahren umtreiben mag. Das Buch von P. liefert auf jeden Fall auf gut 130 Seiten einen dichten Überblick, viele Querverweise auf Texte, Videos und Projekte. Sehr gut, um zu starten oder weiterzukommen. Abseits von technologischem Kleinklein, aber auch abseits eines fundierten medientheoretischen Rahmens. Es ist mehr Beobachtung und jeweilige Schlussfolgerung, als abschließende Gesamtmonographie. Aber dafür ist es ja auch noch viel zu früh.

Ach wenn wir doch bereits alle über dezente und technologisch ausgereifte HMDS verfügen würden, dann wüssten wir bereits mehr.

 

    Tags: