Immersives User Interface mittels 3D-Grafik, Head-Tracking und Touch-Input
Zusatzmaterial
von Harald Klinke
Über das Buch
Dieses Buch beschreibt die Ziele und die Entwicklung einer grafischen Benutzerschnittstelle, die einen 3D-Raum erzeugt, der durch räumliche Bewegung des Betrachters exploriert und mit Berührungsinput manipuliert werden kann. Dabei kommt Head-Tracking mithilfe von Microsoft Kinect und Touch-Input mithilfe von Microsoft PixelSense zum Einsatz.
Computergrafik ist zwar meist zentralperspektivisch aufgebaut, jedoch nicht wirklich dreidimensional. Durch die im Rahmen dieser Arbeit entwickelten Benutzerschnittstelle lässt sich ein besserer räumlicher Eindruck erzeugen, der insbesondere zu Präsentationszwecken von Objekten eingesetzt werden kann – jedoch ohne Brillen, die als störend empfunden werden, und ohne Displayfolien, die die Auflösung heruntersetzen.
Zum Einsatz kommt hier ein in einen Tisch integrierter Großbild-Touch-Screen, der optisch auf Infrarotbasis funktioniert. Das HD-Display erlaubt auf 40 Zoll großformatige Darstellungen und die Anzeige von 3D-Objekten, die sich mithilfe des .Net-Frameworks und dem Surface 2.0 SDK markieren, bewegen und rotieren lassen.
Der Kinect-Sensor interpretiert Differenzen von strukturiertem IR-Licht als Tiefeninformationen und kann auf diese Weise den Benutzer und seine Bewegung erkennen. Dessen Kopfposition kann in drei Achsen verfolgt und daraus dynamisch eine perspektivische 3D-Grafik mit gekippter Projektionsebene generiert werden, die – unterstützt durch die dadurch erzeugte Bewegungsparallaxe – von jeder Position im Raum einen überzeugenden räumlichen Eindruck erzeugt. So lassen sich die dargestellten Objekte leicht aus verschiedenen Blickwinkeln betrachten und mithilfe von Touch-Eingabe berühren und manipulieren. Diese Verbindung von Bild- und Realraum verstärkt den Eindruck von Immersion, also das „Eintauchen“ in den virtuellen Bildraum, durch Haptik.
Die Prinzipien dieser Grundlagenforschung können im Rahmen von Human-Machine Interfaces (HMI) in der Präsentation, im Design, in der Logistikplanung, bei Fahrerassistenzsystemen oder Konsumentenelektronik zum Einsatz kommen. Der Vorteil liegt in der Erzeugung eines räumlichen Eindrucks und die Manipulierbarkeit von Objekten ohne die Notwendigkeit von weiterer Peripherie.
Bibliographie
[1] PrimeSense Technology, http://www.primesense.com/solutions/technology , Abruf: 09.12.2013 (nicht mehr verfügbar)
[2] Barak Freedman, Alexander Shpunt, Yoel Arieli: Distance-Varying Illumination and Imaging Techniques for Depth Mapping, Patent US 20100290698 A1, https://www.google.com/patents/US20100290698 , Abruf: 26.05.2014
[3] Micron Technology, Inc., “1/2-Inch Megapixel CMOS Digital Image Sensor“, http://download.micron.com/pdf/datasheets/imaging/mt9m001_1300_mono.pdf , Abruf: 05.12.2013 (nicht mehr verfügbar)
[4] Sören König, Akquisition dynamischer Geometrie mit strukturiertem Licht, Diplomarbeit, Mai 2006, Universität Dresden
[5] D. Scharstein and R. Szeliski, “High-Accuracy Stereo Depth Maps Using Structured Light”, CVPR’03 Proceedings of the 2003 IEEE computer society conference on Computer vision and pattern recognition, S. 195-202
[6] Mike Isaac und John Paczkowski, “Apple Confirms Acquisition of 3-D Sensor Startup PrimeSense”, 24. November 2013, http://allthingsd.com/20131124/apple-confirms-acquisition-of-3d-sensor-startup-primesense , Abruf: 30.05.2014
[7] Vincent Rabaud und Tully Foote, “Precision of the Kinect sensor”, http://wiki.ros.org/openni_kinect/kinect_accuracy , Abruf: 20.05.2014
[8] Florian Kalenda, „Microsoft liefert Kinect 2 an Windows-Entwickler aus“, http://www.zdnet.de/88177133/microsoft-liefert-kinect-2-an-windows-entwickler-aus , 26. November 2013, Abruf: 20.05.2014
[9] Javier Garcia, Zeev Zalevsky, “Range mapping using speckle decorrelation”, Patent US 7433024 B2, https://www.google.com/patents/US7433024 , Abruf: 20.05.2014
[10] Bernd Marquardt, Microsoft Windows Presentation Foundation – Crashkurs, 2., überarb. Aufl., Unterschleißheim : Microsoft Press ; Köln : O’Reilly, 2011
[11] Tim Sneath, “A Guided Tour of Windows Presentation Foundation”, http://msdn.microsoft.com/en-us/library/aa480221.aspx , September 2005, Abruf: 20.05.2014
[12] Brook Taylor, New Principles of Linear Perspective, London, 1719
[13] David Catuhe, Programming with the Kinect for Windows Software Development Kit. Redmond and Wash: Microsoft Press, 2012
[14] S. Kean, J. C. Hall und P. Perry, Meet the Kinect: An introduction to programming natural user interfaces. New York, Apress and Distributed to the book trade by Springer, 2011
[15] J. Webb and J. Ashley, Beginning Kinect Programming with the Microsoft Kinect SDK. New York, Apress, 2012
[16] Samsung, “Large Format Display SUR40 mit Microsoft PixelSense”, https://www.samsung.com/de/consumer/notebooks-displays/large-format-displays/surface-2/LH40SFWTGC/EN-spec , Abruf: 30.05.2014
[17] Microsoft Developer Network, “JointType Enumeration”, http://msdn.microsoft.com/en-us/library/microsoft.kinect.jointtype.aspx , Abruf: 30.05.2014
[18] Microsoft Developer Network, “Face Tracking”, http://msdn.microsoft.com/en-us/library/jj130970.aspx , Abruf: 30.05.2014
[19] ZAM 3D Version 1.0, http://www.erain.com/products/zam3d , Abruf: 30.05.2014
[20] Jack Xu: Practical WPF Graphics Programming, Phoenix, 2007
[21] Microsoft Developer Network, „Übersicht über 3D-Grafiken“, http://msdn.microsoft.com/de-de/library/ms747437%28v=vs.110%29.aspx , Abruf: 30.05.2014
[22] Samsung, “SUR40 for Microsoft User Manual”, https://www.samsung.com/us/support/owners/product/SUR40 , Abruf: 30.05.2014
[23] Chris Sells, Ian Griffiths, Programming WPF. Building Windows UI with Windows Presentation Foundation, O’Reilly Media, 2007
[24] Jérémie Francone, Laurence Nigay, “Using the User ʼs Point of View for Interaction on Mobile Devices”, Conference Proceedings of IHM 2011, 23ème Conférence francophone sur l‘interaction home-machine, Nice, 24-27 October 2011, ACM Press, 25-31
[25] Antonio Criminisi, Martin Kemp, Andrew Zisserman, “Bringing Pictorial Space to Life: Computer Techniques for the Analysis of Paintings”, November 2002, https://research.microsoft.com/apps/pubs/default.aspx?id=67260 , Abruf: 30.05.2014
[26] Microsoft Developer Network, “Surface SDK 2.0, Surface Touch Support”, http://msdn.microsoft.com/en-us/library/ff727805.aspx , Abruf: 30.05.2014
[27] Microsoft Developer Network, “Surface SDK 2.0, Moving UI Elements with Touch”, http://msdn.microsoft.com/en-us/library/ff727735.aspx , Abruf: 30.05.2014
[28] MSDN Blogs, “Kinect for Windows Product Blog, Near Mode: What it is (and isn’t)”, http://blogs.msdn.com/b/kinectforwindows/archive/2012/01/20/near-mode-what-it-is-and-isn-t.aspx , Abruf: 30.05.2014
[29] Hans Jonas, „Die Freiheit des Bildens. Homo pictor und die differentia des Menschen“, ders., Zwischen Nichts und Ewigkeit. Drei Aufsätze zur Lehre vom Menschen, 2. Aufl. Göttingen 1987 [1963], 26-4
[30] Bätschmann, Oskar und Christoph Schäublin, „Einleitung“, ders. (Hg.), Leon Battista Alberti. Das Standbild. Die Malkunst. Grundlagen der Malerei, Darmstadt: Wissenschaftliche Buchgesellschaft, 2000, S. 13-141
[31] Microsoft Developer Network, „Microsoft Surface 2.0 SDK”, http://msdn.microsoft.com/en-us/library/ff727815.aspx , Abruf: 30.05.2014
[32] Microsoft Developer Network, “Kinect for Windows SDK”, http://msdn.microsoft.com/en-us/library/hh855347.aspx , Abruf: 30.05.2014
[33] Jun Rekimoto, “A Vision-Based Head Tracker for Fish Tank Virtual Reality, – VR without Head Gear –“, Proceedings of the Virtual Reality Annual International Symposium (VRAIS’95), Februar 1995
[34] Johnny Chung Lee, “Projects, Wii”, http://johnnylee.net/projects/wii , Abruf: 30.05.2014
[35] Johnny Chung Lee, “Hacking the Nintendo Wii Remote”, Pervasive, 2008, Issue No. 3, July-September, 39-45
[36] Sébastien Piérard, Vincent Pierlot et. al., “I-see-3D! An interactive and immersive system that dynamically adapts 2D projections to the location of a user’s eyes”, International Conference on 3D Imaging (IC3D), Liège, Belgium, December 2012, 1-8
[37] Duncan R. Kerr, Nicholas V. King, “Systems and methods for adjusting a display based on the user’s position”, Patent US 20090313584 A1, Eingetragen: 17. Juni 2008, https://www.google.com/patents/US20090313584 , Abruf: 30.05.2014
[38] Daniel Eran Dilger, “Fox News‘ giant new Microsoft touch screens have fewer pixels than an iPad”, http://appleinsider.com/articles/13/10/08/fox-news-new-giant-microsoft-touch-screens-have-fewer-pixels-than-an-ipad , Abruf: 30.05.2014
[39] Michael Uy, “Integrated sensing display”, Patent US 7535468 B2, Eingetragen21. Juni 2004, https://www.google.com/patents/US7535468 , Abruf: 30.05.2014
[40] heise.de, „Microsoft kündigt eigene Tablets an“, 19.06.2012, Abruf: 30.05.2014
[41] heise.de, „Intel goes Kinect: Gesten-, Gesichts- und Spracherkennung mit Kamerasystem RealSense“, 07.01.2014, Abruf: 30.05.2014
[42] Jacob Kastrenakes, “Google announces Project Tango, a smartphone that can map the world around it”, 20.02.2014, http://www.theverge.com/2014/2/20/5430784/project-tango-google-prototype-smartphone-announced , Abruf: 30.05.2014
[43] Zach Epstein, “This is Amazon’s smartphone”, 15.04.2014, http://bgr.com/2014/04/15/amazon-smartphone-photos-specs-kindle-phone-exclusive , Abruf: 30.05.2014
[44] Margarete Pratschke, „ Interaktion mit Bildern. Digitale Bildgeschichte am Beispiel grafischer Benutzeroberflächen“, Horst Bredekamp (Hg.), Das Technische Bild. Kompendium zu einer Stilgeschichte wissenschaftlicher Bilder, Berlin, 68-81
[45] Holger Tauer, Stereo-3D: Grundlagen, Technik und Bildgestaltung, Berlin, 2010
[46] Primesense, The Primesensor Reference Design, http://primesense.360.co.il/files/FMF_2.PDF , Abruf: 23.09.2011 (nicht mehr verfügbar)
[47] Microsoft Developer Network, “Skeletal Joint Smoothing White Paper”, http://msdn.microsoft.com/en-us/library/jj131429.aspx , Abruf: 30.05.2014
[48] Microsoft, Tagged Object Integration For Surface 2.0, http://download.microsoft.com/download/D/7/B/D7BE282A-FCB2-4A2C-AC48-6BC8441AB281/Tagged%20Objects%20for%20Surface%202.0%20Whitepaper.pdf , Abruf: 30.05.2014
[49] Daniel Eran Dilger, “Fox News‘ giant new Microsoft touch screens have fewer pixels than an iPad”, 08.10.2013 http://appleinsider.com/articles/13/10/08/fox_news_new_giant_microsoft_touch_screens_have_fewer_pixels_than_an_ipad.html, Abruf: 30.05.2014
[50] Thinus Ferreira, “Fox News Channel turns starship Enterprise with its Fox News Deck and massive touchscreen monitors, seated ‚info specialists’”, http://teeveetee.blogspot.de/2013/10/breaking-fox-news-channel-turns.html, Abruf: 30.05.2014
[51] TED Talks, “The radical promise of the multi-touch interface”, http://www.ted.com/talks/jeff_han_demos_his_breakthrough_touchscreen, Abruf: 30.05.2014
[52] Chris Sells und Ian Griffiths, Programming WPF, Second Edition, Sebastopol, 2007
[53] Daniel Solis, Illustrated WPF, New York, 2009
[54] Jeff Kramer, Nicolas Burrus, Florian Echtler, Daniel Herrera C. und Matt Parker, Hacking the Kinect, New York, 2012
[55] Abhijit Jana, Kinect for Windows SDK programming guide, Birmingham, 2012
[56] Rob S. Miles, Start here! Learn Microsoft Kinect API, Sebastopol, 2012
[57] Dan Ryan, History of Computer Graphics, AuthorHouse, 2011