Zusatzmaterial

Immersives User Interface mittels 3D-Grafik, Head-Tracking und Touch-Input

Zusatz­ma­te­r­i­al

von Har­ald Klinke

Über das Buch

Dieses Buch beschreibt die Ziele und die Entwick­lung ein­er grafis­chen Benutzer­schnittstelle, die einen 3D-Raum erzeugt, der durch räum­liche Bewe­gung des Betra­chters explo­ri­ert und mit Berührungsin­put manip­uliert wer­den kann. Dabei kommt Head-Track­ing mith­il­fe von Microsoft Kinect und Touch-Input mith­il­fe von Microsoft Pix­elSense zum Ein­satz.

Com­put­er­grafik ist zwar meist zen­tralper­spek­tivisch aufge­baut, jedoch nicht wirk­lich drei­di­men­sion­al. Durch die im Rah­men dieser Arbeit entwick­el­ten Benutzer­schnittstelle lässt sich ein besser­er räum­lich­er Ein­druck erzeu­gen, der ins­beson­dere zu Präsen­ta­tion­szweck­en von Objek­ten einge­set­zt wer­den kann – jedoch ohne Brillen, die als störend emp­fun­den wer­den, und ohne Dis­play­folien, die die Auflö­sung herun­ter­set­zen.

Zum Ein­satz kommt hier ein in einen Tisch inte­gri­ert­er Groß­bild-Touch-Screen, der optisch auf Infrarot­ba­sis funk­tion­iert. Das HD-Dis­play erlaubt auf 40 Zoll groß­for­matige Dar­stellungen und die Anzeige von 3D-Objek­ten, die sich mith­il­fe des .Net-Frame­­works und dem Sur­face 2.0 SDK markieren, bewe­gen und rotieren lassen.

Der Kinect-Sen­sor inter­pretiert Dif­feren­zen von struk­turi­ertem IR-Licht als Tiefen­in­for­ma­tio­nen und kann auf diese Weise den Benutzer und seine Bewe­gung erken­nen. Dessen Kopf­po­si­tion kann in drei Achsen ver­fol­gt und daraus dynamisch eine per­spek­tivis­che 3D-Grafik mit gekippter Pro­jek­tion­sebene gener­iert wer­den, die – unter­stützt durch die dadurch erzeugte Bewe­gungspar­al­laxe – von jed­er Posi­tion im Raum einen überzeu­gen­den räum­lichen Ein­druck erzeugt. So lassen sich die dargestell­ten Objek­te leicht aus ver­schiede­nen Blick­winkeln betra­cht­en und mith­il­fe von Touch-Eingabe berühren und manip­ulieren. Diese Verbindung von Bild- und Real­raum ver­stärkt den Ein­druck von Immer­sion, also das „Ein­tauchen“ in den virtuellen Bil­draum, durch Hap­tik.

Die Prinzip­i­en dieser Grund­la­gen­forschung kön­nen im Rah­men von Human-Machine Inter­faces (HMI) in der Präsen­ta­tion, im Design, in der Logis­tik­pla­nung, bei Fahreras­sis­ten­zsys­te­men oder Kon­sumentenelek­tron­ik zum Ein­satz kom­men. Der Vorteil liegt in der Erzeu­gung eines räum­lichen Ein­drucks und die Manip­ulier­barkeit von Objek­ten ohne die Notwendigkeit von weit­er­er Periph­erie.

Bibliographie

[1]   Prime­Sense Tech­nol­o­gy, http://www.primesense.com/solutions/technology , Abruf: 09.12.2013 (nicht mehr ver­füg­bar)

[2]   Barak Freed­man, Alexan­der Shpunt, Yoel Arieli: Dis­tance-Vary­ing Illu­mi­na­tion and Imag­ing Tech­niques for Depth Map­ping, Patent US 20100290698 A1, https://www.google.com/patents/US20100290698 , Abruf: 26.05.2014

[3]   Micron Tech­nol­o­gy, Inc., “1/2‑Inch Megapix­el CMOS Dig­i­tal Image Sen­sor“, http://download.micron.com/pdf/datasheets/imaging/mt9m001_1300_mono.pdf , Abruf: 05.12.2013 (nicht mehr ver­füg­bar)

[4]   Sören König, Akqui­si­tion dynamis­ch­er Geome­trie mit struk­turi­ertem Licht, Diplo­mar­beit, Mai 2006, Uni­ver­sität Dres­den

[5]   D. Scharstein and R. Szelis­ki, “High-Accu­ra­cy Stereo Depth Maps Using Struc­tured Light”, CVPR’03 Pro­ceed­ings of the 2003 IEEE com­put­er soci­ety con­fer­ence on Com­put­er vision and pat­tern recog­ni­tion, S. 195–202

[6]   Mike Isaac und John Paczkows­ki, “Apple Con­firms Acqui­si­tion of 3‑D Sen­sor Start­up Prime­Sense”, 24. Novem­ber 2013, http://allthingsd.com/20131124/apple-confirms-acquisition-of-3d-sensor-startup-primesense , Abruf: 30.05.2014

[7]   Vin­cent Rabaud und Tul­ly Foote, “Pre­ci­sion of the Kinect sen­sor”, http://wiki.ros.org/openni_kinect/kinect_accuracy , Abruf: 20.05.2014

[8]   Flo­ri­an Kalen­da, „Microsoft liefert Kinect 2 an Win­dows-Entwick­ler aus“, http://www.zdnet.de/88177133/microsoft-liefert-kinect-2-an-windows-entwickler-aus , 26. Novem­ber 2013, Abruf: 20.05.2014

[9]   Javier Gar­cia, Zeev Zalevsky, “Range map­ping using speck­le decor­re­la­tion”, Patent US 7433024 B2, https://www.google.com/patents/US7433024 , Abruf: 20.05.2014

[10] Bernd Mar­quardt, Microsoft Win­dows Pre­sen­ta­tion Foun­da­tion – Crashkurs, 2., über­arb. Aufl., Unter­schleißheim : Microsoft Press ; Köln : O’Reil­ly, 2011

[11] Tim Sneath, “A Guid­ed Tour of Win­dows Pre­sen­ta­tion Foun­da­tion”, http://msdn.microsoft.com/en-us/library/aa480221.aspx , Sep­tem­ber 2005, Abruf: 20.05.2014

[12] Brook Tay­lor, New Prin­ci­ples of Lin­ear Per­spec­tive, Lon­don, 1719

[13] David Catuhe, Pro­gram­ming with the Kinect for Win­dows Soft­ware Devel­op­ment Kit. Red­mond and Wash: Microsoft Press, 2012

[14] S. Kean, J. C. Hall und P. Per­ry, Meet the Kinect: An intro­duc­tion to pro­gram­ming nat­ur­al user inter­faces. New York, Apress and Dis­trib­uted to the book trade by Springer, 2011

[15] J. Webb and J. Ash­ley, Begin­ning Kinect Pro­gram­ming with the Microsoft Kinect SDK. New York, Apress, 2012

[16] Sam­sung, “Large For­mat Dis­play SUR40 mit Microsoft Pix­elSense”, https://www.samsung.com/de/consumer/notebooks-displays/large-format-displays/surface‑2/LH40SFWTGC/EN-spec , Abruf: 30.05.2014

[17] Microsoft Devel­op­er Net­work, “Joint­Type Enu­mer­a­tion”, http://msdn.microsoft.com/en-us/library/microsoft.kinect.jointtype.aspx , Abruf: 30.05.2014

[18] Microsoft Devel­op­er Net­work, “Face Track­ing”, http://msdn.microsoft.com/en-us/library/jj130970.aspx , Abruf: 30.05.2014

[19] ZAM 3D Ver­sion 1.0, http://www.erain.com/products/zam3d , Abruf: 30.05.2014

[20] Jack Xu: Prac­ti­cal WPF Graph­ics Pro­gram­ming, Phoenix, 2007

[21] Microsoft Devel­op­er Net­work, „Über­sicht über 3D-Grafiken“, http://msdn.microsoft.com/de-de/library/ms747437%28v=vs.110%29.aspx , Abruf: 30.05.2014

[22] Sam­sung, “SUR40 for Microsoft User Man­u­al”,  https://www.samsung.com/us/support/owners/product/SUR40 , Abruf: 30.05.2014

[23] Chris Sells, Ian Grif­fiths, Pro­gram­ming WPF. Build­ing Win­dows UI with Win­dows Pre­sen­ta­tion Foun­da­tion, O’Reil­ly Media, 2007

[24] Jérémie Fran­cone, Lau­rence Nigay, “Using the User ’s Point of View for Inter­ac­tion on Mobile Devices”, Con­fer­ence Pro­ceed­ings of IHM 2011, 23ème Con­férence fran­coph­o­ne sur l‘interaction home-machine, Nice, 24–27 Octo­ber 2011, ACM Press, 25–31

[25] Anto­nio Cri­m­in­isi, Mar­tin Kemp, Andrew Zis­ser­man, “Bring­ing Pic­to­r­i­al Space to Life: Com­put­er Tech­niques for the Analy­sis of Paint­ings”, Novem­ber 2002, https://research.microsoft.com/apps/pubs/default.aspx?id=67260 , Abruf: 30.05.2014

[26] Microsoft Devel­op­er Net­work, “Sur­face SDK 2.0, Sur­face Touch Sup­port”, http://msdn.microsoft.com/en-us/library/ff727805.aspx , Abruf: 30.05.2014

[27] Microsoft Devel­op­er Net­work, “Sur­face SDK 2.0, Mov­ing UI Ele­ments with Touch”, http://msdn.microsoft.com/en-us/library/ff727735.aspx , Abruf: 30.05.2014

[28] MSDN Blogs, “Kinect for Win­dows Prod­uct Blog, Near Mode: What it is (and isn’t)”, http://blogs.msdn.com/b/kinectforwindows/archive/2012/01/20/near-mode-what-it-is-and-isn‑t.aspx , Abruf: 30.05.2014

[29] Hans Jonas, „Die Frei­heit des Bildens. Homo pic­tor und die dif­fer­en­tia des Men­schen“, ders., Zwis­chen Nichts und Ewigkeit. Drei Auf­sätze zur Lehre vom Men­schen, 2. Aufl. Göt­tin­gen 1987 [1963], 26–4

[30] Bätschmann, Oskar und Christoph Schäublin, „Ein­leitung“, ders. (Hg.), Leon Bat­tista Alber­ti. Das Stand­bild. Die Malkun­st. Grund­la­gen der Malerei, Darm­stadt: Wis­senschaftliche Buchge­sellschaft, 2000, S. 13–141

[31] Microsoft Devel­op­er Net­work, „Microsoft Sur­face 2.0 SDK”, http://msdn.microsoft.com/en-us/library/ff727815.aspx , Abruf: 30.05.2014

[32] Microsoft Devel­op­er Net­work,  “Kinect for Win­dows SDK”, http://msdn.microsoft.com/en-us/library/hh855347.aspx , Abruf: 30.05.2014

[33] Jun Reki­mo­to, “A Vision-Based Head Track­er for Fish Tank Vir­tu­al Real­i­ty, — VR with­out Head Gear –“, Pro­ceed­ings of the Vir­tu­al Real­i­ty Annu­al Inter­na­tion­al Sym­po­sium (VRAIS’95), Feb­ru­ar 1995

[34] John­ny Chung Lee, “Projects, Wii”, http://johnnylee.net/projects/wii , Abruf: 30.05.2014

[35] John­ny Chung Lee, “Hack­ing the Nin­ten­do Wii Remote”, Per­va­sive, 2008, Issue No. 3, July-Sep­tem­ber, 39–45

[36] Sébastien Piérard, Vin­cent Pier­lot et. al., “I‑see-3D! An inter­ac­tive and immer­sive sys­tem that dynam­i­cal­ly adapts 2D pro­jec­tions to the loca­tion of a user’s eyes”, Inter­na­tion­al Con­fer­ence on 3D Imag­ing (IC3D), Liège, Bel­gium, Decem­ber 2012, 1–8

[37] Dun­can R. Kerr, Nicholas V. King, “Sys­tems and meth­ods for adjust­ing a dis­play based on the user’s posi­tion”, Patent US 20090313584 A1, Einge­tra­gen: 17. Juni 2008, https://www.google.com/patents/US20090313584 , Abruf: 30.05.2014

[38] Daniel Eran Dil­ger, “Fox News’ giant new Microsoft touch screens have few­er pix­els than an iPad”, http://appleinsider.com/articles/13/10/08/fox-news-new-giant-microsoft-touch-screens-have-fewer-pixels-than-an-ipad , Abruf: 30.05.2014

[39] Michael Uy, “Inte­grat­ed sens­ing dis­play”, Patent US 7535468 B2, Eingetragen21. Juni 2004, https://www.google.com/patents/US7535468 , Abruf: 30.05.2014

[40] heise.de, „Microsoft kündigt eigene Tablets an“, 19.06.2012, Abruf: 30.05.2014

[41] heise.de, „Intel goes Kinect: Gesten‑, Gesichts- und Spracherken­nung mit Kam­erasys­tem RealSense“, 07.01.2014, Abruf: 30.05.2014

[42] Jacob Kas­tre­nakes, “Google announces Project Tan­go, a smart­phone that can map the world around it”, 20.02.2014, http://www.theverge.com/2014/2/20/5430784/project-tango-google-prototype-smartphone-announced , Abruf: 30.05.2014

[43] Zach Epstein, “This is Amazon’s smart­phone”, 15.04.2014, http://bgr.com/2014/04/15/amazon-smartphone-photos-specs-kindle-phone-exclusive , Abruf: 30.05.2014

[44] Mar­garete Pratschke, „ Inter­ak­tion mit Bildern. Dig­i­tale Bildgeschichte am Beispiel grafis­ch­er Benutze­r­ober­flächen“, Horst Bre­dekamp (Hg.), Das Tech­nis­che Bild. Kom­pendi­um zu ein­er Stilgeschichte wis­senschaftlich­er Bilder, Berlin, 68–81

[45] Hol­ger Tauer, Stereo-3D: Grund­la­gen, Tech­nik und Bildgestal­tung, Berlin, 2010

[46] Prime­sense, The Prime­sen­sor Ref­er­ence Design, http://primesense.360.co.il/files/FMF_2.PDF , Abruf: 23.09.2011 (nicht mehr ver­füg­bar)

[47] Microsoft Devel­op­er Net­work, “Skele­tal Joint Smooth­ing White Paper”, http://msdn.microsoft.com/en-us/library/jj131429.aspx , Abruf: 30.05.2014

[48] Microsoft, Tagged Object Inte­gra­tion For Sur­face 2.0, http://download.microsoft.com/download/D/7/B/D7BE282A-FCB2-4A2C-AC48-6BC8441AB281/Tagged%20Objects%20for%20Surface%202.0%20Whitepaper.pdf , Abruf: 30.05.2014

[49] Daniel Eran Dil­ger, “Fox News’ giant new Microsoft touch screens have few­er pix­els than an iPad”, 08.10.2013 http://appleinsider.com/articles/13/10/08/fox_news_new_giant_microsoft_touch_screens_have_fewer_pixels_than_an_ipad.html, Abruf: 30.05.2014

[50] Thi­nus Fer­reira, “Fox News Chan­nel turns star­ship Enter­prise with its Fox News Deck and mas­sive touch­screen mon­i­tors, seat­ed ‘info spe­cial­ists’”, http://teeveetee.blogspot.de/2013/10/breaking-fox-news-channel-turns.html, Abruf: 30.05.2014

[51] TED Talks, “The rad­i­cal promise of the mul­ti-touch inter­face”,  http://www.ted.com/talks/jeff_han_demos_his_breakthrough_touchscreen, Abruf: 30.05.2014

[52] Chris Sells und Ian Grif­fiths, Pro­gram­ming WPF, Sec­ond Edi­tion, Sebastopol, 2007

[53] Daniel Solis, Illus­trat­ed WPF, New York, 2009

[54] Jeff Kramer, Nico­las Bur­rus, Flo­ri­an Echtler, Daniel Her­rera C. und Matt Park­er, Hack­ing the Kinect, New York, 2012

[55] Abhi­jit Jana, Kinect for Win­dows SDK pro­gram­ming guide, Birm­ing­ham, 2012

[56] Rob S. Miles, Start here! Learn Microsoft Kinect API, Sebastopol, 2012

[57] Dan Ryan, His­to­ry of Com­put­er Graph­ics, Author­House, 2011