Interactive form creation: exploring the creation and manipulation of free form through the use of interactive multiple input interface

Most current CAD systems support only the two most common input devices: a mouse and a keyboard that impose a limit to the degree of interaction that a user can have with the system. However, it is not uncommon for users to work together on the same computer during a collaborative task. Beside that, people tend to use both hands to manipulate 3D objects; one hand is used to orient the object while the other hand is used to perform some operation on the object. The same things could be applied to computer modelling in the conceptual phase of the design process. A designer can rotate and position an object with one hand, and manipulate the shape [deform it] with the other hand. Accordingly, the 3D object can be easily and intuitively changed through interactive manipulation of both hands.The research investigates the manipulation and creation of free form geometries through the use of interactive interfaces with multiple input devices. First the creation of the 3D model will be discussed; several different types of models will be illustrated. Furthermore, different tools that allow the user to control the 3D model interactively will be presented. Three experiments were conducted using different interactive interfaces; two bi-manual techniques were compared with the conventional one-handed approach. Finally it will be demonstrated that the use of new and multiple input devices can offer many opportunities for form creation. The problem is that few, if any, systems make it easy for the user or the programmer to use new input devices

Generating 3D product design models in real-time using hand motion and gesture

This thesis was submitted for the degree of Master of Philosophy and awarded by Brunel University.Three dimensional product design models are widely used in conceptual design and in the early stage of prototyping during the design processes. A product design specification often demands a substantial amount of 3D models to be constructed within a short period of time. Current methods begin with designers sketching product concepts in 2D using pencil and paper, which in turn are then translated into 3D models by a design individual with CAD expertise, using a 3D modelling software package such as Pro Engineer, Solid Works, Auto CAD etc. Several novel methods have been used to incorporate hand motion as a way of interacting with computers. There are three main types of technology available to capture motion data, capable of translating human motion into numeric data which can be read by a computer system. The first being, hand gesture glove-based systems such as “Cyberglove”, these systems are generally used to capture hand gesture and joint angle information. The second is full body motion capture systems, optical and non-optical-based, and finally vision based gesture recognition systems which capture full degree of - freedom (DOF) hand motion estimation. There has yet to be a method using any of the above mentioned input devices to rapidly produce 3D product design models in real time, using hand motion and gestures. In this research, a novel method is presented, using a motion capture system to capture hand gestures and motion in real time, to recreate 3D curves and surfaces, which can be translated into 3D product design models. The main aim of this research is to develop a hand motion and gesture-based rapid 3D product modelling method, allowing designers to interactively sketch out 3D concepts in real time using a virtual workspace. A database of a number of hand signs was built for both architectural hand signs (preliminary study) and Product Design hand signs. A marker set model with a total of eight markers (five on the left hand and three on right hand/marker pen) was designed and used in the capture of hand gestures with the use of an Optical Motion Capture System. A preliminary testing session was successfully completed to determine whether the Motion Capture system would be suitable for a real-time application, by effectively modelling a train station in an offline state using hand motion and gesture. An OpenGL software application was programmed using C++ and the Microsoft Foundation Classes which was used to communicate and pass information of captured motion from the EVaRT system to the user

Bodily Experience And Spatial Thinking In Architectural Design Process

Tez (Doktora) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2014Thesis (PhD) -- İstanbul Technical University, Institute of Science and Technology, 201420. yy’ın ilk yarısında el ile üretimden makina ile üretime, zanaatten endüstrileşmeye geçiş, mimarlık da dahil olmak üzere pek çok disiplinde Herbert Marcuse’un ifadesiyle “düşünce ve eylemin”, “kavram ve yürütmenin”, “el ile zihnin” ayrışması krizine neden olmuştu (Marcuse, 2002). 20. yy’ın ikinci yarısından itibaren, temelleri kartezyen dünya tasavvuruna dayanan, bilginin deneyimden ayrı olarak (disembodied) idealist bir biçimde temsil geleneği ile bilgi ve iletişim teknolojilerinin bu ayrık gelenek üzerine inşaası ise, mimarlığın “sayısal”la karşılaşmasında yeni bir krize yol açmıştır. Günümüzde, mimarlık kuram, söylem ve uygulamalarında, tasarım düşüncesi ile tasarımcı bedeni ayrı iki özne olarak belirmektedir. Sayısal çağın krizinde parçalara ayrılan el ve zihnin ötesinde, duyusal algı bütünlüğü olmaktadır. Bir yandan görsel duyu kutsanırken, öte yandan dokunma duyusu ve bedenin uzam ile süreç içinde kurduğu iletişim biçimleri giderek silikleşmektedir. Tez kapsamında mimarların sayısal ortam ile kurdukları diyaloğa ilişkin tartışmaların; mimarlık, bilişsel çalışmalar ve insan-bilgisayar etkileşimi alanlarından yararlanarak açılması ve derinleştirilmesi amaçlanmıştır. Bedenin ortadan kaybolmasının krizini tek bir yöntem ya da yaklaşım ile açıklamak olanaksız olduğundan, olabildiğince deneyimleyen özne tarafında kalmaya ve bütüncül yaklaşılmaya çalışılmıştır. Bu çalışma, cisimleşme (embodiment) kuramına, ampirik gözlemler aracığıyla niteliksel destekler arama çabası gütmektedir. Aynı zamanda bu çalışma kapsamında, mevcut (geleneksel) tasarım süreçlerinde, tasarımcıların tasarım temsilleri ve çevreleri ile kurdukları bedensel deneyimin doğal ve estetik niteliklerinin irdelenmesi ve tasarımcıların uzama dair düşünce geliştirirken bedensel deneyimin rolüne ilişkin içgörü kazanılması amaçlanmıştır. Birinci bölüm üç temel alt başlıktan oluşmaktadır. Birinci alt başlıkta, tarihsel perspektif içerisinde mimarlıkta yapma biçimlerindeki değişim ve dönüşüm eşikleri ve bu eşiklerin “beden” ile kurduğu ilişki biçimleri tartışılmaktadır. Herhangi bir temsile ihtiyaç duymadan bedeni ve elleri aracılığıyla duvar ören ustadan, günümüzde bilgisayar destekli tasarım yapan mimara değin, mimarlık pratiği, kuramı ve söyleminde “beden” ve “bedensel deneyim”in geçtiği kırılma noktaları ele alınmıştır. Antik Dönem, Rönesans, Endüstri ve Sayısal Çağları olarak dört ana kırılma noktasına göz atılmakla birlikte, günümüzdeki sayısal düşüncenin dinamiklerini anlamak üzere 20. yy başlarında makinalaşma dönemine odaklanılmıştır. Birinci bölümün ikinci alt başlığında, Sartre, Merleau-Ponty ve bedenin ontolojik boyutlarını sorgulayan diğer düşünürlerin tartışmaları açılmaktadır. Birinci bölümün son alt başlığında ise, duyusal deneyimin epistemolojik perspektifleri irdelenmektedir. Sartre bedeni hem “kendi-için-varlık”, hem de “başkası-için-varlık” olarak iki ontolojik düzlemde ele almaktadır (Sartre, 2009).  Merleau-Ponty, Sartre’ın bu iki ontolojik düzlemini algı ve deneyim; Kant’ın “aşkın estetik” kavramını ise “bedensel deneyim” olarak yorumlamıştır (Rawes, 2008). Merleau-Ponty aynı zamanda, Husserl ve Heidegger’deki aşkınlık kavramının yerine bedeni koymak olmuştur. Merleau-Ponty’nin bilinci somutlaşan bir deneyim olarak (insan ve insan olmayan diğerleri arasındaki karşılaşmada dokunsal bir varolma biçiminde) beden üzerinden kuramsallaştırmasının devrimci bir adım olduğunu ifade edilmektedir (Young, 2005). Merleau-Ponty Descartes’in mekanik algı anlayışını, mekanik psikolojiyi ve klasik psikolojiyi indirgemeci oldukları iddiasıyla eleştirir. Deneyimin somutlaşan (embodied) boyutu ile dokunmak ve dokunulmanın aynı anda duyumsanmasının algıda bir muğlaklığa neden olduğunun altını çizer (Merleau-Ponty, 2012). Merleau-Ponty’ye (2012) göre, bedenimiz dünya içerisindeki tekil bir nesneden öte; yaşayan, nefes alan ve deneyimleyen bir varlıktır. Bu nedenle Merleau-Ponty, bedenle ilgili her kuramın “algılanan dünya” kuramını dikkate almak durumunda olduğunu öne sürer. İkinci bölümde ete kemiğe bürünme, somutlaşma, cisimleşme olarak Türkçe’ye çevirebileceğimiz “embodiment” kuramları tartışılmaktadır.  Mimarlık, bilişsel bilim ve insan-bilgisayar etkileşimi alanlarındaki, “deneyimin somutlaşmasına” ilişkin kuramlar irdelenirken, Johnson and Lakoff’un konu ile ilgili savları esas alınmıştır (Lakoff and Johnson, 1999; Lakoff and Johnson, 2008; Johnson, 1987; Johnson, 2008).  Kökenlerini özellikle bir kıta Avrupası felsefecisi olan Merleau-Ponty’nin düşüncelerinden devralan “somutlaşma” (embodiment) kuramı, felsefe, psikoloji, biliş, dil bilim, yapay zeka,  gibi pek çok farklı alandaki tartışmaları etkilemiştir. Nöroloji alanındaki gelişmelerden beslenerek giderek önem kazanmaktadır. Bu yaklaşım, beden ve zihni bütünsel bir şekilde ele almaktadır. Bu anlamda düşünme sürecinde bedenin önemli bir rolü olduğu varsayılır. Zihnin çalışmasını bilgi işlem kuramında açıklayan girdi – işlem – çıktı süreci biçiminde değildir. Fiziksel çevre ile kurulan ilişki önemlidir, ancak bu ilişki kişinin çevreye adaptasyonunu da gerektiren süreklilik içerisinde ve beden aracılığıyla yapılmaktadır. Deneyimin somutlaşması yaklaşımının, “beden”, “dış dünya” ve “beden ve dış dünya arasında süregiden etkileşim” biçiminde üç ana unsurundan söz edilebilir. Deneyimin somutlaşması yaklaşımı ile ilişkili olan diğer kavramlar beden-imaj, beden-şeması ve imaj-şemasıdır. Beden-imaj kavramına mimarlık alanında ilk olarak Bloomer ve Moore, 1977 tarihli “Body, Memory, Architecture” kitaplarında yer vermişlerdir. Bloomer ve Moore, beden-imaj teriminin daha geniş anlamda klasik “imgelem” kavramını, beden-algı ve beden-şeması gibi kavramları içerisinde barındırdığından söz ederler (Bloomer ve Moore, 1977). Bloomer ve Moore ise kullandıkları beden-imaj kavramını, kişinin uzamsal yönelimleri (intentions), değerleri, kişisel bilgisi ve deneyimleyen bedeni ile edinilen bütünsel bir duygu ya da üç boyutlu “Gestalt” duygusu olarak tanımlamaktadırlar ve “bilinçaltı seviyesinde farkında olmadan bedenlerimizi üç boyutlu bir sınıra yerleştiririz” demektedirler. Beden-imaj şemaları olarak “aşağı/yukarı”, “ileri/geri”, sağ/sol” ve “burada ve içeride” gibi şemaları sıralarlar (Bloomer ve Moore, 1977).  Lakoff ve Johnson’un imaj şemaları, tasarım ve modelleme sürecinde tasarımcıların tasarım temsilleri ile kurdukları iletişimin örtük boyutlarını anlamamız açısından önemli bir kavrayış sağlamaktadır. Beşinci bölümdeki uygulamaların çözümlenmesi sırasında kullanılmış olan “kutulama” şeması, “kaynak-iz-amaç” şeması, ikinci bölüm içerisinde açıklanmaktadır.    “Düşüncenin Sözel ve Görsel Olmayan Temelleri” başlıklı üçüncü bölümde, bilinçli düşüncenin örtük, uzamsal ve bilinçaltı temelleri ile ilgili olarak, gelişim psikolojisi, nöropsikoloji, antropoloji ve ampirik çalışma yapılan diğer alanlardaki literatür incelenmiştir. Bu kaynaklardan, el jestlerinin mimari tasarım ve modelleme süreçlerindeki rolüne ilişkin ipucu sağlayabilecek olanlara yer verilmiştir. İncelenen çalışmalarda “hareket” algısına ve “dokunma” duyusuna çok sayıda referans verildiği görülmektedir. Bu bağlamda bölüm üç alt başlık biçiminde kurgulanmıştır. Bunlardan ilki “çocukluk dönemindeki dokunma deneyimi”dir. Gerek dokunmanın gerekse hareketin, erken çocukluk döneminde dünyanın algılanmasında önemli bir yeri bulunmaktadır. Çocukluk döneminden itibaren bu deneyim, sinir sisteminde çeşitli izler ve örüntüler biçiminde imaj şemalarının temellerini oluşturmaktadır (Johnson, 2008). Tez kapsamında bu alt başlığın önemi, durum çalışmasına katılan kişilerin dijital ortam ile çocukluk dönemlerinde benzer bir iletişim biçimi kurmalarıdır. Çocukluk döneminden itibaren dijital ortam ile farklı iletişim ve etkileşim biçimi kurmuş olan gelecekteki katılımcılar için, tezde ulaşılan bulgu ve sonuçlar farklılık gösterebilir. Bir başka alt başlıkta el jestlerinin kinestetik nitelikleri tartışılmaktadır.. Kinestetik duyumsama hareket ile algılanan deneyimi içermektedir. Diğer yandan dokunma duyusu ile bütünlüklü çalışan, yer yer örtüşen bir yanı da vardır. Yakınlık-uzaklık ilişkisini anlamamıza örtük bir şekilde destek olmakta olan kinestetik duyumsama, özellikle erken çocukluk döneminde kaynak-iz-amaç imaj şemasının ilk şekillenme sürecinde önemli bir rol oynamaktadır (Mandler, 2012). Bu bölümün son alt başlığında “el”in kavramsal düşünme süreçleri üzerindeki etkisi incelenmiştir. Dördüncü bölümde genel olarak tasarımcı davranışının, özel olarak bedene ilişkin analizlerin, tasarımda protokol çalışmalarında nasıl ele alındığı konusuna odaklanılmaktadır. Psikoloji alanında protokol çalışmaları mimari tasarım alanından çok daha önce başlamıştır.  Günümüzde, protokol çalışmaları alanında pek çok farklı yöntem ve yaklaşım geliştirildiği görülmektedir. Tez kapsamında ise, mimari tasarım sürecinde “bedensel deneyim”in ele alındığı ve bunun yanısıra “uza[OB1] msal kodlamalar” içeren çalışmalara yer verilmiştir. Beşinci bölümde, tez kapsamında yapılan iki farklı durum çalışması sunulmaktadır. Durum çalışmalarından ilki, yüksek lisans düzeyinde iki mimarlık öğrencisinin katılımı ile gerçekleştirilen, kurgulanmış bir modelleme deneyidir. Bu  deney ortalama 30 dakika sürmekte olup, 4 adet fiziksel maketin bilgisayar ortamında modellenmesinden oluşmaktadır. Deney, birisi İstanbul Teknik Üniversitesi ve diğeri ETH Zürih’te olmak üzere toplamda 4 katılımcı ile 2 kez tekrarlanmıştır. İkinci durum çalışması ise İstanbul Teknik Üniversitesi, Mimarlık Fakültesi son sınıf öğrencilerinin 2013-2014 bahar yarıyıllarından bitirme jurilerindeki sunuşlarının ampirik olarak gözlenmesi biçimindedir. Öğrencilerin el jestlerini doğal bir şekilde kullanmaları amacıyla, gözlem öncesinde deneyin içeriği ile ilgili bilgilendirme yapılmamıştır.  Her iki durum çalışması da video ile kaydedilmiştir. İlk durum çalışmasındaki sözel içeriğin tamamının çözümlemesi yapılmıştır (Ek A.1 ve Ek B.1). İkinci durum çalışmasından ise, 2013-2014 bahar yarıyılında bitirme projesi almış ve dönem boyunca üç kez juri sunuşuna çıkmış olan öğrencilerden seçilen ikisinin sözel çözümlemesi yapılmıştır (Ek C). Analiz yöntemi olarak, Johnson ve Lakoff’un (2008) beden şemaları, McNeil’in (1992) jest kategorilerinden yararlanılmıştır. El jestlerinin McNeill’in (1992) kategorilerine göre dağılımı, el jestleri ile sözel içeriğin ilişkisi, el jestleri ile maketin anlatıldığı ortamın ilişkisi ve son olarak da Lakoff (1987) ve Johnson’ın (1987) imaj şemaları ile el jestlerinin ilişkisi irdelenmiştir. Tasarımcıların uzamsal, soyut kavramları ya da metaforik kavramları açıklarken kullandıkları el jestlerinin bütünleyici rolü irdelenmiştir. Deneyin çıktı ve bulguları yine aynı bölümde açıklanmıştır. Altıncı bölümde ise, gelecekteki sayısal tasarım ortamlarının değerlendirilmesi amacıyla görüş, tartışma ve öneriler aktarılmıştır.The transition from craft to mechanic production over the first half of the twentieth century led to an aesthetic crisis, in Herbert Marcuse’s words, the division of “thought and action”, “conception and execution”, “hand and mind”, in several disciplines, including the field of architecture (Marcuse, 1964/2002). Architectural discourse, theory and practice today have to additionally deal with a new crisis arising from the encounter with digital media. I aim to unfold the discussions on architects’ way of interacting with digital media through phenomenological approach which have common foundations in philosophy, human-computer interaction and cognitive science. This study can be considered as an attempt to seek qualitative clues for the theories of embodiment through empirical observations. Most of the theories and concepts, which are discussed in this dissertation, have been available since ancient times, however they are not among the mainstream theories. This dissertation is also an attempt to understand the nature and aesthetic dimensions of bodily experience acquired and expressed through hand gestures and to explore the role of this bodily experience in the way architects develop spatial ideas. In the Chapter 1.1, I explain crucial focal points and changes in the way of making in architecture and their relations with “body” from a historical perspective. Although, I mention four focal points of empirical, rational, mechanic and digital approaches, which bring important insights for today’s transformation, I particularly focus on the changes within the 20th century. In the Chapter 1.2, I unfold the discussions in the philosophy of Sartre, Merleau-Ponty and others who investigated ontological dimensions of body. Later in the Chapter 1.3, I examine the epistemological perspectives of sensory experience. In Chapter 2, the theories of embodiment in architecture, cognitive science and human-computer interaction are discussed. Johnson and Lakoff’s arguments on embodied experience is a backbone for investigating the related embodiment theories (Lakoff and Johnson, 1999; Lakoff and Johnson, 2008; Johnson, 1987; Johnson, 2008). In Chapter 3, whose title is “Nonverbal and Nonvisual Foundations of Thought”, I overviewed the findings in the fields of development psychology, neuropsychology, anthropology and other empirical studies in relation to the tacit, spatial and unconscious dimensions of conscious experience. Chapter 4 is focused on how bodily experience is examined in the protocol studies, which analyses the behaviour of the designers. Chapter 5 consists of two case studies within the scope of dissertation. The first case study is a structured digital modeling exercise and the second one is an empirical observation of the fourth-year architecture students’ jury presentation in the 2013-2014 spring semester. The case studies were recorded, and the verbal content transcribed. The body schemas of Johnson and Lakoff (2008) and the gesture categories of McNeill (1992) are used for analysing the data. Later the verbal transcripts and the gestural transcripts are analysed. I analyse the way in which gestural interaction and the vocabulary of verbal description is affected when the designers communicate increasingly complex and abstract spatial relations or metaphoric concepts. The outcomes and the findings of the case study is explained in this chapter. Chapter 6 is about the concluding remarks of the dissertation and the discussions on the future of digital design environments.DoktoraPh

An aesthetics of touch: investigating the language of design relating to form

How well can designers communicate qualities of touch? This paper presents evidence that they have some capability to do so, much of which appears to have been learned, but at present make limited use of such language. Interviews with graduate designer-makers suggest that they are aware of and value the importance of touch and materiality in their work, but lack a vocabulary to fully relate to their detailed explanations of other aspects such as their intent or selection of materials. We believe that more attention should be paid to the verbal dialogue that happens in the design process, particularly as other researchers show that even making-based learning also has a strong verbal element to it. However, verbal language alone does not appear to be adequate for a comprehensive language of touch. Graduate designers-makers’ descriptive practices combined non-verbal manipulation within verbal accounts. We thus argue that haptic vocabularies do not simply describe material qualities, but rather are situated competences that physically demonstrate the presence of haptic qualities. Such competencies are more important than groups of verbal vocabularies in isolation. Design support for developing and extending haptic competences must take this wide range of considerations into account to comprehensively improve designers’ capabilities

Gesture Recognition using Neural Networks

The advances in technology have brought in a lot of changes in the way humans go about their lives. This has enhanced the significance of Artificial Neural Networks and Computer Vision- based interactions with the world. Gesture Recognition is one of the major focus areas in Computer Vision. This involves Human Computer Interfaces (HCI) that would capture and understand human actions. In this project, we will explore how Neural Network concepts can be applied in this challenging field of Computer Vision. By leveraging the latest research for Gesture Recognition, we researched on how to capture the movement across different frames of the gestures in videos. We experimented on preprocessed 2D and 3D data by applying various Neural Network models such as Convolutional Neural Network (CNN) and Long Short-Term Memory (LSTM) using Time Series Classification Technique to recognize the Gesture

Virtual reality as an educational tool in interior architecture

Ankara : The Department of Interior Architecture and Environmental Design and the Institute of Fine Arts of Bilkent Univ., 1997.Thesis (Master's) -- Bilkent University, 1997.Includes bibliographical references.This thesis discusses the use of virtual reality technology as an educational tool in interior architectural design. As a result of this discussion, it is proposed that virtual reality can be of use in aiding three-dimensional design and visualization, and may speed up the design process. It may also be of help in getting the designers/students more involved in their design projects. Virtual reality can enhance the capacity of designers to design in three dimensions. The virtual reality environment used in designing should be capable of aiding both the design and the presentation process. The tradeoffs of the technology, newly emerging trends and future directions in virtual reality are discussed.Aktaş, OrkunM.S