Affordances and Safe Design of Assistance Wearable Virtual Environment of Gesture

Safety and reliability are the main issues for designing assistance wearable virtual environment of technical gesture in aerospace, or health application domains. That needs the integration in the same isomorphic engineering framework of human requirements, systems requirements and the rationale of their relation to the natural and artifactual environment.To explore coupling integration and design functional organization of support technical gesture systems, firstly ecological psychologyprovides usa heuristicconcept: the affordance. On the other hand mathematical theory of integrative physiology provides us scientific concepts: the stabilizing auto-association principle and functional interaction.After demonstrating the epistemological consistence of these concepts, we define an isomorphic framework to describe and model human systems integration dedicated to human in-the-loop system engineering.We present an experimental approach of safe design of assistance wearable virtual environment of gesture based in laboratory and parabolic flights. On the results, we discuss the relevance of our conceptual approach and the applications to future assistance of gesture wearable systems engineering

PULP-HD: Accelerating Brain-Inspired High-Dimensional Computing on a Parallel Ultra-Low Power Platform

Computing with high-dimensional (HD) vectors, also referred to as $\textit{hypervectors}$, is a brain-inspired alternative to computing with scalars. Key properties of HD computing include a well-defined set of arithmetic operations on hypervectors, generality, scalability, robustness, fast learning, and ubiquitous parallel operations. HD computing is about manipulating and comparing large patterns-binary hypervectors with 10,000 dimensions-making its efficient realization on minimalistic ultra-low-power platforms challenging. This paper describes HD computing's acceleration and its optimization of memory accesses and operations on a silicon prototype of the PULPv3 4-core platform (1.5mm$^2$, 2mW), surpassing the state-of-the-art classification accuracy (on average 92.4%) with simultaneous 3.7$\times$ end-to-end speed-up and 2$\times$ energy saving compared to its single-core execution. We further explore the scalability of our accelerator by increasing the number of inputs and classification window on a new generation of the PULP architecture featuring bit-manipulation instruction extensions and larger number of 8 cores. These together enable a near ideal speed-up of 18.4$\times$ compared to the single-core PULPv3

Bodily Experience And Spatial Thinking In Architectural Design Process

Tez (Doktora) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2014Thesis (PhD) -- İstanbul Technical University, Institute of Science and Technology, 201420. yy’ın ilk yarısında el ile üretimden makina ile üretime, zanaatten endüstrileşmeye geçiş, mimarlık da dahil olmak üzere pek çok disiplinde Herbert Marcuse’un ifadesiyle “düşünce ve eylemin”, “kavram ve yürütmenin”, “el ile zihnin” ayrışması krizine neden olmuştu (Marcuse, 2002). 20. yy’ın ikinci yarısından itibaren, temelleri kartezyen dünya tasavvuruna dayanan, bilginin deneyimden ayrı olarak (disembodied) idealist bir biçimde temsil geleneği ile bilgi ve iletişim teknolojilerinin bu ayrık gelenek üzerine inşaası ise, mimarlığın “sayısal”la karşılaşmasında yeni bir krize yol açmıştır. Günümüzde, mimarlık kuram, söylem ve uygulamalarında, tasarım düşüncesi ile tasarımcı bedeni ayrı iki özne olarak belirmektedir. Sayısal çağın krizinde parçalara ayrılan el ve zihnin ötesinde, duyusal algı bütünlüğü olmaktadır. Bir yandan görsel duyu kutsanırken, öte yandan dokunma duyusu ve bedenin uzam ile süreç içinde kurduğu iletişim biçimleri giderek silikleşmektedir. Tez kapsamında mimarların sayısal ortam ile kurdukları diyaloğa ilişkin tartışmaların; mimarlık, bilişsel çalışmalar ve insan-bilgisayar etkileşimi alanlarından yararlanarak açılması ve derinleştirilmesi amaçlanmıştır. Bedenin ortadan kaybolmasının krizini tek bir yöntem ya da yaklaşım ile açıklamak olanaksız olduğundan, olabildiğince deneyimleyen özne tarafında kalmaya ve bütüncül yaklaşılmaya çalışılmıştır. Bu çalışma, cisimleşme (embodiment) kuramına, ampirik gözlemler aracığıyla niteliksel destekler arama çabası gütmektedir. Aynı zamanda bu çalışma kapsamında, mevcut (geleneksel) tasarım süreçlerinde, tasarımcıların tasarım temsilleri ve çevreleri ile kurdukları bedensel deneyimin doğal ve estetik niteliklerinin irdelenmesi ve tasarımcıların uzama dair düşünce geliştirirken bedensel deneyimin rolüne ilişkin içgörü kazanılması amaçlanmıştır. Birinci bölüm üç temel alt başlıktan oluşmaktadır. Birinci alt başlıkta, tarihsel perspektif içerisinde mimarlıkta yapma biçimlerindeki değişim ve dönüşüm eşikleri ve bu eşiklerin “beden” ile kurduğu ilişki biçimleri tartışılmaktadır. Herhangi bir temsile ihtiyaç duymadan bedeni ve elleri aracılığıyla duvar ören ustadan, günümüzde bilgisayar destekli tasarım yapan mimara değin, mimarlık pratiği, kuramı ve söyleminde “beden” ve “bedensel deneyim”in geçtiği kırılma noktaları ele alınmıştır. Antik Dönem, Rönesans, Endüstri ve Sayısal Çağları olarak dört ana kırılma noktasına göz atılmakla birlikte, günümüzdeki sayısal düşüncenin dinamiklerini anlamak üzere 20. yy başlarında makinalaşma dönemine odaklanılmıştır. Birinci bölümün ikinci alt başlığında, Sartre, Merleau-Ponty ve bedenin ontolojik boyutlarını sorgulayan diğer düşünürlerin tartışmaları açılmaktadır. Birinci bölümün son alt başlığında ise, duyusal deneyimin epistemolojik perspektifleri irdelenmektedir. Sartre bedeni hem “kendi-için-varlık”, hem de “başkası-için-varlık” olarak iki ontolojik düzlemde ele almaktadır (Sartre, 2009).  Merleau-Ponty, Sartre’ın bu iki ontolojik düzlemini algı ve deneyim; Kant’ın “aşkın estetik” kavramını ise “bedensel deneyim” olarak yorumlamıştır (Rawes, 2008). Merleau-Ponty aynı zamanda, Husserl ve Heidegger’deki aşkınlık kavramının yerine bedeni koymak olmuştur. Merleau-Ponty’nin bilinci somutlaşan bir deneyim olarak (insan ve insan olmayan diğerleri arasındaki karşılaşmada dokunsal bir varolma biçiminde) beden üzerinden kuramsallaştırmasının devrimci bir adım olduğunu ifade edilmektedir (Young, 2005). Merleau-Ponty Descartes’in mekanik algı anlayışını, mekanik psikolojiyi ve klasik psikolojiyi indirgemeci oldukları iddiasıyla eleştirir. Deneyimin somutlaşan (embodied) boyutu ile dokunmak ve dokunulmanın aynı anda duyumsanmasının algıda bir muğlaklığa neden olduğunun altını çizer (Merleau-Ponty, 2012). Merleau-Ponty’ye (2012) göre, bedenimiz dünya içerisindeki tekil bir nesneden öte; yaşayan, nefes alan ve deneyimleyen bir varlıktır. Bu nedenle Merleau-Ponty, bedenle ilgili her kuramın “algılanan dünya” kuramını dikkate almak durumunda olduğunu öne sürer. İkinci bölümde ete kemiğe bürünme, somutlaşma, cisimleşme olarak Türkçe’ye çevirebileceğimiz “embodiment” kuramları tartışılmaktadır.  Mimarlık, bilişsel bilim ve insan-bilgisayar etkileşimi alanlarındaki, “deneyimin somutlaşmasına” ilişkin kuramlar irdelenirken, Johnson and Lakoff’un konu ile ilgili savları esas alınmıştır (Lakoff and Johnson, 1999; Lakoff and Johnson, 2008; Johnson, 1987; Johnson, 2008).  Kökenlerini özellikle bir kıta Avrupası felsefecisi olan Merleau-Ponty’nin düşüncelerinden devralan “somutlaşma” (embodiment) kuramı, felsefe, psikoloji, biliş, dil bilim, yapay zeka,  gibi pek çok farklı alandaki tartışmaları etkilemiştir. Nöroloji alanındaki gelişmelerden beslenerek giderek önem kazanmaktadır. Bu yaklaşım, beden ve zihni bütünsel bir şekilde ele almaktadır. Bu anlamda düşünme sürecinde bedenin önemli bir rolü olduğu varsayılır. Zihnin çalışmasını bilgi işlem kuramında açıklayan girdi – işlem – çıktı süreci biçiminde değildir. Fiziksel çevre ile kurulan ilişki önemlidir, ancak bu ilişki kişinin çevreye adaptasyonunu da gerektiren süreklilik içerisinde ve beden aracılığıyla yapılmaktadır. Deneyimin somutlaşması yaklaşımının, “beden”, “dış dünya” ve “beden ve dış dünya arasında süregiden etkileşim” biçiminde üç ana unsurundan söz edilebilir. Deneyimin somutlaşması yaklaşımı ile ilişkili olan diğer kavramlar beden-imaj, beden-şeması ve imaj-şemasıdır. Beden-imaj kavramına mimarlık alanında ilk olarak Bloomer ve Moore, 1977 tarihli “Body, Memory, Architecture” kitaplarında yer vermişlerdir. Bloomer ve Moore, beden-imaj teriminin daha geniş anlamda klasik “imgelem” kavramını, beden-algı ve beden-şeması gibi kavramları içerisinde barındırdığından söz ederler (Bloomer ve Moore, 1977). Bloomer ve Moore ise kullandıkları beden-imaj kavramını, kişinin uzamsal yönelimleri (intentions), değerleri, kişisel bilgisi ve deneyimleyen bedeni ile edinilen bütünsel bir duygu ya da üç boyutlu “Gestalt” duygusu olarak tanımlamaktadırlar ve “bilinçaltı seviyesinde farkında olmadan bedenlerimizi üç boyutlu bir sınıra yerleştiririz” demektedirler. Beden-imaj şemaları olarak “aşağı/yukarı”, “ileri/geri”, sağ/sol” ve “burada ve içeride” gibi şemaları sıralarlar (Bloomer ve Moore, 1977).  Lakoff ve Johnson’un imaj şemaları, tasarım ve modelleme sürecinde tasarımcıların tasarım temsilleri ile kurdukları iletişimin örtük boyutlarını anlamamız açısından önemli bir kavrayış sağlamaktadır. Beşinci bölümdeki uygulamaların çözümlenmesi sırasında kullanılmış olan “kutulama” şeması, “kaynak-iz-amaç” şeması, ikinci bölüm içerisinde açıklanmaktadır.    “Düşüncenin Sözel ve Görsel Olmayan Temelleri” başlıklı üçüncü bölümde, bilinçli düşüncenin örtük, uzamsal ve bilinçaltı temelleri ile ilgili olarak, gelişim psikolojisi, nöropsikoloji, antropoloji ve ampirik çalışma yapılan diğer alanlardaki literatür incelenmiştir. Bu kaynaklardan, el jestlerinin mimari tasarım ve modelleme süreçlerindeki rolüne ilişkin ipucu sağlayabilecek olanlara yer verilmiştir. İncelenen çalışmalarda “hareket” algısına ve “dokunma” duyusuna çok sayıda referans verildiği görülmektedir. Bu bağlamda bölüm üç alt başlık biçiminde kurgulanmıştır. Bunlardan ilki “çocukluk dönemindeki dokunma deneyimi”dir. Gerek dokunmanın gerekse hareketin, erken çocukluk döneminde dünyanın algılanmasında önemli bir yeri bulunmaktadır. Çocukluk döneminden itibaren bu deneyim, sinir sisteminde çeşitli izler ve örüntüler biçiminde imaj şemalarının temellerini oluşturmaktadır (Johnson, 2008). Tez kapsamında bu alt başlığın önemi, durum çalışmasına katılan kişilerin dijital ortam ile çocukluk dönemlerinde benzer bir iletişim biçimi kurmalarıdır. Çocukluk döneminden itibaren dijital ortam ile farklı iletişim ve etkileşim biçimi kurmuş olan gelecekteki katılımcılar için, tezde ulaşılan bulgu ve sonuçlar farklılık gösterebilir. Bir başka alt başlıkta el jestlerinin kinestetik nitelikleri tartışılmaktadır.. Kinestetik duyumsama hareket ile algılanan deneyimi içermektedir. Diğer yandan dokunma duyusu ile bütünlüklü çalışan, yer yer örtüşen bir yanı da vardır. Yakınlık-uzaklık ilişkisini anlamamıza örtük bir şekilde destek olmakta olan kinestetik duyumsama, özellikle erken çocukluk döneminde kaynak-iz-amaç imaj şemasının ilk şekillenme sürecinde önemli bir rol oynamaktadır (Mandler, 2012). Bu bölümün son alt başlığında “el”in kavramsal düşünme süreçleri üzerindeki etkisi incelenmiştir. Dördüncü bölümde genel olarak tasarımcı davranışının, özel olarak bedene ilişkin analizlerin, tasarımda protokol çalışmalarında nasıl ele alındığı konusuna odaklanılmaktadır. Psikoloji alanında protokol çalışmaları mimari tasarım alanından çok daha önce başlamıştır.  Günümüzde, protokol çalışmaları alanında pek çok farklı yöntem ve yaklaşım geliştirildiği görülmektedir. Tez kapsamında ise, mimari tasarım sürecinde “bedensel deneyim”in ele alındığı ve bunun yanısıra “uza[OB1] msal kodlamalar” içeren çalışmalara yer verilmiştir. Beşinci bölümde, tez kapsamında yapılan iki farklı durum çalışması sunulmaktadır. Durum çalışmalarından ilki, yüksek lisans düzeyinde iki mimarlık öğrencisinin katılımı ile gerçekleştirilen, kurgulanmış bir modelleme deneyidir. Bu  deney ortalama 30 dakika sürmekte olup, 4 adet fiziksel maketin bilgisayar ortamında modellenmesinden oluşmaktadır. Deney, birisi İstanbul Teknik Üniversitesi ve diğeri ETH Zürih’te olmak üzere toplamda 4 katılımcı ile 2 kez tekrarlanmıştır. İkinci durum çalışması ise İstanbul Teknik Üniversitesi, Mimarlık Fakültesi son sınıf öğrencilerinin 2013-2014 bahar yarıyıllarından bitirme jurilerindeki sunuşlarının ampirik olarak gözlenmesi biçimindedir. Öğrencilerin el jestlerini doğal bir şekilde kullanmaları amacıyla, gözlem öncesinde deneyin içeriği ile ilgili bilgilendirme yapılmamıştır.  Her iki durum çalışması da video ile kaydedilmiştir. İlk durum çalışmasındaki sözel içeriğin tamamının çözümlemesi yapılmıştır (Ek A.1 ve Ek B.1). İkinci durum çalışmasından ise, 2013-2014 bahar yarıyılında bitirme projesi almış ve dönem boyunca üç kez juri sunuşuna çıkmış olan öğrencilerden seçilen ikisinin sözel çözümlemesi yapılmıştır (Ek C). Analiz yöntemi olarak, Johnson ve Lakoff’un (2008) beden şemaları, McNeil’in (1992) jest kategorilerinden yararlanılmıştır. El jestlerinin McNeill’in (1992) kategorilerine göre dağılımı, el jestleri ile sözel içeriğin ilişkisi, el jestleri ile maketin anlatıldığı ortamın ilişkisi ve son olarak da Lakoff (1987) ve Johnson’ın (1987) imaj şemaları ile el jestlerinin ilişkisi irdelenmiştir. Tasarımcıların uzamsal, soyut kavramları ya da metaforik kavramları açıklarken kullandıkları el jestlerinin bütünleyici rolü irdelenmiştir. Deneyin çıktı ve bulguları yine aynı bölümde açıklanmıştır. Altıncı bölümde ise, gelecekteki sayısal tasarım ortamlarının değerlendirilmesi amacıyla görüş, tartışma ve öneriler aktarılmıştır.The transition from craft to mechanic production over the first half of the twentieth century led to an aesthetic crisis, in Herbert Marcuse’s words, the division of “thought and action”, “conception and execution”, “hand and mind”, in several disciplines, including the field of architecture (Marcuse, 1964/2002). Architectural discourse, theory and practice today have to additionally deal with a new crisis arising from the encounter with digital media. I aim to unfold the discussions on architects’ way of interacting with digital media through phenomenological approach which have common foundations in philosophy, human-computer interaction and cognitive science. This study can be considered as an attempt to seek qualitative clues for the theories of embodiment through empirical observations. Most of the theories and concepts, which are discussed in this dissertation, have been available since ancient times, however they are not among the mainstream theories. This dissertation is also an attempt to understand the nature and aesthetic dimensions of bodily experience acquired and expressed through hand gestures and to explore the role of this bodily experience in the way architects develop spatial ideas. In the Chapter 1.1, I explain crucial focal points and changes in the way of making in architecture and their relations with “body” from a historical perspective. Although, I mention four focal points of empirical, rational, mechanic and digital approaches, which bring important insights for today’s transformation, I particularly focus on the changes within the 20th century. In the Chapter 1.2, I unfold the discussions in the philosophy of Sartre, Merleau-Ponty and others who investigated ontological dimensions of body. Later in the Chapter 1.3, I examine the epistemological perspectives of sensory experience. In Chapter 2, the theories of embodiment in architecture, cognitive science and human-computer interaction are discussed. Johnson and Lakoff’s arguments on embodied experience is a backbone for investigating the related embodiment theories (Lakoff and Johnson, 1999; Lakoff and Johnson, 2008; Johnson, 1987; Johnson, 2008). In Chapter 3, whose title is “Nonverbal and Nonvisual Foundations of Thought”, I overviewed the findings in the fields of development psychology, neuropsychology, anthropology and other empirical studies in relation to the tacit, spatial and unconscious dimensions of conscious experience. Chapter 4 is focused on how bodily experience is examined in the protocol studies, which analyses the behaviour of the designers. Chapter 5 consists of two case studies within the scope of dissertation. The first case study is a structured digital modeling exercise and the second one is an empirical observation of the fourth-year architecture students’ jury presentation in the 2013-2014 spring semester. The case studies were recorded, and the verbal content transcribed. The body schemas of Johnson and Lakoff (2008) and the gesture categories of McNeill (1992) are used for analysing the data. Later the verbal transcripts and the gestural transcripts are analysed. I analyse the way in which gestural interaction and the vocabulary of verbal description is affected when the designers communicate increasingly complex and abstract spatial relations or metaphoric concepts. The outcomes and the findings of the case study is explained in this chapter. Chapter 6 is about the concluding remarks of the dissertation and the discussions on the future of digital design environments.DoktoraPh

Sketching sonic interactions by imitation-driven sound synthesis

Sketching is at the core of every design activity. In visual design, pencil and paper are the preferred tools to produce sketches for their simplicity and immediacy. Analogue tools for sonic sketching do not exist yet, although voice and gesture are embodied abilities commonly exploited to communicate sound concepts. The EU project SkAT-VG aims to support vocal sketching with computeraided technologies that can be easily accessed, understood and controlled through vocal and gestural imitations. This imitation-driven sound synthesis approach is meant to overcome the ephemerality and timbral limitations of human voice and gesture, allowing to produce more refined sonic sketches and to think about sound in a more designerly way. This paper presents two main outcomes of the project: The Sound Design Toolkit, a palette of basic sound synthesis models grounded on ecological perception and physical description of sound-producing phenomena, and SkAT-Studio, a visual framework based on sound design workflows organized in stages of input, analysis, mapping, synthesis, and output. The integration of these two software packages provides an environment in which sound designers can go from concepts, through exploration and mocking-up, to prototyping in sonic interaction design, taking advantage of all the possibilities of- fered by vocal and gestural imitations in every step of the process

In what sense can instruments and bodies be said to form spaces?

My recent work is an exploration of the physical and conceptual mechanisms that interface people with instruments. Central to this investigation is a conception of the performer/instrument assemblage as a symbiosis of two parallel and interdependent systems: one – the performer – moves through space established by the other – the instrument. Each system possesses its own intrinsic properties and characteristics; each possesses capacities to affect and be affected by one another. The music emanates from this contiguous interaction. Instrument surface is understood as a compositional resource itself, a topological façade, defined by ordinal distances, that guides gestures along its contours. Within these fluctuating constellations of spatial coordinates, I consider all the relevant ways a body can move, and establish some general combinatory rules that inform the convergence of forces within the body. The traditional subjects of compositional contemplation such as form, duration, dynamic, etc. are not attributing features to the work per se but emerge as results from spatiotemporal relations of (bodily) movement’s correspondence with (instrumental) surface and mechanism. This liberation of movement is understood as a liberation of timbre, and the inherent indeterminacy of this relationship is embraced. As such, I would hypothesize that sound is, to an extent, freed from the subtractive tendencies of perception that might otherwise subvert it into generalized typological categories. Once liberated from the imagination, sound can bypass the brain and directly engage the nervous system