Multiprotocol control of networked home entertainment devices

Networks will soon connect a wide range of computing devices within the home. Amongst those devices will be home entertainment devices. Remote control over the network will be a key application for networked entertainment devices, and requires a protocol for communication understood by both controller and controlled device. Devices capable of communication using multiple control protocols will be compatible with a wider range of controllers than those which implement only one control protocol. This work examines home networks and a number of control protocols. The implementations of the UPnP and AV/C protocols for an AV receiver are described. The issues involved in the concurrent use of multiple control protocols to control a device are considered, possible methods of concurrent control discussed, and a solution which simulates virtual copies of the device is implemented and tested

An investigation into the application of the IEEE 1394 high performance serial bus to sound installation contro

This thesis investigates the feasibility of using existing IP-based control and monitoring protocols within professional audio installations utilising IEEE 1394 technology. Current control and monitoring technologies are examined, and the characteristics common to all are extracted and compiled into an object model. This model forms the foundation for a set of evaluation criteria against which current and future control and monitoring protocols may be measured. Protocols considered include AV/C, MIDI, QSC-24, and those utilised within the UPnP architecture. As QSC-24 and the UPnP architecture are IP-based, the facilities required to transport IP datagrams over the IEEE 1394 bus are investigated and implemented. Example QSC-24 and UPnP architecture implementations are described, which permit the control and monitoring of audio devices over the IEEE 1394 network using these IP-based technologies. The way forward for the control and monitoring of professional audio devices within installations is considered, and recommendations are provided.KMBT_363Adobe Acrobat 9.54 Paper Capture Plug-i

Developing a Solution for Multimedia Home Networking

In recent years, the rapid development of electronics and computer science has enabled home networking devices to become more affordable and more powerful. Several widely used multimedia-streaming solutions have become available in the market. However, as a result of their different technical designs, these standards naturally experience serious compatibility issues. Thus, end users can have several multimedia devices, with each one using a distinctive, unique protocol, making it challenging or even impossible sometimes to share media between those devices. These compatibility issues have motivated the need to determine the technological features common to the existing multimedia-streaming standards and to develop a more easy-to-use multimedia home networking solution. This thesis compares the modern solutions for multimedia home networking (MHN), including AirPlay, Miracast, Chromecast, and especially the Digital Living Network Alliance (DLNA) standard due to its wide adoption. By conducting research on the features and capabilities of these existing solutions, a suitable mobile solution for MHN, which takes advantage of AirPlay, Discovery and Launch (DIAL), and DLNA, is proposed for the Android platform. The corresponding system architectures, features, and analysis methodologies are also analyzed to demonstrate the competitiveness of this application. In terms of practical contribution, an online channel proxy was integrated to the application to fulfill the target of streaming online channels, such as YouTube. By implementing this online channel proxy, home networking and Internet resources can be effectively connected. Since its first release on the Google Play Store, the application received over one million downloads from 225 countries. According to the statistics, this solution has proved to be competitive and successful. In addition, this thesis discusses possible further development of this solution, and the future trends of multimedia home networking

Bridging OPC UA and DPWS for Industrial SOA

Two web-service based specifications, OPC Unified Architecture (OPC UA) and Devices Profile for Web Services (DPWS), have been proposed by various researchers and organizations as possible enabling technologies for an event-driven Service Oriented Architecture for monitoring and control in manufacturing applications. This paper aims to propose and demonstrate an approach for bridging these two technologies in a way that is applicable in existing industrial applications. A merger between OPC UA and DPWS that effectively combines their complementary strengths could help pave the path toward future industrial event-driven SOA applications, with the inherent modularity, agility, and interoperability envisioned by researchers today. A representation of DPWS devices, services, operations and events in the OPC UA data model is proposed, and a DPWS Module is developed for Ignition, a commercially available HMI/SCADA and MES platform with integrated OPC UA Server. The module discovers DPWS devices in a local network, creates the representation in the address space, and handles subscriptions, input and output parameter values, and invoking operations. A Complex Event Processing component based on Microsoft’s StreamInsight is also integrated with the system, input and output adapters exposing web service interfaces. The system prototype developed will be used as the base for a use case demonstrator in the European Commission’s Framework Package 7 Project, “Architecture for Service-Oriented Process Monitoring and Control (IMC AESOP).” The project aims to develop a system of systems approach for monitoring and control, based on SOA for very large-scale systems in the process industries

Efficient service discovery in wide area networks

Living in an increasingly networked world, with an abundant number of services available to consumers, the consumer electronics market is enjoying a boom. The average consumer in the developed world may own several networked devices such as games consoles, mobile phones, PDAs, laptops and desktops, wireless picture frames and printers to name but a few. With this growing number of networked devices comes a growing demand for services, defined here as functions requested by a client and provided by a networked node. For example, a client may wish to download and share music or pictures, find and use printer services, or lookup information (e.g. train times, cinema bookings). It is notable that a significant proportion of networked devices are now mobile. Mobile devices introduce a new dynamic to the service discovery problem, such as lower battery and processing power and more expensive bandwidth. Device owners expect to access services not only in their immediate proximity, but further afield (e.g. in their homes and offices). Solving these problems is the focus of this research. This Thesis offers two alternative approaches to service discovery in Wide Area Networks (WANs). Firstly, a unique combination of the Session Initiation Protocol (SIP) and the OSGi middleware technology is presented to provide both mobility and service discovery capability in WANs. Through experimentation, this technique is shown to be successful where the number of operating domains is small, but it does not scale well. To address the issue of scalability, this Thesis proposes the use of Peer-to-Peer (P2P) service overlays as a medium for service discovery in WANs. To confirm that P2P overlays can in fact support service discovery, a technique to utilise the Distributed Hash Table (DHT) functionality of distributed systems is used to store and retrieve service advertisements. Through simulation, this is shown to be both a scalable and a flexible service discovery technique. However, the problems associated with P2P networks with respect to efficiency are well documented. In a novel approach to reduce messaging costs in P2P networks, multi-destination multicast is used. Two well known P2P overlays are extended using the Explicit Multi-Unicast (XCAST) protocol. The resulting analysis of this extension provides a strong argument for multiple P2P maintenance algorithms co-existing in a single P2P overlay to provide adaptable performance. A novel multi-tier P2P overlay system is presented, which is tailored for service rich mobile devices and which provides an efficient platform for service discovery

An Online Environmental Approach to Service Interaction Management in Home Automation

Home automation is maturing with the increased deployment of networks and intelligent devices in the home. Along with new protocols and devices, new software services will emerge and work together releasing the full potential of networked consumer devices. Services may include home security, climate control or entertainment. With such extensive interworking the phenomenon known as service interaction, or feature interaction, appears. The problem occurs when services interfere with one another causing unexpected or undesirable outcomes. The main goal of this work is to detect undesired interactions between devices and services while allowing positive interactions between services and devices. If the interaction is negative, the approach should be able to handle it in an appropriate way. Being able to carry out interaction detection in the home poses certain challenges. Firstly, the devices and services are provided by a number of vendors and will be using a variety of protocols. Secondly, the configuration will not be fixed, the network will change as devices join and leave. Services may also change and adapt to user needs and to devices available at runtime. The developed approach is able to work with such challenges. Since the goal of the automated home is to make life simpler for the occupant, the approach should require minimal user intervention. With the above goals, an approach was developed which tackles the problem. Whereas previous approaches solving service interaction have focused on the service, the technique presented here concentrates on the devices and their surrounds, as some interactions occur through conflicting effects on the environment. The approach introduces the concept of environmental variables. A variable may be room temperature, movement or perhaps light. Drawing inspiration from the Operating Systems domain, locks are used to control access to the devices and environmental variables. Using this technique, undesirable interactions are avoided. The inclusion of the environment is a key element of this approach as many interactions can happen indirectly, through the environment. Since the configuration of a home’s devices and services is continually changing, developing an off-line solution is not practical. Therefore, an on-line approach in the form of an interaction manager has been developed. It is the manager’s role to detect interactions. The approach was shown to work successfuly. The manager was able to successfully detect interactions and prevent negative interactions from occurring. Interactions were detected at both device and service level. The approach is flexible: it is protocol independent, services are unaware of the manager, and the manager can cope with new devices and services joining the network. Further, there is little user intervention required for the approach to operate

On the orchestration of operations in flexible manufacturing

Tese de doutoramento em Engenharia Mecânica (Controlo e Gestão) apresentada à Faculdade de Ciências e Tecnologia da Universidade de CoimbraDomínio A capacidade de produzir bem é a chave da riqueza. Uma boa produção concretiza-se pela transformação competitiva de matérias-primas em produtos de qualidade para o mercado global. Tal transformação inclui uma série de operações coordenadas de modo a obter a produtividade que permite o aumento da competitividade. Embora algumas operações possam requerer pessoal especializado, a tendência é para uma crescente automatização. A coordenação das operações automatizadas é também automatizada (através de uma variedade de transportadores, comunicação digital, etc.). Contudo, e embora a produção seja automatizada, a configuração do equipamento é feita manualmente. Situação A necessidade de automatização foi inicialmente sentida e aplicada na produção de longas séries, como no caso da indústria automóvel. Com a necessidade de redução de custos e aumento de flexibilidade, a inclusão de máquinas/equipamentos controlados por computador, assim como de interligações por computadores/redes tem sido extensiva. O aumento de software nestes sistemas, as restrições físicas e as (indesejáveis) interconecções lógicas conduzem a um aumento da complexidade, que em empresas de produção em grande escala é obviado por especialistas. O aumento na procura de produtos personalizados e a rapidez para a sua comercialização determinam a necessidade de uma produção flexível. Contudo, a referida indesejável complexidade constitui um grande obstáculo para o recurso a soluções (semi)-automatizadas, e postos de trabalho (de alta qualidade) são deslocados para países de mão-de-obra mais barata. O caso mais difícil prende-se com a utilização de robôs (que é o tipo de máquina mais flexível) nas empresas mais flexíveis, como sejam as Pequenas e Médias Empresas (PMEs). Deste modo, as condições para a utilização de robôs (juntamente com outro tipo de equipamento) em PMEs (incluindo operações manuais e configuração) representam o maior desafio, uma vez que os sistemas técnicos têm de ser estruturados de forma a suportarem a desejada flexibilidade. À semelhança da incapacidade de uma boa gestão em compensar a falta de competência em actividades como a do comércio ou da investigação cientifica, as etapas de produção têm de ser apropriadamente construídas e mantidas. Estas últimas representam aquilo em que o produtor se deve concentrar e especializar. Assim, sejam quais forem os avanços que facilitem a produção, as práticas de produção competitiva deverão ser mantidas. Especificamente, processos de trabalho com conhecimentos valiosos não devem ser prejudicados por detalhes técnicos irrelevantes. Novas tecnologias que possam aumentar a competitividade e/ou melhorar as condições de trabalho são obviamente desejáveis. Contudo, estas deverão ser combinadas com princípios de utilização simples para os quais os sistemas de produção são construídos. Tópico A complexidade surge tanto na operação como na coordenação, mas também na sua configuração manual. Esta é parcialmente compreensível e gerenciável, uma vez que uma determinada máquina ou processo de fabrico pode ser bastante avançado e complexo. Assim, a complexidade será local. Contudo, e em particular com software envolvido, dependências adhoc acidentais entre operações e coordenação tornam a situação actual mais difícil. Adicionalmente, a configuração de cada máquina e subsistema envolve uma variedade de interfaces de utilizador e ferramentas de configuração/programação. Uma vez mais, as grandes empresas podem contar com engenheiros altamente qualificados para lidar com estes problemas, enquanto que nas PMEs a situação fica facilmente ingovernável. Consideramos que podemos referir o problema como uma questão de orquestração. Orquestração é então definida como o arranjo, coordenação e gestão (semi-) automatizada de complexos sistemas de produção, incluindo as suas interacções em termos de comunicação e os seus serviços em termos de controlo por computador. O tópico pode então ser formulado como a procura de princípios óptimos, ou pelo menos exequíveis, para a orquestração de processos produtivos de pequena escala. Na realidade, existem aspectos fundamentais envolvidos que não representam apenas uma questão de engenharia a ser solucionada. Ao contrário, a situação requer uma abordagem científica com especial atenção para a recente tecnologia de suporte proveniente de outras áreas. Abordagem cientifica - A procura de princípios apropriados a PMEs para a orquestração de processos de produção não se presta a uma análise teórica, que por sua vez requer a utilização de modelos formais e derivação das soluções (sub-)óptimas e suas propriedades. Embora tivesse sido preferível obter provas formais de uma solução óptima, a complexidade do equipamento, o envolvimento de humanos, a considerável desorganização das PMEs, a necessidade de aderir às práticas industriais, assim como a variedade de PMEs existentes, dificultam uma abordagem teórica. Deste modo, foi seguida uma abordagem empírica. A dificultar o teste e a avaliação de uma abordagem empírica estão as possíveis variações no software envolvido, juntamente com a constante mudança que ocorre na produção em sistemas de produção flexíveis. Adicionalmente, a experimentação não pode ser conduzida em ambientes industriais (onde esta iria perturbar a produção). Assim sendo, as experiências deverão ser cuidadosamente seleccionadas e conduzidas em laboratório com recurso a equipamento industrial. Ainda assim, dadas as condições e singularidade de algum equipamento, não é fácil reproduzir os resultados noutros locais, o que constitui um problema para a validação e aceitação dos mesmos. Contudo, caso a solução sugerida em termos de princípios técnicos possa ser encontrada ou confirmada por resultados publicados de investigação independente, ou se técnicas relacionadas derem origem a novos produtos, tal pode desejavelmente contribuir para a validação de resultados. Isto é, embora resultados semelhantes para outros laboratórios sejam válidos, as diferenças actuais vão revelar a existência de variações que merecem estudo detalhado. Abordagem técnica - Os sistemas de produção flexíveis consistem em equipamento distribuído do ponto de vista computacional. Tipicamente, os diferentes aparelhos não foram concebidos para operarem em conjunto, mas devem, no entanto, ser de fácil configuração no local de trabalho. Uma abordagem básica passaria pela utilização de plataformas de software que suportassem componentes distribuídos de uma forma flexível. Contudo, as plataformas computacionais existentes podem não satisfazer com eficiência a necessidade do equipamento integrado, podendo revelar falta de robustez, nomeadamente nas interconecções. Deste modo, é necessário combinar com algum cuidado a tecnologia existente e confrontar as soluções sugeridas com as necessidades actuais das empresas. A abordagem seguida encontra-se dividida em quatro partes: 1. Suportar o acoplamento fraco entre componentes de forma a obter simples composição quando o equipamento é instalado ou substituído. As interacções necessitam ser assíncronas e baseadas em eventos através de interfaces bem definidas e auto-explicativas, contendo serviços definidos em termos de operações de produção (e não em termos de software interno). 2. Produzir princípios unificados para interacção com utilizador e interfaces, permitindo que utilizadores não especializados possam (re)configurar e (re)programar o sistema de produção. Uma interacção com o utilizador que permita combinar operações básicas que resultem num novo serviço, o qual deverá idealmente estar facilmente acessível através de interfaces programadas e manuais. 3. As abordagens baseadas em modelos têm-se revelado eficazes para desempenho e reutilização. No entanto, os modelos consistem em elevado nível de conhecimento e são dispendiosos de obter no âmbito da flexibilidade e desorganização das PMEs. Uma melhor abordagem é permitir a visibilidade do conhecimento envolvido numa determinada etapa em termos do processo de produção, de modo a que o operador transmita inteligência através de uma interface simples. 4. O software é por defeito não descritivo, assim como a execução sequencial de código imperativo não se compõe. Conhecimento no metanível e descrições declarativas deverão ser utilizadas, se possível, sem comprometimento dos itens anteriores. O objectivo é gerar software ao nível de aplicação, partindo de descrições de alto nível. A avaliação experimental deverá verificar técnicas individuais como tal, e os resultados deverão ser comparados com investigação relacionada. A abordagem global consiste em combinar os resultados das diferentes partes em princípios aplicáveis a futuros processos de produção das PMEs. Resultados O uso de arquitecturas orientadas a serviços (SOA) nas redes empresariais resolveu as limitações das arquitecturas orientadas a componentes no que diz respeito ao acoplamento através da standarização das interfaces, protocolos de comunicação, gestão de transacções, e segurança, entre outros. SOA ao nível do dispositivo é o resultado da importação de princípios SOA para os sistemas embebidos com algumas importantes diferenças, nomeadamente: inclusão de padrões de mensagens publish/subscribe, descoberta e descrição directa entre dispositivos, e modelos descritivos genéricos. Numa primeira fase, este trabalho validou os inúmeros trabalhos realizados sobre a aplicação de SOA ao nível do dispositivo em ambiente industrial com o teste num protótipo de célula de trabalho. De seguida foi levado a cabo um trabalho de avaliação comparativa entre duas SOA ao nível do dispositivo com estilos de arquitectura diferentes, servindo como base aos restantes desenvolvimentos da tese. Ainda que os resultados desta avaliação tenham mostrado o grande avanço proporcionado pelo uso de SOA, nomeadamente no que diz respeito ao desacoplamento entre componentes atingido, alguns aspectos críticos para o seu uso efectivo ainda estavam por resolver, designadamente: 1. A geração e a especificação dos serviços ao nível da tarefa 2 A definição de uma linguagem de orquestração adequada às SOA ao nível do dispositivo. Uma abordagem baseada em tarefas, quando relacionadas com processos de manufactura, consubstancia-se na capacidade de disponibilizar um mecanismo flexível (e amigável para o utilizador de uma PME) para a especificação das interfaces de rede. Os programas de robô são um elemento chave na flexibilidade do robô e este trabalho mostrou que o seu uso para a definição de interfaces vai elevar a fasquia da flexibilidade para o nível das interligações. A natureza procedimental de muitas linguagens de robô encaixa-se perfeitamente com o padrão de mensagens definido nas plataformas SOA, com uma mistura de variáveis de estado definidas a partir de variáveis do robô, e com acções definidas a partir de métodos da linguagem robô. A definição de uma linguagem de orquestração preencheu uma lacuna nos padrões de orquestração: sistemas conduzidos a eventos. Estes sistemas definem estados e transições de uma forma clara, potenciando a capacidade do utilizador de acompanhar o estado do sistema. Statecharts constituem um par adequado para a arquitectura SOA, uma vez que as transições de estado são baseadas em eventos, que no nosso caso são eventos na rede, mas os estados (e também as transições) incluem igualmente acções, que podem ser mapeadas para operações. A avaliação empírica efectuada mostrou uma previsível boa curva de aprendizagem para estes sistemas, em parte devido às vantagens associadas à sua semelhança a técnicas de automação tradicionais, como os Sequential Function Charts. Os resultados desta avaliação são positivos e justificam esforços suplementares para efectuar testes em aplicações reais, o que neste caso implica utilizadores de PME reais. Conclusões Três conclusões devem ser retiradas desta tese: A estratégia proposta para a especificação de serviços é um elemento chave no futuro do uso de SOA ao nível dos dispositivos, devido à importância da definição das interfaces no sucesso destas arquitecturas. A programação ao nível da tarefa é desta forma transferida da programação dos robôs para o nível da rede. Uma linguagem conduzida a eventos foi definida para a orquestração. Testes revelaram o seu uso e compatibilidade com as necessidades das células de fabrico das pequenas e médias empresas, nomeadamente estados explícitos e transições baseadas em eventos. Esta abordagem preenche uma lacuna nos padrões de orquestração existentes na indústria e constitui uma excelente base de trabalho para o futuro. Finalmente, foram abordadas técnicas baseadas em conhecimento, e avaliada a sua integração com a arquitectura definida anteriormente. Estes estudos mostraram a importância das estratégias descritivas e as inúmeras possibilidades abertas quando a semântica é adicionada aos sistemas industriais baseados em software, especialmente quando suportados em bem estabelecidas tecnologias de rede, como as descritas anteriormente.Our ability to manufacture well is the key to our wealth. Obtaining a wider range of different (and better) products in a sustainable way in terms of labour and environment is the big challenge faced by modern manufacturing. In the last few decades, automation has played a key role in the enhanced productivity of mass-production industries, but there has been a paradigm shift: global consumers ask for customization, leading manufacturers to target mass customization and consequently requiring new levels of flexibility for automation. An industrial robot is usually considered to be a flexible machine, which is only true within the large plant scenario. Small enterprises, which are by nature the most flexible ones, do not make use of robot systems as they could, because robot flexibility, which relies on reprogramming and reconfiguring, cannot be taken on by the SME (Small Medium Enterprises) worker at the workshop, and hiring specialists is unacceptable in terms of costs. The easy reconfiguration of a robotic work-cell, which is a distributed environment with computation in different platforms that are coordinated by software, is hindered greatly by the dependencies between cell components. This thesis addresses the problem of dependencies by proposing principles and mechanisms for the orchestration of complex manufacturing systems, i.e., the (semi-) automated coordination of their interactions in terms of communications and computer control. The industrial environment, especially regarding robotics, does not lend itself to theoretical analysis due to the amount of work needed to reach formal models. This is exacerbated in the unstructured SME environment and when working with user-in-the-loop systems. Therefore, the approach used in this thesis was mainly empirical, with validation through laboratory prototypes used by some representative users. The approach consisted of the following parts: 1. supporting loose coupling between components to promote simple composition of services to enable an easier reconfiguration; 2. defining unifying principles in terms of user interaction, by taking into account current robot technologies and improvements from other scientific areas, namely enterprise level networking; 3. enabling a task-based view of knowledge in terms of the manufacturing processes to promote the reconfiguration of the system by process rather than robotics specialists; 4. proposing declarative techniques that support easy configuration of the work-cell in terms understandable by the SME user. The use of service-oriented architectures (SOAs) in the business world has tackled the limitations of component-oriented architectures in terms of coupling through the standardization of interfaces, communication protocols, transaction management, and security, among others. Device-level SOA are the result of the porting of SOA principles to the embedded level with the addition of several important features, namely: publish/subscribe messaging patterns, peer-to-peer discovery description and generic templates. At an initial stage, this work has validated the current trend of using device-level SOA in industrial environments by testing their use against a prototype work-cell. Following this, a comparison was made between device-level SOA platforms that embodied two different architectural styles. This served as a basis for the rest of the thesis. Although the results from this evaluation have shown the great advances brought about by the use of device-level SOA, for instance in terms of decoupling, some critical issues for their effective use remained unchallenged, namely: 1. The generation and the specification of task-level services (contracts), with transparent and easy-to-use techniques for the SME user. 2. The definition of orchestration techniques adapted to the device-level SOA, with adequate expressiveness and simplicity for the SME user. A task-based view of knowledge in terms of manufacturing processes relies on the ability to provide a flexible (SME user-friendly) mechanism for the specification of network interfaces. Robot programs are the key element for robot flexibility. This work has shown that their use in interface definition will feature flexibility also at the interconnection level. The procedural nature of many robot programming languages copes perfectly with the device-level SOA messaging style, with a mixture of evented state variables defined by robot variables, and with actions defined by robot methods. The definition of an orchestration language has addressed a missing pattern in service orchestration: event-driven systems. These systems define states and transitions in a clear way, thus enhancing the user’s ability to predict the state of the system. Statecharts provide a perfect match for the device-level SOA since the state-transitions are event-based, but the states (and the transitions) embody actions, which can be mapped to operations. The empiric evaluation made with several types of users has shown the predictable steep learning curve of these systems, partly due to their resemblance to traditional automation techniques like SFCs. The results are therefore positive and justify the effort of testing the system against real applications, which in this case means with real SME users. Descriptive techniques for software are one of the keys to establish the bridge between humans and computer programs. Despite recent evolutions, these techniques are not yet ready for use, and supportive technologies and methodologies need to be tested. In this work, a cell specification language has been defined and software developed that configures a programming-by-demonstration robotic work-cell. In conclusion, there are three main outcomes from this thesis. The proposed strategy for the specification of services is a key enabler in the future use of device-level SOA in industrial robotics, due to the importance of interface definition in the success of these architectures. Task-level programming is in this way extended from the robot programming level to networked devices. An event-driven language has been defined for the orchestration. Tests revealed its ease of use and compatibility with the orchestration needs of SME work-cells, namely: explicit states and event-based transitions. This approach fulfils a missing orchestration pattern in the industry, and provides an excellent basis for future work. A descriptive robotic cell specification has been introduced that supports the automatic workcell (re)configuration. This work has shown the importance of descriptive knowledge in automation, especially when supported by the networking integration techniques described previously.Project SMERobot, Integrated project funded under the European Union’s Sixth Framework Programme (FP6