A Visual Sensor for Domestic Service Robots

In this study, we present a visual sensor for domestic service robots, which can capture both color information and three-dimensional information in real time, by calibrating a time of flight camera and two CCD cameras. The problem of occlusions is solved by the proposed occlusion detection algorithm. Since the proposed sensor uses two CCD cameras, missing color information of occluded pixels is compensated by one another. We conduct several evaluations to validate the proposed sensor, including investigation on object recognition task under occluded scenes using the visual sensor. The results revealed the effectiveness of proposed visual sensor

Probabilistic three-dimensional object tracking based on adaptive depth segmentation

Object tracking is one of the fundamental topics of computer vision with diverse applications. The arising challenges in tracking, i.e., cluttered scenes, occlusion, complex motion, and illumination variations have motivated utilization of depth information from 3D sensors. However, current 3D trackers are not applicable to unconstrained environments without a priori knowledge. As an important object detection module in tracking, segmentation subdivides an image into its constituent regions. Nevertheless, the existing range segmentation methods in literature are difficult to implement in real-time due to their slow performance. In this thesis, a 3D object tracking method based on adaptive depth segmentation and particle filtering is presented. In this approach, the segmentation method as the bottom-up process is combined with the particle filter as the top-down process to achieve efficient tracking results under challenging circumstances. The experimental results demonstrate the efficiency, as well as robustness of the tracking algorithm utilizing real-world range information

Precise Depth Image Based Real-Time 3D Difference Detection

3D difference detection is the task to verify whether the 3D geometry of a real object exactly corresponds to a 3D model of this object. This thesis introduces real-time 3D difference detection with a hand-held depth camera. In contrast to previous works, with the proposed approach, geometric differences can be detected in real time and from arbitrary viewpoints. Therefore, the scan position of the 3D difference detection be changed on the fly, during the 3D scan. Thus, the user can move the scan position closer to the object to inspect details or to bypass occlusions. The main research questions addressed by this thesis are: Q1: How can 3D differences be detected in real time and from arbitrary viewpoints using a single depth camera? Q2: Extending the first question, how can 3D differences be detected with a high precision? Q3: Which accuracy can be achieved with concrete setups of the proposed concept for real time, depth image based 3D difference detection? This thesis answers Q1 by introducing a real-time approach for depth image based 3D difference detection. The real-time difference detection is based on an algorithm which maps the 3D measurements of a depth camera onto an arbitrary 3D model in real time by fusing computer vision (depth imaging and pose estimation) with a computer graphics based analysis-by-synthesis approach. Then, this thesis answers Q2 by providing solutions for enhancing the 3D difference detection accuracy, both by precise pose estimation and by reducing depth measurement noise. A precise variant of the 3D difference detection concept is proposed, which combines two main aspects. First, the precision of the depth camera’s pose estimation is improved by coupling the depth camera with a very precise coordinate measuring machine. Second, measurement noise of the captured depth images is reduced and missing depth information is filled in by extending the 3D difference detection with 3D reconstruction. The accuracy of the proposed 3D difference detection is quantified by a quantitative evaluation. This provides an anwer to Q3. The accuracy is evaluated both for the basic setup and for the variants that focus on a high precision. The quantitative evaluation using real-world data covers both the accuracy which can be achieved with a time-of-flight camera (SwissRanger 4000) and with a structured light depth camera (Kinect). With the basic setup and the structured light depth camera, differences of 8 to 24 millimeters can be detected from one meter measurement distance. With the enhancements proposed for precise 3D difference detection, differences of 4 to 12 millimeters can be detected from one meter measurement distance using the same depth camera. By solving the challenges described by the three research question, this thesis provides a solution for precise real-time 3D difference detection based on depth images. With the approach proposed in this thesis, dense 3D differences can be detected in real time and from arbitrary viewpoints using a single depth camera. Furthermore, by coupling the depth camera with a coordinate measuring machine and by integrating 3D reconstruction in the 3D difference detection, 3D differences can be detected in real time and with a high precision

マルチモーダル潜在的ディリクレ配分法の多層化による知識の確率的表現

近年，ロボットと人の共存を目指すための研究が盛んに行われている．現状のロボット技術において，様々なロボットが開発されているが，限られた環境で特定のタスクを実行するものが殆どであり，タスクに必要な行動や入力パターンに対する応答などを人が全て事前に与えなければならない．ロボットが人と自然に暮らすためには，人の言葉を理解する必要があり，その言葉の背後にある潜在的な意味を解釈して行動しなければならない．また，コミュニケーションのために，ロボット自身の意図を言語として創出することが望まれる．旧来の人工知能の研究では，単語を単なる記号として扱い，その記号で閉じた世界の中で言語を理解する努力を続けてきた．自然言語処理・理解は，この流れを強く受けている．これに対して近年のロボティクス・人工知能研究では，いわゆる記号接地問題を基本として，言語の本質的な意味を扱い始めているが，未だに言語の理解や生成の本質的な解決には遠く及ばない．本論文では，ロボットが経験によって得るマルチモーダル情報に基づいて多様な概念を形成し，この概念を基盤とした言語理解・生成を考えることでこの問題を解決する新たな方向性を示す．ここで，概念とはマルチモーダルな情報を分類して形成される「カテゴリ」であり，この概念を通して様々な予測をすることが「理解」であると定義する．さらに言語は，こうした概念と結び付いた音韻ラベルであり，人との自然なインタラクションの中で獲得することが可能である．つまり本論文で提案するモデルは，ロボットが日常の活動によって得ることのできる情報を基盤に概念を形成し，音韻ラベルとの結び付きや語の順番を意味する文法をボトムアップに獲得することで，言語の意味理解や生成を実現するものである．これまで，マルチモーダル情報を用いた物体のカテゴリ分類手法は中村らによって提案されており，実際に，ロボットが経験することによって得た情報をカテゴリ分類することで，人間の感覚に近い物体概念の形成が可能であることを示している．また，形成された概念を利用して未観測情報を予測することができ，ロボットによる物体の理解が前述の定義の範囲で可能であると言える．しかし，より人間のように柔軟な理解をロボットで実現するためには，物体概念の獲得だけでは不十分であることは明らかである．なぜなら，ほとんどの物体はそれを使う人や使う人の動き，使われる場所などが関連しており，これらの情報を予測できない限りその物体を理解したとは言えないためである．つまり，物体概念のみならず人の動き概念や場所概念など多様な概念を学習すると同時に，それらの関係性を獲得する必要がある．このような多様な概念の獲得は，マルチモーダル情報の階層的カテゴリ分類へと発展させることで実現することで可能であり，最終的にはこれがロボットによる「事物の真の理解の計算モデル」となることを明らかにする．これが本論文のゴールである．本論文ではまず，第2章でロボットが家庭環境で作業することを考慮し，これまで著者が開発したヒューマノイドによる掃除タスクを一例として取り上げる．掃除タスクを行うために，「掃除」を定義する必要があり，その定義に従ったタスクの実現に必要な視覚認識システムやタスクの制御などを実装する．これによって定義範囲内の物体認識や把持行動などを実現することができるが，未知な環境に対して柔軟にタスクを行うことができない．この結果を踏まえて，「掃除」の本質的な意味を考察する．例えば，「掃除機をかける」という行動は掃除機を持って細かいごみの上で動かすことであると考え，「掃除機」という物体概念，「何かの上で動かす」という動き概念の相互関係から形成される概念であると考えることができる．すなわち，「掃除」とは多様な概念の階層的な相互依存関係から構成される概念であると考える．こうした多様な概念の形成とそれらの階層的な構造の構築がロボットの知識として重要である．第2章での議論に基づき第3章では，ロボットの確率的知識表現のためのマルチモーダル情報の階層的カテゴリ分類手法を提案する．提案手法は，マルチモーダル潜在的ディリクレ配分法（Multimodal Latent Dirichlet Allocation：MLDA）を階層化した多層マルチモーダル潜在的ディリクレ配分法（multilayered MLDA：mMLDA）である．下層のMLDAでは下位概念である，物体，動き，場所，人物の概念がそれぞれ形成され，上層のMLDA ではこれらの概念を統合する上位概念が形成される．このモデルを用いることで例えば，下位概念としてジュースという物体概念や物を口に運ぶという動き概念，ダイニングという場所概念などが形成される．上位層ではこれらの関係性が学習され，「飲む」という行動概念が形成される．これにより，ジュースを見ることでそれを口に運ぶ「飲む」という行動や，その「飲む」という行動が「ダイニング」という場所で行なわれやすいといった未観測情報の予測を行うことが可能となる．第4章では，形成された多様な概念を利用し，同時に語意や文法を獲得することで，観測したシーンを文章で表現する手法を検討する．ここで扱う問題は，階層的な概念における語意の獲得であり，どの階層のどの概念にどの単語が結び付くかという問題を解く必要がある．本論文では，単語と概念間の相互情報量を用いることで，どの単語が本来どの概念に結び付いているのかを自動的に推定する手法を提案する．これにより単語と概念の結び付きを学習することが可能であり，各単語に対応する，物体，場所や人などといった概念クラスの推定が可能である．従って，教示発話における概念クラスの生起順を学習することで，概念クラスの遷移確率という形で表現される確率文法を学習することができる．これによって，ロボットによる言語の意味理解や生成を実現することが可能となる．一方，実際のコミュニケーションは，背景知識や周辺の状況などといった文脈を考慮しなければ成立しない．つまり，事物に対する理解をより柔軟に行うためには，学んできた多様な概念を活用した上で，様々な文脈を考慮する必要がある．第5章では，ロボットが人と生活する上で，様々な文脈においてどのように行動決定するかを議論する．つまり，獲得した多様な概念と文脈と統合することで，適切な行動を決定する手法を提案する．これにより例えば，人が普段ソファーでテレビを見ているときに，お菓子を食べながらお茶を飲んでいるということを知っていれば，人が「お菓子を持ってきて」と命令した際の音声認識に誤りが生じたとしても，そのときに「ソファーでテレビを見ていてお茶を飲んでいる」という文脈を用いることで，ロボットが適切に判断をして正しい行動をとることができる可能性がある．第6章では，本論文のまとめと今後の課題について述べる．電気通信大学201