Inclined Image Recognition for Aerial Mapping using Deep Learning and Tree based Models

One of the important capabilities of an unmanned aerial vehicle (UAV) is aerial mapping. Aerial mapping is an image registration problem, i.e., the problem of transforming different sets of images into one coordinate system. In image registration, the quality of the output is strongly influenced by the quality of input (i.e., images captured by the UAV). Therefore, selecting the quality of input images becomes important and one of the challenging task in aerial mapping because the ground truth in the mapping process is not given before the UAV flies. Typically, UAV takes images in sequence irrespective of its flight orientation and roll angle. These may result in the acquisition of bad quality images, possibly compromising the quality of mapping results, and increasing the computational cost of a registration process. To address these issues, we need a recognition system that is able to recognize images that are not suitable for the registration process. In this paper, we define these unsuitable images as “inclined images,” i.e., images captured by UAV that are not perpendicular to the ground. Although we can calculate the inclination angle using a gyroscope attached to the UAV, our interest here is to recognize these inclined images without the use of additional sensors in order to mimic how humans perform this task visually. To realize that, we utilize a deep learning method with the combination of tree-based models to build an inclined image recognition system. We have validated the proposed system with the images captured by the UAV. We collected 192 images and labelled them with two different levels of classes (i.e., coarse- and fine-classification). We compared this with several models and the results showed that our proposed system yielded an improvement of accuracy rate up to 3%

Child–robot relationship formation: A narrative review of empirical research

This narrative review aimed to elucidate which robot-related characteristics predict relationship formation between typically-developing children and social robots in terms of closeness and trust. Moreover, we wanted to know to what extent relationship formation can be explained by children’s experiential and cognitive states during interaction with a robot. We reviewed 86 journal articles and conference proceedings published between 2000 and 2017. In terms of predictors, robots’ responsiveness and role, as well as strategic and emotional interaction between robot and child, increased closeness between the child and the robot. Findings about whether robot features predict children’s trust in robots were inconsistent. In terms of children’s experiential and cognitive states during interaction with a robot, robot characteristics and interaction styles were associated with two experiential states: engagement and enjoyment/liking. The literature hardly addressed the impact of experiential and cognitive states on closeness and trust. Comparisons of children’s interactions with robots, adults, and objects showed that robots are perceived as neither animate nor inanimate, and that they are entities with whom children will likely form social relationships. Younger children experienced more enjoyment, were less sensitive to a robot’s interaction style, and were more prone to anthropomorphic tendencies and effects than older children. Tailoring a robot’s sex to that of a child mainly appealed to boys

子どもの心的状態と性格を考慮した遊び相手ロボットの設計原理

核家族化，少子化，地域のつながりの希薄化などを背景に，乳幼児を持つ母親の育児負担が増大している．多くの子育て世帯は核家族のため祖父母からの日常的な支援を受けられず，保育施設などの社会的育児支援も，昼間だけ，週1 日だけなどと限定的にしか受けられないため，多くの家庭内では，母親が一人で育児と家事を同時にこなさなければならない状況にある．現在，家事の間の子守りの代替となっているのはテレビやDVDである．長時間のテレビ視聴は子どもの発達への悪影響が指摘されているが，気軽に利用できる手立てが他になく，母親は家事と育児を両立させるためにテレビに頼らざるを得ない．このように，家庭内での育児支援の欠如と，それにともなう子どもの発達の問題が存在しているが，それを解決する有効な育児支援策は未だ存在しない．そこでこの問題を解決する一助として，本研究では，家庭内で子どもの相手をする遊び相手ロボットを提案する．30 分ほどの間ロボットが子どもの興味を引きつけ遊んでいてくれるなら，母親の家事の時間を確保でき，育児ストレスの軽減が期待できる．本研究の最終的なゴールは，未就学児をもつ核家族の育児支援を目的とした，家庭内で子どもと遊ぶロボットの実現であり，本論文ではこの遊び相手ロボット実現のための方法論について議論する．遊び相手ロボットに対する基本的な要求は，子どもの発達を促す遊びができることである．遊びは子どもの発達の鍵であり，おもちゃや身体を使った幅広い遊びを行なうことで心身の発達が促される．長時間視聴されているテレビに代わり，子どもの身体的な活動を誘発させるために，おもちゃや身体を使った標準的な遊びを幅広く行えるロボットのデザインを行う必要がある．そしてさらに遊び相手ロボットに重要なのは，発達を促す遊びができるだけでなく，そのような遊びを子どもと成立させられることである．遊びの成立に対する課題は，課題1"長く遊び続けられること" と課題2"どんな子どもとも遊べること" の二つある．一つ目の課題は，子どもと1 対1 で長時間かつ長期的に継続して遊べることである．従来の子どもを相手としたロボットは，教育や遊戯療法などを目的としており，遊びの継続は考えられていない．本研究では遊びの継続が次のように成り立つと考える．長時間の遊びは，ロボットが様々な遊びや働きかけで子どもの興味を引きつけることで成立し，長期的な遊びは，子どもの気持ちを考慮した適切な振る舞いをロボットが行い，それを受けた子どもがロボットに好意的な関心をもつことで成立する．本研究では，この子どもの興味に関する問題を"興味度" の軸，好意的な関心を"友好感" の軸と定義する．遊びの継続には，子どもの興味度と友好感を維持する人間類似の行動決定モデルが必要であると考え，本研究では，子どもの心的状態を推定しながら行動を決定する仕組みを構築する．二つ目の課題は，ロボットがどんな子どもとも柔軟に遊べることである．従来の対人ロボットは，対話が容易な相手とのコミュニケーションのみ検討してきているが，育児支援を目的とした本ロボットは，保育者がどんな子どもとも遊びを成立させるように，誰とでも柔軟に遊べることが望ましい．そこで本研究では従来焦点が当てられてこなかった関係構築がより困難な相手に着目し，子どもの性格に応じた行動選択の仕組みが必要であると提案する．本論文ではその仕組みを実現する第一歩として，初対面の人との関係構築が困難な人見知り性格に焦点を当て，人見知りの子どもと良好な関係を築くための有効な行動を探る．以上のように本論文では，子どもの心的状態と性格を考慮した行動決定によって友好感を創出し，どんな子どもとも長く遊べる遊び相手ロボットを実現するための設計原理を，実際の遊び相手ロボットの開発と検証を経た構成論的手法により明らかにする．本論文では，第1 章にて研究背景である現代の育児問題を概説し，対子どもロボットの関連研究と比較しながら本研究の位置づけと目的を述べる．第2 章では，提案する遊び相手ロボットに求められる要求仕様と子どもとの遊びを成立させる因子について議論し，実現に向けた課題を明確にする．第3 章では，子どもの発達を促すことを踏まえた遊び相手ロボットの構想について述べる．第4 章では課題1"長く遊び続けられること" について論じ，その解決手法としてのロボットの行動決定モデルを提案し，モデルの有効性を検証する．第5 章では課題2"どんな子どもとも遊べること" について論じ，その解決手法として性格を考慮した仕組みを提案し，その有効性を検証する．第6 章では，これまでの研究結果を踏まえ，現時点で実社会に役立つ実用的な遊び相手ロボットを示す．最後に第7 章で本論文の内容をまとめる．電気通信大学201

An emotion and memory model for social robots : a long-term interaction

In this thesis, we investigate the role of emotions and memory in social robotic companions. In particular, our aim is to study the effect of an emotion and memory model towards sustaining engagement and promoting learning in a long-term interaction. Our Emotion and Memory model was based on how humans create memory under various emotional events/states. The model enabled the robot to create a memory account of user's emotional events during a long-term child-robot interaction. The robot later adapted its behaviour through employing the developed memory in the following interactions with the users. The model also had an autonomous decision-making mechanism based on reinforcement learning to select behaviour according to the user preference measured through user's engagement and learning during the task. The model was implemented on the NAO robot in two different educational setups. Firstly, to promote user's vocabulary learning and secondly, to inform how to calculate area and perimeter of regular and irregular shapes. We also conducted multiple long-term evaluations of our model with children at the primary schools to verify its impact on their social engagement and learning. Our results showed that the behaviour generated based on our model was able to sustain social engagement. Additionally, it also helped children to improve their learning. Overall, the results highlighted the benefits of incorporating memory during child-Robot Interaction for extended periods of time. It promoted personalisation and reflected towards creating a child-robot social relationship in a long-term interaction

マルチモーダル潜在的ディリクレ配分法の多層化による知識の確率的表現

近年，ロボットと人の共存を目指すための研究が盛んに行われている．現状のロボット技術において，様々なロボットが開発されているが，限られた環境で特定のタスクを実行するものが殆どであり，タスクに必要な行動や入力パターンに対する応答などを人が全て事前に与えなければならない．ロボットが人と自然に暮らすためには，人の言葉を理解する必要があり，その言葉の背後にある潜在的な意味を解釈して行動しなければならない．また，コミュニケーションのために，ロボット自身の意図を言語として創出することが望まれる．旧来の人工知能の研究では，単語を単なる記号として扱い，その記号で閉じた世界の中で言語を理解する努力を続けてきた．自然言語処理・理解は，この流れを強く受けている．これに対して近年のロボティクス・人工知能研究では，いわゆる記号接地問題を基本として，言語の本質的な意味を扱い始めているが，未だに言語の理解や生成の本質的な解決には遠く及ばない．本論文では，ロボットが経験によって得るマルチモーダル情報に基づいて多様な概念を形成し，この概念を基盤とした言語理解・生成を考えることでこの問題を解決する新たな方向性を示す．ここで，概念とはマルチモーダルな情報を分類して形成される「カテゴリ」であり，この概念を通して様々な予測をすることが「理解」であると定義する．さらに言語は，こうした概念と結び付いた音韻ラベルであり，人との自然なインタラクションの中で獲得することが可能である．つまり本論文で提案するモデルは，ロボットが日常の活動によって得ることのできる情報を基盤に概念を形成し，音韻ラベルとの結び付きや語の順番を意味する文法をボトムアップに獲得することで，言語の意味理解や生成を実現するものである．これまで，マルチモーダル情報を用いた物体のカテゴリ分類手法は中村らによって提案されており，実際に，ロボットが経験することによって得た情報をカテゴリ分類することで，人間の感覚に近い物体概念の形成が可能であることを示している．また，形成された概念を利用して未観測情報を予測することができ，ロボットによる物体の理解が前述の定義の範囲で可能であると言える．しかし，より人間のように柔軟な理解をロボットで実現するためには，物体概念の獲得だけでは不十分であることは明らかである．なぜなら，ほとんどの物体はそれを使う人や使う人の動き，使われる場所などが関連しており，これらの情報を予測できない限りその物体を理解したとは言えないためである．つまり，物体概念のみならず人の動き概念や場所概念など多様な概念を学習すると同時に，それらの関係性を獲得する必要がある．このような多様な概念の獲得は，マルチモーダル情報の階層的カテゴリ分類へと発展させることで実現することで可能であり，最終的にはこれがロボットによる「事物の真の理解の計算モデル」となることを明らかにする．これが本論文のゴールである．本論文ではまず，第2章でロボットが家庭環境で作業することを考慮し，これまで著者が開発したヒューマノイドによる掃除タスクを一例として取り上げる．掃除タスクを行うために，「掃除」を定義する必要があり，その定義に従ったタスクの実現に必要な視覚認識システムやタスクの制御などを実装する．これによって定義範囲内の物体認識や把持行動などを実現することができるが，未知な環境に対して柔軟にタスクを行うことができない．この結果を踏まえて，「掃除」の本質的な意味を考察する．例えば，「掃除機をかける」という行動は掃除機を持って細かいごみの上で動かすことであると考え，「掃除機」という物体概念，「何かの上で動かす」という動き概念の相互関係から形成される概念であると考えることができる．すなわち，「掃除」とは多様な概念の階層的な相互依存関係から構成される概念であると考える．こうした多様な概念の形成とそれらの階層的な構造の構築がロボットの知識として重要である．第2章での議論に基づき第3章では，ロボットの確率的知識表現のためのマルチモーダル情報の階層的カテゴリ分類手法を提案する．提案手法は，マルチモーダル潜在的ディリクレ配分法（Multimodal Latent Dirichlet Allocation：MLDA）を階層化した多層マルチモーダル潜在的ディリクレ配分法（multilayered MLDA：mMLDA）である．下層のMLDAでは下位概念である，物体，動き，場所，人物の概念がそれぞれ形成され，上層のMLDA ではこれらの概念を統合する上位概念が形成される．このモデルを用いることで例えば，下位概念としてジュースという物体概念や物を口に運ぶという動き概念，ダイニングという場所概念などが形成される．上位層ではこれらの関係性が学習され，「飲む」という行動概念が形成される．これにより，ジュースを見ることでそれを口に運ぶ「飲む」という行動や，その「飲む」という行動が「ダイニング」という場所で行なわれやすいといった未観測情報の予測を行うことが可能となる．第4章では，形成された多様な概念を利用し，同時に語意や文法を獲得することで，観測したシーンを文章で表現する手法を検討する．ここで扱う問題は，階層的な概念における語意の獲得であり，どの階層のどの概念にどの単語が結び付くかという問題を解く必要がある．本論文では，単語と概念間の相互情報量を用いることで，どの単語が本来どの概念に結び付いているのかを自動的に推定する手法を提案する．これにより単語と概念の結び付きを学習することが可能であり，各単語に対応する，物体，場所や人などといった概念クラスの推定が可能である．従って，教示発話における概念クラスの生起順を学習することで，概念クラスの遷移確率という形で表現される確率文法を学習することができる．これによって，ロボットによる言語の意味理解や生成を実現することが可能となる．一方，実際のコミュニケーションは，背景知識や周辺の状況などといった文脈を考慮しなければ成立しない．つまり，事物に対する理解をより柔軟に行うためには，学んできた多様な概念を活用した上で，様々な文脈を考慮する必要がある．第5章では，ロボットが人と生活する上で，様々な文脈においてどのように行動決定するかを議論する．つまり，獲得した多様な概念と文脈と統合することで，適切な行動を決定する手法を提案する．これにより例えば，人が普段ソファーでテレビを見ているときに，お菓子を食べながらお茶を飲んでいるということを知っていれば，人が「お菓子を持ってきて」と命令した際の音声認識に誤りが生じたとしても，そのときに「ソファーでテレビを見ていてお茶を飲んでいる」という文脈を用いることで，ロボットが適切に判断をして正しい行動をとることができる可能性がある．第6章では，本論文のまとめと今後の課題について述べる．電気通信大学201