富山大学・富理工博甲第173号・宋双玉・2020/3/24富山大学202

宋 双玉

University of Toyama Repository

 そう そうぎょく 氏     名 宋 双玉 学 位 の 種 類 博  士（工学） 学 位 記 番 号 富理工博甲第 173 号 学位授与年月日 令和 2 年 3 月 24 日 専  攻  名 数理・ヒューマンシステム科学専攻 学位授与の要件 富山大学学位規則第 3 条第 3 項該当 学位論文題目  Swarm intelligence evolving dendritic neuron model with neuronal pruning （群知能が神経剪定を伴う樹状ニューロンモデルを進化する研究） 論文審査委員  （委員長）   安藤 彰男 唐 政 岡田 裕之 高 尚策   学位論文内容の要旨  学位論文題目： Swarm intelligence evolving dendritic neuron model with neuronal pruning (和訳：群知能が神経剪定を伴う樹状ニューロンモデルを進化する研究)  専攻  数理・ヒューマンシステム科学  氏名  宋 双玉         Shuangyu Song   In the past decade, swarm intelligence-inspired optimization methods have become more and more promising. A wide variety of optimization algorithms based on swarm intelligence are well known, such as cuckoo search algorithm (CSA), particle swarm optimization (PSO), firefly algorithm(FA), artificial bee colony (ABC), and ant colony optimization (ACO). Meanwhile, the research on artificial neural networks (ANNs) has also developed rapidly in recent years. Applying swarm intelligence to artificial neural networks will be a promising research direction. My recent research on swarm intelligence and artificial neural networks is as follows:  Firstly, cuckoo search algorithm (CSA) is a meta-heuristic algorithm by imitating the parasitic behavior of cuckoo birds, and it has demonstrated excellent performance in dealing with optimization problems. Chaotic mechanisms have been incorporated into CSA to take advantage of the dynamic characteristics of chaos and improve its performance in dealing with optimization problems. However, in the previously proposed chaotic cuckoo search algorithms (CCSA), only one chaotic map is utilized in a single search iteration which limited the exploitation ability of the search. In this study, we consider to utilize multiple chaotic maps concurrently to carry out the local search in the vicinity of the current global best object obtained from CSA. To realize this, three kinds of multiple chaotic cuckoo search algorithms (MCCSA) are proposed by incorporating several chaotic maps into the chaotic local search parallelly, randomly or selectively. We verified the performance of MCCSA on 48 common benchmark optimization functions. According to the experimental results, MCCSAs generally perform better than CCSAs, and the MCCSA-P which parallelly utilizes chaotic maps performs the best among all 16 compared variants of CSAs.  On the other hand, with the rapid development of the application of ANNs, recent studies have shown that dendrites play a vital role in neural computations. We developed a novel dendritic neuron model called approximate logic dendritic neuron model (ALDNM) to solve classification problems. The ALDNM can be divided into four layers: the synaptic layer, the dendritic layer, the membrane layer, and the soma body. Considering the limitation of the back-propagation (BP) algorithm, we employ a heuristic optimization called the social learning particle swarm optimization algorithm (SL-PSO) to train the ALDNM. In order to investigate the effectiveness of SL-PSO for training the ALDNM, we compare this training method with BP and four other typical heuristic optimization methods. Moreover, the proposed ALDNM is also compared with seven classifiers to verify its performance. The experimental results and statistical analysis on four classification problems indicate that the proposed ALDNM trained by SL-PSO can provide a competitive performance for solving the classification problems. It is worth noting that the structure of the trained ALDNM can be greatly simplified owing to the unique pruning operations. Furthermore, the simplified ALDNM for a specific problem can be transformed into an affirmatory logic circuit classifier for a fast classification. This thesis is organized as follows: Chapter 1 is an introduction to the research content. Chapter 2 presents a multiple chaotic cuckoo search algorithm. Chapter 3 introduces training an approximate logic dendritic neuron model using social learning particle swarm optimization algorithm. Finally, Conclusion and Future research are provided. 【学位論文審査結果の要旨】（宋 双玉）  当博士学位論文審査委員会は、標記の博士学位申請論文を詳細に査読した。本博士論文と従来の論文との類似性指標は 19％であり、剽窃等の問題がないことを確認した。また論文公聴会を令和 2年 1月 21日（火曜日）に公開で開催し、詳細な質疑を行って論文の審査を行った。以下に審査結果の要旨を記す。 過去数十年間、群知能にヒントを得た最適化手法はますます有望になってきており、多種多様な最適化アルゴリズムが提案されている。中でも、群知能を人工神経ネットワークに応用する研究が注目されている。本研究では、改良された群知能アルゴリズムと群知能アルゴリズムによるニューロンモデルの学習法を提案する。その概要は、以下の通りである。 （１）カッコウ探索アルゴリズム（CSA）の改良法が提案された。以前に提案されたカオスカッコウ検索アルゴリズム（CCSA）では、単一のカオスマップのみを使用していたが、異なるカオスマップには独自の豊富な検索ダイナミクスがあり、単一のカオスマップでは探索機能が制限されている。本研究では、12 の異なるカオスグラフを並列、ランダム、または選択的に CSA に結合することにより、3つのカッコウ探索アルゴリズムを提案した。実験結果の比較と分析により、提案された新しい方法の有効性が検証された。 （２）社会的学習粒子群最適化（SL-PSO）学習法を用いた近似論理樹状ニューロンモデル（ALDNM）が提案された。ALDNM は、その構造を単純化する機能を備えており、冗長なシナプス接続と樹状分岐を削除できる。特定の問題に対する簡略化された ALDNM は、高速分類のために対応する論理回路分類器に変換できる。過去の研究では、ALDNMの学習法として誤差逆伝播（BP）アルゴリズムが学習アルゴリズムとして使用されていたが、高次元の分類問題では、BP アルゴリズムは、極小値および収束の遅い状態に陥りやすいという欠点を持つ。SL-PSO学習方法と組み合わせた ALDNM は BP 法の欠点を克服し、ALDNM のパフォーマンスを大幅に向上させた。実験は、SL-PSOが BPと他の典型的な発見的学習方法よりも効果的であることを検証した。さらに、他の 7 種類の分類器と比較して、SL-PSOと結合した ALDNM分類器は非常に強い競争結果を得た。 以上の業績により、当博士論文審査委員会は本申請論文が博士の学位を授与することに十分に値するものと認め、合格と判断した。  

群知能が神経剪定を伴う樹状ニューロンモデルを進化する研究

https://toyama.repo.nii.ac.jp/?action=repository_action_common_download&item_id=17809&item_no=1&attribute_id=18&file_no=1

群知能が神経剪定を伴う樹状ニューロンモデルを進化する研究

Abstract

Similar works

Full text

Available Versions

University of Toyama Repository