The development of fire detection robot

Bu tez çalışmasının amacı; özellikle endüstriyel alanlarda, erken yangın algılamada kullanılacak bir yangın algılama robotu tasarlamak ve imal etmektir. Bu robot; önceden belirlenen sanal güzergâh üzerinde engel algılama fonksiyonuyla ve yeniden programlanabilir hareket ünitesiyle devriye gezebilecek ve yangın kaynağını tespit edebilmek için ortam taraması yapabilecek şekilde tasarlanmış ve imal edilmiştir. Sistem; hareket planlama ünitesine tanımlanan programlar ile değişken devriye güzergâhlarını takip edebilme yeteneğine sahiptir. Robotun tasarım ve uygulama süreçleri şu şekildedir; mekanik sistemin tasarımı ve geliştirilmesi, elektronik sistemin tasarımı ve geliştirilmesi ve gerekli yazılımların hazırlanmasıdır. Mekanik sistemin tasarım ve geliştirilme sürecinde; taslak çizimleri, ölçülendirmeler ve üç boyutlu modelleme için bilgisayar destekli tasarım ve katı modelleme programları kullanılmıştır. Robotun taşıyıcı gövdesi; ucuz, sağlam ve kolay işlenebilir malzemeler olan ahşap ve sert plastik köpük kullanılarak imal edilmiştir. Robot sürüş sisteminde diferansiyel metot kullanılmıştır. Yarı otomatik robot dört adet fırçalı doğru akım motoru ile çalışmaktadır. Elektronik sistemin tasarımı ve geliştirilmesi sürecinde; hazır kart almak yerine ihtiyaca uygun elektronik veri kazanım ve kontrol devreleri tasarlanıp üretilmiştir. Bu devrelerin şematik diyagramı ve baskı devresi Proteus elektronik tasarım programı kullanılarak hazırlanmıştır. Bu devreler; motor hareketlerini kontrol etmekte ve dizüstü bilgisayar ile algılama üniteleri arasında bir köprü kurmakta kullanılmıştır. Yazılımların hazırlanma sürecinde; engel algılamada ve güzergâh takibinde kullanılacak akıllı yazılımlar geliştirilmiştir. Ayrıca daha güvenilir yangın algılama sağlamak için; çoklu sensör algılama ve değerlendirme algoritması geliştirilmiştir. Bu tezin sonucunda; özellikle endüstriyel alanlarda kullanılabilecek, çeşitli fonksiyonlara sahip bir yangın algılama robotu tasarlanıp imal edilmiştir. Yapılan testlerle; sistemin en fazla 100 cm mesafedeki yangını, robot 0,5 m/s hızla ilerlerken tespit edebildiği sonucuna varılmıştır.The aim of this thesis is to design and manufacture a fire detection robot that especially operates in industrial areas for fire inspection and early detection. Robot is designed and implemented to track prescribed paths with obstacle avoidance function through obstacle avoidance and motion planning units and to scan the environment in order to detect fire source using fire detection unit. Robot is able to track patrolling routes using virtual lines that defined to the motion planning unit. The design and implementation processes of the robot are as follow; the design and the development of mechanical, electronic systems and software. The design and the development of mechanical system; for the sketch drawings, dimensioning and solid state modeling of the robot, computer aided design and solid modelling computer programs were used. The carrier board of the robot is produced using wooden material and rigid plastic foam which are cheap, strong enough and easy to manufacture. Differential steering method is selected for semi-autonomous robot driving system and it is powered by four brushed DC (direct current) motors. The design and the development of electronic system; electronic circuits were designed and produced, instead of buying a commercial card. Both schematic diagrams and circuits of the data acquisition and control circuits are designed using Proteus electronic design program. These circuits are used to control the motion of the motors and establish a data flow between the laptop and the other peripheral sensing components. Software development; intelligent algorithms for obstacle avoidance and path tracking have been developed. A sensor data fusion algorithm for the sensors was also developed to get more reliable fire detection information. In conclusion; a fire inspection and detection robot with various functions to especially can be used in industrial areas was designed and manufactured. The functions of the robot were tested. It can be concluded that system is able to detect the fire source maximum 100 cm distance away while robot is moving with 0.5 m/s forward speed

Development of a robotic system with hybrid locomotion for both indoor and outdoor fire detection operations

Bu tez çalışmasında; merdiven çıkma, engele tırmanabilme ve yangın algılama yeteneklerine sahip bir robotik sistem geliştirilmiştir. Robotik sistem kapalı ve açık alanlarda çalışma yeteneğine sahip olacak şekilde tasarlanmış ve üretilmiştir. Robotun hareket sistemi hibrit olacak şekilde; üç tekerlekli bacak sistemi ile oluşturulmuş, böylece hem merdiven tırmanmasına hem de düz yolda ilerlemesine imkan sağlanmıştır. Üç tekerlekli bacak sistemi için gerekli matematiksel modeller geliştirilmiştir. Tez çalışması için önerilen “Yön Tabanlı Açı Hesaplama” yaklaşımının gerekli deneysel testleri robotik sisteme uygulanmıştır. Ayrıca, robotun karşılaştığı engelleri boyuna ve şekline göre sınıflandıran bir algoritma önerilmiş ve geliştirilmiştir. Bunların yanı sıra, yangın kaynağını bulan ve kaynağın yangın olma olasılığını belirleyen algoritmalar tasarlanmıştır. Robotun mekanik sistemlerine ve algoritmalarına çeşitli deneysel testler uygulanmıştır (Hareket ve transmisyon sistemleri performans testleri, lokal güzergah planlama ve engelden kaçınma, hareket türü belirleme, yangın algılama ve tespit). Bu testlerin sonucunda; mekanik iletim ve hareket sistemlerinin merdiven çıkma ve düz yolda ilerleme uygulamaları için yeterli olduğu sonucuna varılmıştır. Ayrıca geliştirilen şekil tabanlı açı hesaplama yaklaşımının, güzergah planlama ve engelden kaçınma işlemleri için uygun olduğu gözlemlenmiştir. Faster R-CNN modeli kullanılarak geliştirilen yangın algılama algoritmasının yangın kaynağını %93 doğrulukla tespit ettiği gözlemlenmiştir.TABLE OF CONTENTS ÖZET..................................................................................................................... vii ABSTRACT............................................................................................................ix ACKNOWLEDGEMENTS ....................................................................................xi TABLE OF CONTENTS..................................................................................... xiii LIST OF ABBREVIATIONS ............................................................................. xvii LIST OF FIGURES...............................................................................................xix LIST OF TABLES ..............................................................................................xxix 1. INTRODUCTION................................................................................................1 1.1. Problem Description......................................................................................1 1.2. Motivation.....................................................................................................1 1.3. Objectives......................................................................................................2 1.4. Contributions.................................................................................................2 1.5. Hypothesis.....................................................................................................3 1.6. Overview of the Thesis .................................................................................3 1.7. Robotic System Overview.............................................................................4 2. LITERATURE REVIEW.....................................................................................6 2.1. Firefighting and Detection Robots...............................................................6 2.2. Locomotion Systems of Robots ..................................................................16 2.3. Obstacle Avoidance and Path Planning Systems........................................25 2.4. Sensor Based Fire Detection Methods ........................................................33 xiv 2.5. Computer Vision and Deep Learning Based Fire Detection Methods....... 34 3. MATERIAL AND METHOD........................................................................... 40 3.1. General System Architecture and Functions.............................................. 40 3.2. The Mechanical Design and the Components............................................ 42 3.2.1. General Dimensions and the Weight................................................... 46 3.2.2. Material and Manufacturing of the Components................................. 47 3.3. Motion Calculations and Analyses............................................................. 60 3.4. Mechanical Strength Check of the Components ........................................ 70 3.5. Electronic Systems and Hardware.............................................................. 77 3.6. Algorithms and Software............................................................................ 87 3.6.1. Motion Mode Decision........................................................................ 87 3.6.2. Direction Based Angle Calculation ..................................................... 89 3.6.3. Fire Search and Find............................................................................ 91 3.6.4. Fire Detection ...................................................................................... 92 4. RESULTS AND DISCUSSION........................................................................ 97 4.1. Performances of Transmission and Motion Systems ................................. 97 4.2. Lidar Interface .......................................................................................... 100 4.3. Fire Detector............................................................................................. 104 4.4. Tests of the Algorithms............................................................................ 104 4.4.1. Direction Based Angle Calculation ................................................... 106 4.4.2. Fire Search and Find.......................................................................... 115 xv 4.4.3. Fire Detection.....................................................................................121 4.5. Tests of Ladder Climbing Robot...............................................................126 5. CONCLUSIONS..............................................................................................128 6. RECOMMENDATIONS AND FUTURE WORKS........................................129 REFERENCES.....................................................................................................130 APPENDICES......................................................................................................146 Appendix 1 (Matlab Scripts)............................................................................146 Motion Calculations.....................................................................................146 Mechanical Strength Check of the Components..........................................152 Appendix 2 (C# Codes)....................................................................................163 Serial Control Software................................................................................163 Appendix 3 (Arduino Codes)...........................................................................195 Control of the Transmission and Motion Systems.......................................195 Appendix 4 (Faster R-CNN) ............................................................................209 Training........................................................................................................209 Implementation.............................................................................................215 Appendix 5 (Python Codes).............................................................................219 Robot Control Software ...............................................................................219 RESUME..............................................................................................................24

Yangın algılama robotunun geliştirilmesi

The aim of this thesis is to design and manufacture a fire detection robot that especially operates in industrial areas for fire inspection and early detection. Robot is designed and implemented to track prescribed paths with obstacle avoidance function through obstacle avoidance and motion planning units and to scan the environment in order to detect fire source using fire detection unit. Robot is able to track patrolling routes using virtual lines that defined to the motion planning unit. The design and implementation processes of the robot are as follow; the design and the development of mechanical, electronic systems and software. The design and the development of mechanical system; for the sketch drawings, dimensioning and solid state modeling of the robot, computer aided design and solid modelling computer programs were used. The carrier board of the robot is produced using wooden material and rigid plastic foam which are cheap, strong enough and easy to manufacture. Differential steering method is selected for semi-autonomous robot driving system and it is powered by four brushed DC (direct current) motors. The design and the development of electronic system; electronic circuits were designed and produced, instead of buying a commercial card. Both schematic diagrams and circuits of the data acquisition and control circuits are designed using Proteus electronic design program. These circuits are used to control the motion of the motors and establish a data flow between the laptop and the other peripheral sensing components. Software development; intelligent algorithms for obstacle avoidance and path tracking have been developed. A sensor data fusion algorithm for the sensors was also developed to get more reliable fire detection information. In conclusion; a fire inspection and detection robot with various functions to especially can be used in industrial areas was designed and manufactured. The functions of the robot were tested. It can be concluded that system is able to detect the fire source maximum 100 cm distance away while robot is moving with 0.5 m/s forward speed.Bu tez çalışmasının amacı; özellikle endüstriyel alanlarda, erken yangın algılamada kullanılacak bir yangın algılama robotu tasarlamak ve imal etmektir. Bu robot; önceden belirlenen sanal güzergâh üzerinde engel algılama fonksiyonuyla ve yeniden programlanabilir hareket ünitesiyle devriye gezebilecek ve yangın kaynağını tespit edebilmek için ortam taraması yapabilecek şekilde tasarlanmış ve imal edilmiştir. Sistem; hareket planlama ünitesine tanımlanan programlar ile değişken devriye güzergâhlarını takip edebilme yeteneğine sahiptir. Robotun tasarım ve uygulama süreçleri şu şekildedir; mekanik sistemin tasarımı ve geliştirilmesi, elektronik sistemin tasarımı ve geliştirilmesi ve gerekli yazılımların hazırlanmasıdır.Mekanik sistemin tasarım ve geliştirilme sürecin de;taslak çizimleri, ölçülendirmeler ve üç boyutlu modelleme için bilgisayar destekli tasarım ve katı modelleme programları kullanılmıştır. Robotun taşıyıcı gövdesi; ucuz, sağlam ve kolay işlenebilir malzemeler olan ahşap ve sert plastik köpük kullanılarak imal edilmiştir. Robot sürüş sisteminde diferansiyel metot kullanılmıştır. Yarı otomatik robot dört adet fırçalı doğru akım motoru ile çalışmaktadır. Elektronik sistemin tasarımı ve geliştirilmesi sürecinde; hazır kart almak yerine ihtiyaca uygun elektronik veri kazanım ve kontrol devreleri tasarlanıp üretilmiştir. Bu devrelerin şematik diyagramı ve baskı devresi Proteus elektronik tasarım programı kullanılarak hazırlanmıştır . Bu devreler; motor hareketlerini kontrol etmekte ve dizüstü bilgisayar ile algılama üniteleri arasında bir köprü kurmakta kullanılmıştır. Yazılımların hazırlanma sürecinde; engel algılamada ve güzergâh takibinde kullanılacak akıllı yazılımlar geliştirilmiştir. Ayrıca daha güvenilir yangın algılama sağlamak için; çoklu sensör algılama ve değerlendirme algoritması geliştirilmiştir. Bu tezin sonucunda; özellikle endüstriyel alanlarda kullanılabilecek, çeşitli fonksiyonlara sahip bir yangın algılama robotu ta sarlanıp imal edilmiştir. Yapılan testlerle; sistemin en fazla 100 cm mesafedeki yangını, robot 0,5 m/s hızla ilerlerken tespit edebildiği sonucuna varılmıştır.APPROVAL OF THE THESIS iii SCIENTIFIC ETHICS v ÖZET vii ABSTRACT ix ACKNOWLEDGEMENTS xi TABLE OF CONTENT xiii LIST OF ABBREVIATIONS xvii LIST OF FIGURES xix LIST OF TABLES xxv 1. INTRODUCTION 1 1.1. What is Robot? 1 1.2. Problem Description 2 1.3. Motivation 2 1.4. Thesis Objectives 3 1.5. Overview of Thesis 4 1.6. System Overview 5 2. LITERATURE REVIEW 7 2.1. Industrial Fires 7 2.1.1. Big Industrial Fires 7 2.1.2. Fire and Fire Safety Statistics 8 2.2. Early Fire Detection Methods and Devices 11 2.2.1. Optical Flame Detectors 12 2.2.2. Smoke Detectors 15 2.2.3. Heat Detectors 18 2.3. The Evolution of Robotics 20 2.3.1. Robot Manipulators 22 2.3.2. Mobile Robots 28 2.3.3. Biologically Inspired Robots 36 2.4. Related Works (Firefighting Robots) 48 3. MATERIAL AND METHOD 67 3.1. Mechanical Part 68 3.1.1. Carrier Board Design and Manufacturing 68 3.1.2. Drawing and Dimensioning of Carrier Board 69 3.1.3. Traction Mechanism 70 3.1.4. Wheels..... 72 3.1.5. Motor-Wheel Connector 72 3.1.6. Steering Method 73 3.2. Hardware 77 3.2.1. Power Requirement Calculations 77 3.2.2. Torque Requirement Calculation 80 3.2.3. Motor Selection 81 3.2.4. Energy Supply 82 3.3. Obstacle Avoidance (Ultrasonic Sensors) 83 3.4. Fire Detection Unit 84 3.4.1. Flame Sensor 85 3.4.2. Temperature Sensor 86 3.4.3. Smoke Sensor 87 3.5. Fire Detection Robot Platform Configuration 89 3.6. Data Acquisition and Control Circuits Design and Implementation 92 3.6.1. DC Motors Control Unit 92 3.6.2. Data Acquisition and Communication Unit 95 3.6.3. Servo Motor Control Unit 97 3.6.4. Microcontrollers 97 3.7. Fire Detection Robot System Architecture 100 3.8. Fire Detection Robot System Functions 103 3.8.1. Obstacle Avoidance 103 3.8.2. Operating the Ultrasound Sensors 104 3.8.3. Motion Control 104 3.8.4. Fire Detection 108 4. RESULTS AND DISCUSSIONS 112 4.1. Path Tracking Test with Different Speed Values 112 4.2. Obstacle Avoidance 116 4.2.1. Implementation and Test of the Obstacle Avoidance Structure 116 4.3. Fire Detection Test 118 4.3.1. Detection Test Based on Distances 118 4.3.2. Detection Test on Patrolling 129 4.3.3. Sensor Data Fusion Algorithm Test 132 5. CONCLUSIONS 138 6. RECOMMANDATIONS AND FUTURE WORKS 138 REFERENCES 141 APPENDICES 149 Appendix-1 (Microcontroller Codes) 149 Path Tracking With 0.2 m/s Forward Speed 149 Path Tracking With 0.3 m/s Forward Speed 158 Path Tracking With 0.5 m/s Forward Speed 168 Obstacle Avoidance Algorithm 177 Fire Detection Sensors Data Acquisition 186 Fire Detection Sensors Data Fusion Algorithm 193 Environment Scanning With Servo Motor 202 Appendix-2 (Data Acquisition and Control Circuits) 208 Appendix-3 (Force and Torque Calculator) 209 RESUME 21