11 research outputs found
Formal Verification of Deep Neural Networks using Structural Properties
Master์ฌ์ธต ์ ๊ฒฝ๋ง(DNN)์ ์์ฑ ์ธ์, ์ด๋ฏธ์ง ๋ถ๋ฅ ๋ฑ์ ๋ค์ํ ๋ถ์ผ์์ ์ํํธ์จ์ด๋ฅผ ์ํ์ฌ ๋๋ฆฌ ํ์ฉ๋๊ณ ์๋ค. ๊ทธ ์ค ์์จ์ฃผํ ์ฐจ๋๊ณผ ๊ฐ์ ์์ ํ์ ์์คํ
์ ์ฌ์ฉ๋๋ DNN์ ์ค๋ฅ๊ฐ ํฐ ์ธ์ , ๋ฌผ์ ํผํด๋ฅผ ๋ฐ์์ํค๋ฏ๋ก DNN์ ๊ฒ์ฆ์ ๋ํ ํ์์ฑ์ ํฌ๊ฒ ์ฆ๊ฐํ๊ณ ์๋ค. DNN์ ์ผ๋ฐ์ ์ธ ์์ ์ฑ ํ๊ฐ๋ ์ฃผ์ด์ง ํ
์คํธ ์
๋ ฅ์ ๋ํ์ฌ ์คํ ๊ฒฐ๊ณผ๋ฅผ ํ์ธํ๋๋ฐ, ์ด๋ ํ
์คํธ๋์ง ์์ ์
๋ ฅ์ ๋ํด ์ฌ์ ํ ์ค๋ฅ ๊ฐ๋ฅ์ฑ์ด ์กด์ฌํ๋ค๋ ๋ฌธ์ ๋ฅผ ๊ฐ์ง๊ณ ์๋ค. ๊ทธ๋ฌํ ๋ํ์ ์ธ ์์๊ฐ ์ ๋์ ์์๋ก, ์ด๋ ๊ธฐ์กด ์
๋ ฅ์ ๋ฏธ์ธํ ๋ณํ๋ฅผ ์ฃผ์์ ๋ ์ ํ ๋ค๋ฅธ ๊ฒฐ๊ณผ๊ฐ ๋ํ๋๋ ์์ ๋ฅผ ๋ปํ๋ค. ์ ๋์ ์์์ ๊ฐ์ ์ ์๋ ค์ง DNN์ ์ค๋ฅ๋ค์ด ์๋์ง ๊ฒ์ฆํ๊ธฐ ์ํด์ ์ ๋์ ์์ ๋ฐฉ์ด, ํ
์คํธ ์
๋ ฅ ์์ฑ, ์ ํ ๊ฒ์ฆ ๋ฑ ๋ค์ํ ๋ฐฉ๋ฒ๋ค์ด ์ฐ๊ตฌ๋๊ณ ์๋ค. ์ด ์ค ์ ํ ๊ฒ์ฆ์ DNN์ ๋ชจ๋ ์
๋ ฅ์ ๋ํด ์๊ตฌ์ฌํญ์ ๋ง์กฑํ๋์ง๋ฅผ ๊ฒ์ฆํ ์ ์๋ค.
DNN์ ์ ํ ๊ฒ์ฆ ๋ฐฉ๋ฒ์ ํ์ต์ด ๋๋ DNN์ ์ํ์ ์ธ ํจ์๋ก ํํํ๊ณ , ๊ฒ์ฆํ๊ณ ์ ํ๋ ์ฑ์ง์ ์
๋ ฅ๊ณผ ์ถ๋ ฅ์ ๊ดํ ์ํ์ ์ธ ๊ด๊ณ๋ก ํํํ์ฌ ์ด๋ฅผ ์ฆ๋ช
ํ๋ ๋ฐฉ๋ฒ์ด๋ค. ๊ทธ๋ฌ๋ DNN์ ์ ํ ๊ฒ์ฆ์ ํ์ฑํจ์๋ก ์ ํํจ์๋ฅผ ๊ฐ์ง๋ DNN์ ์๊ตฌ์ฌํญ์ ๊ฒ์ฆํ๋ ๋ฌธ์ ๊ฐ NP-complete์ ๋ณต์ก๋๋ฅผ ๊ฐ์ง ์ ๋๋ก ์ด๋ ค์ด ๋ฌธ์ ์ด๋ค. ๊ธฐ์กด ๋ฐฉ๋ฒ๋ค์ DNN์ ๊ตฌ์กฐ์ ๊ด๊ณ์์ด ์ฌ์ฉ ๊ฐ๋ฅํ ๋ฐฉ๋ฒ๋ค์ ์ฐ๊ตฌํด์์ผ๋ฉฐ, ๋ณธ ์ฐ๊ตฌ์์๋ ์ฃผ๋ก ์ฌ์ฉ๋๋ DNN์ ํน์ ํ ๊ตฌ์กฐ๋ฅผ ๋ถ์ํ๊ณ ํ์ฉํ์ฌ DNN์ ์ ํ ๊ฒ์ฆ ์ฑ๋ฅ์ ํฅ์ํ๋ ๋ฐฉ๋ฒ์ ๋ํด ์ ์ํ๋ค.
์ด ์ฐ๊ตฌ๋ DNN์ ์ ํ ๊ฒ์ฆ์ ํ์ฉ๋ ์ ์๋ DNN์ ๊ตฌ์กฐ์ ์ฑ์ง์ ๊ดํ ์ฐ๊ตฌ์ด๋ค. ๋จผ์ DNN์ ๊ตฌ์กฐ์ ์ฑ์ง์ ๊ฐ ๋
ธ๋๋ค์ด ๊ฐ์ง ์ ์๋ ์ํ์ ์งํฉ์ผ๋ก ์ํ์ ์ผ๋ก ์ ์ํ๊ณ , ReLU๋ฅผ ํ์ฑํจ์๋ก ๊ฐ์ง๋ DNN์ ๋ ๊ฐ์ง ๊ตฌ์กฐ์ ์ฑ์ง์ ์ ์ํ์์ผ๋ฉฐ ์ด๋ค์ด ์ฌ๋ฐ๋ฅธ ๊ตฌ์กฐ์ ์ฑ์ง์ธ์ง ์ฆ๋ช
ํ์๋ค. ์ฒซ ๋ฒ์งธ๋ก ์ ์ํ ๊ตฌ์กฐ์ ์ฑ์ง์ ๋
ธ๋์ ๊ฐ์ค์น, ํธํฅ์น๋ฅผ ํ์ฉํ์ฌ ๋
ธ๋๋ค์ ์ํ๋ฅผ ๋ถ์ํ์์ผ๋ฉฐ, ๋ ๋ฒ์งธ๋ก ์ ์ํ ๊ตฌ์กฐ์ ์ฑ์ง์ ๋
ธ๋์ ๋ฒ์๋ฅผ ํ์ฉํ์ฌ ๋
ธ๋๋ค์ ์ํ๋ฅผ ๋ถ์ํ์๋ค.
์ ์๋ ๋ ๊ตฌ์กฐ์ ์ฑ์ง๋ค์ SMT๋ฅผ ์ฌ์ฉํ๋ ๊ธฐ์กด์ DNN ์ ํ ๊ฒ์ฆ ๊ธฐ๋ฒ์ ์ ์ฉ๋์๋ค. ๊ธฐ์กด์ ๋ฐฉ๋ฒ์ DNN๊ณผ ๊ทธ ์๊ตฌ์ฌํญ์ SMT ์์ผ๋ก ๋ณํํ์ฌ SMT ํด์๊ธฐ์ ์
๋ ฅํ๋ ๋ฐฉ๋ฒ์ผ๋ก ๊ฒ์ฆํ์๋ค. ๋ฐ๋ผ์ ๊ตฌ์กฐ์ ์ฑ์ง๋ค์ SMT ์์ผ๋ก ๋ณํ๋์ด SMT ํด์๊ธฐ์ ์ถ๊ฐ๋ก ์
๋ ฅํ์ผ๋ฉฐ, ๊ทธ ํจ๊ณผ๋ ๊ฒ์ฆ ์๋์ ๋น๊ต๋ฅผ ํตํด ํ์ธ๋์๋ค. ์คํ์ 3๊ฐ DNN ๋ฒค์น๋งํฌ์์ ์งํ๋์์ผ๋ฉฐ, ๋ ๊ฐ์ง ๊ตฌ์กฐ์ ์ฑ์ง์ ๋ชจ๋ ์ฌ์ฉํ๋ ๊ฒฝ์ฐ ์ต๋ 99%์ ๊ฒ์ฆ ์๋ ํฅ์์ ์ป์ ์ ์์์ ํ์ธํ์๋ค.This thesis proposes a method that exploits the structural properties of deep neural networks (DNNs) to increase the efficiency of DNN verification. DNNs have achieved enormous popularity and used for safety-critical systems such as unmanned aircraft and autonomous driving. However, DNNs have suffered from its errors such as adversarial examples. To overcome these errors, many formal DNN-verification techniques have been proposed. We introduce a new formal verification technique that uses structural properties. DNNs have structural information such as node-connection structures, activation functions, and weights and bias of nodes. This thesis defines the structural property of DNNs using structural information. This thesis suggests two structural properties of a DNN that uses a rectified linear unit (ReLU) as an activation function: one using weights of nodes and one using bounds of nodes. We encode two structural properties of DNNs to satisfiability modulo theories (SMT) formula, then apply them to an SMT solver for formal verification of DNN. We demonstrate the usefulness of the structural properties by showing that the performance of DNN verification is increased by exploiting the structural properties
Formal Verification of Deep Neural Networks using Structural Information
์ฌ์ธต์ ๊ฒฝ๋ง(Deep neural network, DNN)์ ์์ฑ ์ธ์, ์ด๋ฏธ์ง ๋ถ๋ฅ ๋ฑ์ ๋ค์ํ ๋ถ์ผ์์ ์ํํธ์จ์ด๋ฅผ ์ํ์ฌ ๋๋ฆฌ ํ์ฉ๋๊ณ ์๋ค. ํ์ง๋ง DNN์๋ ์ ๋์ ์์ ์ ๊ฐ์ ์์์น ๋ชปํ ์ค๋ฅ๊ฐ ์กด์ฌํ ์ ์์ผ๋ฉฐ, ์ด๋ฅผ ๋ฐฉ์งํ๊ธฐ ์ํ์ฌ DNN์ ์๊ตฌ์ฌํญ์ ๊ฒ์ฆํ๊ธฐ ์ํ DNN ์ ํ๊ฒ์ฆ ๊ธฐ์ ์ด ํ๋ฐํ๊ฒ ์ฐ๊ตฌ๋๊ณ ์๋ค. ๋ณธ ๋
ผ๋ฌธ์์๋ DNN์ ์๊ตฌ์ฌํญ ๊ฒ์ฆ์ ์ฑ๋ฅ์ ํฅ์ํ๊ธฐ ์ํ์ฌ DNN์ ๊ตฌ์กฐ์ ์ฑ์ง์ ํ์ฉํ๋ ๋ฐฉ๋ฒ๋ก ์ ์ ์ํ๋ค. ๋ณธ ๋
ผ๋ฌธ์์๋ ReLU๋ฅผ ํ์ฑํจ์๋ก ๊ฐ์ง๋ DNN์ ๊ตฌ์กฐ์ ์ฑ์ง์ ์ ์ํ๊ณ , ์ด๋ฅผ ์ด์ฉํ์ฌ SMT ๊ธฐ๋ฐ DNN ๊ฒ์ฆ์ ์ฑ๋ฅ์ ํฅ์์ํฌ ์ ์์์ ๋ณด์๋ค.2