Experiments on Crowdsourcing Policy Assessment

Can Crowds serve as useful allies in policy design? How do non-expert Crowds perform relative to experts in the assessment of policy measures? Does the geographic location of non-expert Crowds, with relevance to the policy context, alter the performance of non- experts Crowds in the assessment of policy measures? In this work, we investigate these questions by undertaking experiments designed to replicate expert policy assessments with non-expert Crowds recruited from Virtual Labor Markets. We use a set of ninety-six climate change adaptation policy measures previously evaluated by experts in the Netherlands as our control condition to conduct experiments using two discrete sets of non-expert Crowds recruited from Virtual Labor Markets. We vary the composition of our non-expert Crowds along two conditions: participants recruited from a geographical location directly relevant to the policy context and participants recruited at-large. We discuss our research methods in detail and provide the findings of our experiments

Crowdsourcing: A new tool for policy-making?

Crowdsourcing is rapidly evolving and applied in situations where ideas, labour, opinion or expertise of large groups of people are used. Crowdsourcing is now used in various policy-making initiatives; however, this use has usually focused on open collaboration platforms and specific stages of the policy process, such as agenda-setting and policy evaluations. Other forms of crowdsourcing have been neglected in policy-making, with a few exceptions. This article examines crowdsourcing as a tool for policy-making, and explores the nuances of the technology and its use and implications for different stages of the policy process. The article addresses questions surrounding the role of crowdsourcing and whether it can be considered as a policy tool or as a technological enabler and investigates the current trends and future directions of crowdsourcing. Keywords: Crowdsourcing, Public Policy, Policy Instrument, Policy Tool, Policy Process, Policy Cycle, Open Collaboration, Virtual Labour Markets, Tournaments, Competition

Crowdsourcing, sharing economy and development

Hi this paper is now available online.</p

미국의 전자행정입법(e-Rulemaking)을 중심으로

학위논문(박사)--서울대학교 대학원 :법학전문대학원 법학과,2020. 2. 이원우.본 논문은 행정입법에서 시민참여절차에 관한 공법적 연구로 전자행정입법에서 국민의 직접 참여에 의한 의견제출 절차에 관하여 다룬다. 전자행정입법(e-Rulemaking)에서 시민참여절차는 일차적으로 이 제도를 통해 행정입법안에 관심을 가지게 된 일반국민의 실재적인 직접참여를 목적으로 한다. 그러나 전자적 시민참여 제도의 근본적인 목적은 국민이 행정입법과정에 직접 참여함으로써 행정입법 결정에 실질적인 영향력을 행사하여 행정입법의 민주적 정당성을 보완하고, 시민참여 과정에서 국민과 행정, 그리고 국민 서로간의 상호작용을 통해 숙의민주주의를 실현하는 것에 있다. 정보통신기술의 발달과 전자행정시스템의 구축, 그리고 전자행정입법 관련 법제의 정비는 기존의 시민참여 기제가 내재적으로 보유하고 있던 한계들을 극복하고 일반국민에 의한 실질적이고 의미 있는 시민참여가 실현될 수 있는 토대를 마련해 주었다. 전자적 방식에 의한 시민참여는 그간 일부 이해관계인이나 이익집단에 한정되었던 시민참여를 일반국민에게까지 확장하여 다양한 참여자에 의한 실질적인 시민참여를 가능하게 해 주었다. 이로써, 시민참여 제도는 대의민주주의의 한계를 극복할 수 있는 수단이자, 행정입법의 민주적 정당성을 보완하는 수단으로 기능할 수 있게 되었다. 그런데 우리의 행정현실에서 전자적 시민참여는 형식적인 절차로 제도화되어 있을 뿐, 실질적으로 행정입법 과정에서 일반국민에 의한 의미 있는 직접참여가 이루어지지 못하고 있다. 이와 비교하여 미국의 전자행정입법 제도는 망중립성규제에서 보여주듯이, 일반국민에 의한 직접참여를 통해 실질적인 절차로 제도화되어 가고 있다. 이에 미국에서의 전자행정입법의 발전과정과 사례를 분석해 봄으로써, 우리나라와 미국이 정보통신 인프라의 구축과 전자행정입법의 시행을 위한 법제도의 정비라는 면에서 크게 다르지 않음에도 불구하고 이와 같은 차이를 보이는 원인으로 다음과 같은 요인들이 있음을 확인할 수 있었다. 먼저, 미국의 전자행정입법 제도에서는 의견제출의 내용을 행정입법 관련 자료로서 행정입법안예고 시 제3자인 일반국민에게 제공하고 있다. 또, 주요한 의견제출의 경우 최종행정입법에의 반영 여부와 그 근거 또한 행정입법 관련 자료로서 제3자인 일반국민에게 공개하고 있다. 의견제출의 내용을 제3자인 일반국민에게 공개하는 것은 다음과 같은 측면에서 그 의의를 가진다. 첫째, 의견제출의 내용에 포함되어 있는 다양한 관점의 행정입법 관련 정보들은 일반국민들뿐만 아니라 행정에게도 당해 행정입법에 관한 학습의 기회를 제공한다. 둘째, 행정입법안의 계획이나 입안 단계에서 배제되었던 이해관계인에게 의견제출의 기회를 제공해 주고, 이를 통해 행정은 사전적으로 분쟁의 소지를 파악하고 해결할 수 있는 기회를 얻어 행정입법의 완성도를 높일 수 있다. 셋째, 의견제출 내용과 주요 의견제출의 반영 여부를 공개하는 것은 행정의 투명성을 강화시키고, 행정의 자의를 통제하는 기능을 한다. 다음으로, 미국의 전자행정입법 제도가 실질적인 제도로서 활성화될 수 있었던 요인에는 미국에서 특징적으로 발전되어 온 기록 관련 법제들의 역할이 주요했음을 발견할 수 있었다. 미국에서 행정입법 관련 기록은 행정의 투명성을 높이고 추후 제기될 수 있는 사법심사에서 행정입법의 적법성을 판단하기 위한 자료로서 활용되었었다. 그러나 기록화는 행정시스템의 전자화와 전자행정입법 제도의 도입으로 인해 결과적으로 행정입법 절차를 의미 있게 만드는 역할을 수행하게 되었다. 전자행정입법에서 기록화는 일반국민의 참여에 기여하여 시민참여 제도를 실질적인 절차로 공고히 하는데 큰 역할을 담당하였다. 끝으로, 행정입법의 중요성에 대한 일반국민의 인식부족이나 참여 동기의 부재는 법제의 잘못된 운용방식만큼이나 시민참여를 저해하는 주요한 요인으로 작용함을 확인할 수 있었다. 기술의 발달은 전자적 시민참여를 통해 행정입법에서 참여민주주의를 실현할 수 있는 가능성을 발견해 주었고, 가속적으로 발달되고 있는 기술들은 현행 전자행정입법의 한계들을 극복할 수 있는 방안을 제시해 주고 있다. 그러나 전자적 시민참여가 의미 있는 실질적인 제도로 발전하기 위해서는 일반국민에 의한 참여가 활성화되어 참여자의 다양성이 확보되어야 한다. 따라서 일반국민의 의견제출을 활성화하기 위한 행정입법 관련 정부 프로그램을 개발하고 중요한 행정입법의 경우 이에 대한 홍보와 함께 국민의 접근성을 높일 수 있는 다양한 참여방식이 마련되어야 한다. 전자행정입법 제도가 성숙되면 의견제출에 의한 시민참여의 결과가 최종행정입법에 반영되고, 이러한 시민참여의 영향력은 다시 의미 있는 시민참여를 창출하는 원동력으로 작용하게 된다. 결국, 이와 같은 선순환은 시민참여제도를 성숙시켜 시민참여제도가 행정입법의 민주적 정당성을 보완하고, 민주와 법치, 숙의민주주의를 실현할 수 있는 제도로 발전할 수 있는 기틀을 마련한다. 이에 본 논문은 행정입법에서 시민참여절차에 관한 공법적 연구라는 대 주제를 기본으로, 먼저 시민참여의 다양한 역할과 기능에 관하여 법제적인 관점에서 그 의의를 파악하고 구체적인 법도그마틱을 도출해 보았다. 다음으로, 미국의 전자행정입법 제도의 발전과정과 사례를 통해 우리의 전자행정입법의 현재에 대비하고, 인공지능 기술 및 크라우드-시빅(Crowd-Civic) 시스템과 같은 새로운 기술들에 관한 논의를 통해 우리의 전자행정입법의 미래에 대비할 수 있는 제안을 담아 보았다.The general purpose of the electronic participation in e-Rulemaking is to derive the direct participation of the citizens who have become interested in the administrative legislation through this system. However, the primary purpose of e-participation is to complement the democratic legitimacy of administrative rulemaking through the direct participation of the citizens that influences final rulemaking. And the fundamental purpose is to realize deliberative democracy through those procedures. The development of modern information and communications technology and the establishment of electronic administrative system provide a way to overcome the physical limitations inherent in existing public participation mechanisms and to activate e-participation. Therefore, the e-participation system was able to function as a complementary means to overcome the limitations of representative democracy by the participation of various ordinary people, rather than by limited participation, by expanding participants represented by some stockholders or interest groups to the general public. However, in our administrative reality, the public participation procedures being implemented as a response procedure to the notice of the informal rulemaking procedures are operating in a very formal and limited form. This calls for activating e-participation to seek ways to supplement democratic legitimacy in administrative legislation and realize the values of democracy and rule of law through meaningful comment procedures. Therefore, it should be analyzed and reviewed the e-Rulemkaing and electronic public participation procedures in the United States. Through the analysis, the main measures to activate our electronic public participation system as a meaningful system are as follows. First, the comments of the responses submitted by the people in the e-Rulemaking should be provided to the public who is the third party in the e-Rulemaking procedures. it should be provided as one of e-Rulemaking data. In the case of major comments, whether and how the comments are refeled in the final rule shall be provided to the public as a third party comments in the same way the e-Rulemkaing notice published. Secondly, we can see that the measures to control administrative rulemaking and to record related data of administrative rulemaking, which have been developed characteristically in the U.S., have had an important effect on realizing the electronic public participation system as a result of the application of e-Rulemaking system. In particular, in the case of recorded regulations, data from the administrative rulemaking procedures, which was recorded as data to improve transparency of administration and to determine the legitimacy of administrative legislation in the review of the legality of rule that could be brought forward later, played a role in making administrative legislation procedures meaningful due to digitalization. In administrative rulemaking, record-keeping regulations played a major role in consolidating the citizen participation system in a procedural manner by contributing to public participation. Third, the Federal Administrative Procedures Act of the United States is essentially silent in addition to the general provisions that the public participation procedure must be reflected in the administrative process. However, the Presidential Executive Order, which was enacted to institutionalize the e-Rulemaking, exerted force on the administration and contributed to the establishment of an electronic public participation system. On the other hand, factors that impede the activation of electronic citizen participation in e-Rulemaking include inadequate legal and technical systems, as well as lack of public awareness of the importance of rulemaking and lack of motivation for public participation. These factors serve as a major impediment to public participation as much as the absence of a legal system. The launch of technology has revealed the possibility of realizing participatory democracy in rulemaking through electronic citizen participation. Also, the technologies that are developing rapidly provide a way to overcome the limitations of current e-Rulemaking. However, in order for electronic civic participation to develop into a meaningful system, public participation by the general citizens must be activated to ensure diversity of participants. Therefore, in order to promote the comments of e-Ruelmaking as a public participation, various approaches should be developed along with the development of government programs related to public participation and the promotion of important e-Rulemaking.제1장 서 론 1 제1절 연구의 목적과 배경 1 I. 연구의 목적 1 II. 연구의 배경 5 제2절 연구의 방법과 범위 7 I. 연구의 방법 7 II. 연구의 범위 8 제2장 행정입법과 시민참여절차 12 제1절 개관 12 제2절 시민참여에 의한 행정입법의 통제 14 I. 행정입법에서의 시민참여 15 1. 행정입법의 의의 15 2. 행정입법절차의 의의 16 3. 행정입법절차로서 시민참여의 의의 17 II. 민주와 법치에 의한 행정입법의 통제 18 1. 행정의 절차적 통제 19 2. 행정입법의 통제수단 24 III. 숙의민주주의의 제도화로서의 시민참여 29 1. 시민참여의 개념 30 2. 시민참여의 의의 33 3. 시민참여의 기능 35 제3절 전자적 시민참여에 의한 행정입법 37 I. 전자정부 38 1. 전자정부의 개념 38 2. 전자정부에서 행정의 역할 40 3. 전자정부법의 도입과정 41 4. 전자정부의 성숙단계이론 44 II. 전자적 방식에 의한 시민참여 46 1. 전자적 시민참여의 개념 47 2. 전자적 시민참여의 의의 48 3. 전자적 시민참여의 발전단계 51 III. 전자적 시민참여에 의한 행정입법의 민주적 정당성 53 제3장 미국 행정입법과 시민참여제도 56 제1절 개관 56 제2절 행정입법제도의 발전 59 I. 행정입법의 의의 60 II. 행정입법제도의 도입 63 1. 행정입법의 기원 63 2. 연방행정절차법의 제정 65 III. 행정입법권한의 성장 71 1. 제1성장기 72 2. 제2성장기 74 IV. 시대별 행정입법제도의 변천 76 1. 행정입법의 확대와 비판 76 2. 행정입법의 제한적 발전 77 3. 행정입법의 다양화 80 V. 시민참여에 의한 행정입법의 통제 84 1. 기록화 84 2. 행정입법의 통제와 시민참여 91 제3절 시민참여제도의 발전 97 I. 초기 시민참여제도 97 1. 논의의 배경 97 2. 초기 시민참여제도의 유형 99 II. 시민참여제도의 절차적 변화 107 1. 고지 및 의견제출에 의한 행정입법에서 시민참여 108 2. 협상에 의한 행정입법에서 시민참여 111 III. 이익집단에 의한 시민참여제도의 활성화 116 1. 사회적 규제 확대 116 2. 이익집단에 의한 시민참여 119 IV. 시민참여에서 참여자의 다양성 확보 125 1. 일반시민에 의한 시민참여의 확대 125 2. 정부 프로그램에 의한 시민참여 128 V. 행정부에 따른 시민참여제도의 변화 129 1. 시민참여제도의 확대 130 2. 시민참여제도의 축소 132 3. 시민참여제도의 활성화 137 4. 시민참여제도의 정체 140 제4절 소결 141 제4장 미국의 전자행정입법과 전자적 시민참여 144 제1절 개관 144 제2절 전자행정입법의 법적 쟁점와 발전과정 148 I. 전자행정입법의 법적 쟁점 148 1. 연방행정절차법 148 2. 연방행정절차법 개정의 필요성 151 3. 그 밖의 법적 쟁점 153 II. 전자행정입법의 발전과정 156 1. 전자행정입법의 도입 156 2. 제1세대 전자행정입법 161 3. 제2세대 전자행정입법 165 제3절 고지 및 의견제출에 의한 행정입법의 전자화 171 I. 고지 절차의 전자화 172 1. 전자적 고지의 의의 172 2. 전자적 고지 절차 174 II. 의견제출의 전자화 176 1. 의견제출의 접수 176 2. 의견제출의 사전검토 180 가. 개인정보 보호 183 나. 영업비밀 및 기밀정보의 보호 186 다. 저작권을 포함하는 정보의 보호 188 라. 외설 및 위협의 언어를 포함하는 의견제출 191 3. 의견제출의 처리 및 반영 191 III. 전자적 기록화에 관한 법적 쟁점 196 1. 전자적 의견제출의 기록화 196 2. 전자적 기록보관과 법적 쟁점 201 제4절 사례연구: 망중립성 규제의 전자행정입법 208 I. 개관 208 1. 사례선택의 배경 208 2. 적용 법령 209 II. 망중립성 규제의 배경 210 III. 전자적 의견제출에 의한 시민참여 213 1. 경과 213 2. 전자적 방식에 의한 의견제출 215 IV. 소결 218 제5절 전자행정입법 활성화에 대한 평가와 전망 221 I. 전자행정입법의 한계와 혁신성 221 1. 현행 전자행정입법의 한계 221 2. 전자행정입법의 혁신성 224 II. 전자적 의견제출의 활성화와 법적 쟁점 227 1. 인공지능 기술 적용에 따른 문제점 227 2. 신기술 적용에 따른 통합 기술관리 기관의 필요성 229 3. 텍스트 분류 시스템과 알고리즘의 편향성 231 4. 전자행정입법에서 조력자의 개입 필요성 234 III. 전자행정입법에서 신기술 적용의 과제 240 1. 전자적 방식 적용의 의의 241 2. 인공지능 알고리즘의 활용과 문제점 243 3. 크라우드소싱의 의의와 문제점 244 제6절 소결 253 제5장 우리나라 전자행정입법의 현황과 개선방안 257 제1절 개관 259 제2절 행정입법에서 전자적 시민참여 259 I. 법규명령에서의 전자적 시민참여 259 1. 전자적 시민참여의 현황 및 평가 259 가. 대상 및 기간 262 나. 수단 및 방법 264 2. 전자적 시민참여의 개선방안 268 II. 행정규칙에서의 전자적 시민참여 271 제3절 전자적 방식에 의한 시민참여제도 273 I. 청원, 민원, 국민제안 및 공청회 제도 273 1. 전자적 시민참여제도의 현황 및 평가 273 2. 전자적 시민참여제도의 개선방안 281 II. 전자적 시민참여를 위한 전자행정시스템 285 1. 전자적 행정입법예고 시스템의 현황 및 평가 285 2. 전자적 행정입법예고 시스템의 개선방안 288 제4절 전자적 시민참여의 활성화 290 I. 행정입법 관련 정보의 전자적 제공 290 1. 행정입법 관련 정보제공의 의의 291 2. 전자적 정보공개의 현황 및 평가 293 가. 미국 293 나. 우리나라 294 3. 전자적 정보공개 활성화를 위한 개선방안 297 가. 정보공개의 범위 및 정도 298 나. 의견제출 내용의 공개 및 제공 299 II. 전자행정입법예고 시스템의 통합관리 302 1. 전자정부지원센터의 현황 및 평가 302 2. 통합 전자행정시스템을 위한 개선방안 304 III. 행정입법 관련 자료의 기록화 307 IV. 그 밖의 전자적 시민참여 활성화를 위한 개선방안 309 1. 국민의 참여유인 강화 309 2. 행정의 내부적 통제 310 제5절 소결 312 제6장 결 론 314 참고문헌 322 Abstract 346Docto

Experiments on Crowdsourcing Policy Assessment

Can Crowds serve as useful allies in policy design? How do non-expert Crowds perform relative to experts in the assessment of policy measures? Does the geographic location of non-expert Crowds, with relevance to the policy context, alter the performance of non-experts Crowds in the assessment of policy measures? In this work, we investigate these questions by undertaking experiments designed to replicate expert policy assessments with non-expert Crowds recruited from Virtual Labor Markets. We use a set of ninety six climate change adaptation policy measures previously evaluated by experts in the Netherlands as our control condition to conduct experiments using two discrete sets of non-expert Crowds recruited from Virtual Labor Markets. We vary the composition of our non-expert Crowds along two conditions: participants recruited from a geographical location directly relevant to the policy context and participants recruited at-large. We discuss our research methods in detail and provide the findings of our experiments. Prpić, J., Taeihagh, A., &amp; Melton, J. (2014). Experiments on Crowdsourcing Policy Assessment. Oxford Internet Institute, University of Oxford - IPP 2014 - Crowdsourcing for Politics and Policy