クラウドソーシング

概要

私たちはクラウドソーシングに関するインセンティブ設計の問題に取り組んでいます.クラウドソーシングとは不特定多数に問題解決を依頼するもので,新しい働き方を実現するものとして注目を集めています.しかし,これまでは,安価な労働力の供給源といった見方をされることも多く,その能力を十分に引き出しているとは言えません.我々は,クラウドソーシングを計算機に支援された人の組織化による問題解決とみなし,適材適所を実現するタスク設計法や報酬設計法を研究しています

さて,インセンティブ設計とは人の動機に着目したものです.報酬をどのように与えるか,ペナルティをどのように与えるかによって人の行動は変わります.高品質の成果物を得るには,タスクや報酬をどう設計すれば良いかを考えるのがインセンティブ設計です.これは,メカニズムデザインとも呼ばれ,これに関する研究は,経済学・ゲーム理論と情報科学の境界領域として大きく発展してきています.

石田・松原研究室の情報経済グループでは,インセンティブ設計の技術を用いて,報酬設計やタスク設計に関する指針を与えることで,より使いやすいクラウドソーシングシステムの実現を目指しています.なお,クラウドソーシングに関するメカニズムデザイン研究を概観したい場合は,以下の解説論文をご覧ください.

  1. 櫻井祐子,松原繁夫:ヒューマンコンピュテーションのためのメカニズムデザイン. 人工知能学会誌, Vol.29, No. 1, 2014.

研究内容

成果型報酬によるクラウドソーシングでの不誠実ワーカの排除

本研究では,クラウドソーシングにおける不誠実なワーカを排除するための成果報酬方式における報酬額設定法を提案しました.近年,不特定多数に問題解決を依頼するクラウドソーシングが注目を集めています.分散した人々を組織化して,効率的なタスク処理の実現を目指すという点で新たな人工知能の形とも言えます.高品質な成果物を得ようとする場合に問題となるのが,不誠実ワーカの存在です.不誠実ワーカとは,報酬のみを目的として,課題の指示内容に十分注意を払わず,でたらめな回答を提出するワーカで,その存在は全体の作業品質を低下させることになります.

従来,機械学習手法等を用いて,不誠実ワーカの影響を低減させるといった品質管理手法が提案されてきています.しかし,事後の対処ではなく,事前に不誠実なワーカを排除できれば,より効率的なタスク解決が可能になると考えました.そこで,私たちは多数決によって正解が決定される文書ラベリングタスクを対象に,誠実なワーカの比率,誠実なワーカと不誠実なワーカの正解率が与えられた場合に,誠実なワーカを惹きつけつつ,不誠実ワーカが自発的に参加を取りやめるような報酬額の設定法を提案しました.Amazon Mechanical Turk上での実験でその効果を確認しました.

incentive_result

図 あなたならどちらのタスクを選択しますか?
  1. Shigeo Matsubara and Meile Wang: Preventing Participation of Insincere Workers in Crowdsourcing by using Pay-for-performance Payments. IEICE Transactions on Information and Systems, Vol.E97-D, No.9, pp.2415-2422, Sep. 2014.
  2. 王美楽, 松原繁夫:クラウドソーシングにおける不誠実ワーカの排除に向けた報酬設定法の提案. エージェント合同シンポジウム(JAWS2012), 2012.

クラウドソーシングにおける効率的なタスク分割法

クラウドソーシングにおいて,複雑なタスクを単純なサブタスクに分割して依頼することがよく行われます.タスクをどう分割するかが,全体のタスク処理効率を決めると言えます.例えば,1ページ分の英文校正タスクがあった場合に,間違い箇所の発見タスク・修正案の提案タスク・修正案の確認タスクに分割するか,あるいは,1パラグラフずつに分割して,個々のワーカに発見・修正・確認タスクを依頼するか,どちらが良いでしょうか?本研究はそういった疑問に答えて,効率的タスク分割法を明らかにしようとするものです.具体的には,垂直分割法(異種のサブタスクに分割)と水平分割法(同種のサブタスクに分割)の優劣に関して,インセンティブという観点からワーカの行動モデルを分析し,計算機シミュレーションを併用することで,垂直分割法が効率的となることを示しました.より詳細には,ワーカの投入労力により,中間成果物と最終成果物の品質が決まり,それによってタスク全体での報酬が決まり,各請負者の取り分が決まるという前提のもとで,各請負者が利己的であるとして,どの程度の労力を投入するかを分析しています.また,サブタスクの難易度設計に関する指針を与え,クラウドソーシングプラットフォームであるAmazon Mechanical Turk上での英文校正タスクを用いた実験により,提案モデルの妥当性を確認しました.

incentive_workflow

  1. Huan Jiang and Shigeo Matsubara: Efficient Task Decomposition in Crowdsourcing, The 17th International Conference on Principles and Practice of Multi-Agent Systems (PRIMA-2014), pp. 65-73, Gold Coast, Australia, 2014.12.

クラウドソーシングにおける動的報酬配分法

本研究では,最終成果物の品質改善を目的として,サブタスクが逐次実行される場合の各サブタスクへの予算配分法を提案しました.クラウドソーシングでは,複雑なタスクを単純なサブタスクに分割することで,ワーカを見つけやすくなります.例えば,英文校正タスクでは,間違い箇所の発見タスク・修正案の提案タスク・修正案の確認タスクに分割して,異なるワーカに依頼するといったことが行われます.ここで問題となるのは,依頼者の予算には制約があるため,各サブタスクにどのように予算を配分するかです.予算配分を難しくするのは,クラウドソーシングではワーカのスキルを事前に知ることが難しい点です.この問題を解決するために,私たちは 問題をマルコフ決定問題として定式化し,予算制約とワーカスキルの不確実性を考慮して,動的にサブタスクの報酬額を設定する方法を提案しました.ここでは,各サブタスクに報酬が与えられていて,その元で各請負者が自己の効用が最大化されるように投入労力を決定し,その結果として各サブタスクへの投入労力の組合せによって依頼者の効用が定まるという前提のもとで分析を行っています.計算機シミュレーションを用いた評価により,比較手法である請負者のスキルに基づく予算配分法やサブタスクの難易度に基づく予算配分法に比べて提案方法が優位となることを確認しました.

reward_mdp

図:マルコフ意思決定問題としての報酬配分問題の定式化

上記の手法は,依頼者が中間成果物の品質を確認できることを仮定していました.しかし,英語の苦手な依頼者が英文校正を依頼する場合などは,中間成果物の品質を正確に確認することは困難です.この問題を解決するために,部分観測マルコフ決定過程(Partially Observable Markov Decision Process, POMDP)として問題をモデル化し,動的報酬配分を実現する手法も提案しています.

  1. Huan Jiang and Shigeo Matsubara: MDP-Based Reward Design for Efficient Cooperative Problem, 18th International Workshop on Coordination, Organizations, Institutions and Norm (COIN-2014), Gold Coast, Australia, 2014.12.
  2. 伊藤優也, 松原繁夫: クラウドソーシングにおけるPOMDPを用いた逐次タスクのワークフロー制御, 電子情報通信学会2016年総合大会, 福岡, 2016.3.

グループ分割による効率的なクラウドソーシングコンテストの実現

私たちは組織論的観点から,グループ分割によるタスク割当ての制御を検討しました.例えば,参加者が互いに他者が書いたプログラムにバグがあるかどうかを検査し,多くのバグを発見した人が勝つといったコンテストを考えます.ここでは,コンテスト形式にして,より多くのバグを発見するように参加者を動機付けることで,集団による効率的なプログラム検査を実現することが目標です.ここで問題となるのは,多くの参加者が一部のプログラム検査に集中してしまうことです.つまり,バグ発見が簡単そうなプログラムにばかり人が集中すると,過度に検査作業が行われるプログラムとまったく検査作業が行われないプログラムが出てきて,効率的な検査を実現できません.

これまでのコンテストの設計に関する研究では,第一位の賞金をいくらに,第二位の賞金をいくらにといったように,最適な賞金額設計の議論が行われてきました.しかし,タスク依頼者には予算制約もあり,賞金額を自由に設定できるわけではありません.そこで,私たちはグループ分割によるタスク割当ての制御に着目しました.グループ分割とは,ワーカの集団を2つに分割し,その中でタスクを選択させるというものです.請負者の自発的な選択を保証しつつ,選択の幅を狭めることを意味します.グループ分割法として,請負者のスキルに応じて,(1)低スキルグループと高スキルグループに分割する方法と,(2)低スキルと高スキルが混在するように全体を2つに分割する方法を比較しました.それぞれの設定の元で,ゲーム理論に基づく均衡解析を行い,シミュレーションを併用して社会的余剰(全体のうれしさ)の大きさを比較しました.これより,スキル別にグループ分割するよりも,ランダムにグループを構成する方が,全体としての問題処理効率が向上することを明らかにしました.

group_division

図 グループ分割の模式図(左:スキル別分割,右:ランダム分割)
  1. Huan Jiang, Shigeo Matsubara: A Division Strategy for Achieving Efficient Crowdsourcing Contest, Journal of Information Processing, Vol. 22, No. 2 pp. 202-209, 2014.
  2. Huan Jiang and Shigeo Matsubara: Improving Crowdsourcing Efficiency Based on Division Strategy. The 2012 IEEE/WIC/ACM International Conference on Intelligent Agent Technology 2012 (IAT’12), Macau, pp. 425-429, 2012.