クラウドソーシング

概要

クラウドソーシングは,不特定多数の人の寄与を募り,必要とするサービス,アイデア,またはコンテンツを取得するプロセスです.近年,クラウドソーシングが非常に大きな力を持ち始めており(例えば、震災時のGoogle Person Finder,ロゴマークなどさまざまなデザインのアイデア募集,画像のアノテーション,多言語の翻訳,さらにはDARPAのクラウドソーシング実験),ネットワーク社会における新たな労働市場として注目されています.また,人工知能やCSCW、CHIなどの研究分野においてもクラウドソーシングについて注目を集めています.

クラウドソーシングは,見方を変えれば人間と機械の協力によるスーパーインテリジェンスの創造です.しかしながら一方では,見えない人々の協力をいかに成功させるか,クリエーティブなチームをどう構成するか,などの課題が数多く残されています.本研究グループでは,(株)クラウドワークス・(株)石田大成社・京都大学デザインスクールと連携しながら,クラウドソーシングの組織デザインやクラウドソーシングを用いて実際問題の解決に関わる課題に取り組んでいます.各研究の概要については,下の研究内容をご覧ください.

研究内容

複数作業者の連携における最適な実行ワークフローの探索

クラウドソーシングの枠組の発展により,これまで専門家が実行してきたタスクが低コストかつ高速で実行可能になりました.一方で,クラウドソーシングによる非定型タスクの実行は作業者一人の実行では品質が保証されないため,複数人の作業者の連携が用いられています.

これまでの研究で,繰り返しプロセスと並列プロセスによるワークフローの性質が実験により検証されていましたが,それらに対する計算機上でのモデル化および繰り返し,並列プロセスを含む最適なワークフローは提案されていません.本研究では上記の繰り返しプロセスと並列プロセスを組み合わせた最適なワークフローの発見のため,クラウドソーシング作業実行のモデル化を行い,最良優先によるワークフロー探索により最適解が得られることを示します.また,シミュレーションおよび実際のクラウドソーシングプラットフォーム上の実験を用いて検証を行います.

crowdsourcing_workflow

受注履歴に基づくクラウドワーカーのスキル推定

ワーカー選定の際に用いられる重要な指標として,ワーカーの評判情報があります.この評判情報は発注されたタスクが完了した後に,依頼者とワーカーがお互いを評価する制度で行われているが,報復評価を恐れるために相手に良い評価を付けてしまい,その結果として評判情報は高い値に偏ってしまうことが知られています.

この問題を解決するため,本研究はワーカーの受注履歴に基づいてスキルを推定する手法を提案します.受注履歴はどのタスクに応募し,どのタスクで採用されたかという採用結果の情報と,タスクに付与されている必要なスキルに関するタグの情報のことを言います.採用結果の情報より,採用されたワーカーはその他の応募者よりもそのタスクに必要なスキルに関して高いスキルを持っていると判断し,レーティングアルゴリズムを用いて各ワーカーの各スキルについて推定を行います.タグの情報は,スキル間の関連性を計算するために使われます.スキルの関連性を考慮することで,より正確にそのタスクに必要なスキルを評価し,どの応募者が最も高いスキルを持っているのかを推定します.

本研究は,日本最大級のクラウドソーシングプラットフォーム「クラウドワークス」の実データを用いて検証を行います.

crowdsourcing_skill_estimate

クラウドソーシングを用いた翻訳プロセスの効率化

経済のグローバル化に伴い,企業は様々な文書を多数の言語に翻訳する必要に迫られています.翻訳するべき文書の増加や翻訳対象言語の種類の増加に伴い,専門家ではない翻訳作業者の力を借りる必要が出てくると予想されます.

我々は,機械翻訳を利用する翻訳作業者を下訳作成者とみなし,翻訳の専門家がその校正を担当する,クラウドソーシングを用いた翻訳(CAT: Crowd-Assisted Translation)を提案します.機械翻訳とボランティア翻訳者の力を集合させることで,翻訳コストと翻訳時間の削減を狙います.また,サービスコンピューティングの観点で,人間と機械の連携によるプロセスの品質の分析と評価を行います.

(本研究は石田大成社との共同研究です.)

crowdsourcing_translation

主な研究成果

[Chapters in Books]
Dave Murray-Rust, Ognjen Scekic, and Donghui Lin. Worker-Centric Design for Software Crowdsourcing: Towards Cloud Careers. Wei Li, Michael N. Huhns, Wei-Tek Tsai, and Wenjun Wu (Eds.), Crowdsourcing: Cloud-based Software Development. Springer, pp. 39-50, 2015.

[Journals]
Donghui Lin, Toru Ishida, Yohei Murakami and Masahiro Tanaka. QoS Analysis for Service Composition by Human and Web Services. IEICE Transactions on Information and Systems, Vol.E97-D, No.4, pp.762-769, 2014.04.
後藤真介, 林 冬惠, 石田 亨.クラウドソーシングによる翻訳評価の分析. 電子情報通信学会論文誌D, Vol. J97-D, No. 7, pp. 1158-1165, 2014.07.
後藤真介, 村上陽平, 石田 亨. 仮説推論を用いた言語サービスの選択. 電子情報通信学会和文論文誌D, Vol. J96-D, No. 6, 2013.06.
石田憲幸, 高崎俊之, 石松昌展, 石田 亨. Wikipedia翻訳のための多言語議論の支援. 電子情報通信学会論文誌D, Vol.J95-D, No.1, pp.39-46, 2012.1.

[Conferences]
Shinsuke Goto, Donghui Lin, Toru Ishida. Crowdsourcing for Evaluating Machine Translation Quality. Ninth International Conference on Language Resources and Evaluation (LREC 2014), Poster Session. pp. 3456-3463. Reykjavik, Iceland, 2014.05.30.
Noriyuki Ishida, Donghui Lin, Toshiyuki Takasaki, and Toru Ishida. Supporting Multilingual Discussion for Collaborative Translation. The 2012 International Conference on Collaboration Technologies and Systems (CTS 2012), pp. 234-241, 2012.5.23.
Donghui Lin, Toru Ishida, Yohei Murakami, and Masahiro Tanaka. Improving Service Processes with the Crowds. 9th International Conference on Service Oriented Computing (ICSOC2011), Paphos, Cyprus, 2011.12. 6.
Shinsuke Goto, Yohei Murakami and Toru Ishida. Reputation-Based Selection of Language Services. IEEE International Conference on Services Computing (SCC-11), pp.330-337, Washington DC, USA, 2011.7.6.
Donghui Lin, Yoshiaki Murakami, Toru Ishida, Yohei Murakami and Masahiro Tanaka. Composing Human and Machine Translation Services: Language Grid for Improving Localization Process. International Conference on Language Resources and Evaluation (LREC-10), 2010.5.19.

[Symposiums and Workshops]
伊藤勝梧, 林 冬惠, 石田 亨. クラウドソーシング環境における複合サービスの動的制御. 電子情報通信学会サービスコンピューティング研究会, 京都市, 2016.01.15.
後藤真介, 林 冬惠, 石田 亨. クラウドソーシング環境における複合サービスの動的制御. 電子情報通信学会2015年総合大会, 草津市, 2015.03.11.
後藤真介,林 冬惠,村上陽平,石田 亨.クラウドソーシングへの黒板アーキテクチャの適用.電子情報通信学会人工知能と知識処理研究会,東京都,2014.01.10.
後藤真介, 林冬惠, 中島悠. クラウドソーシングによる翻訳品質の推定. サービスコンピューティング研究会 (SC), 2012.11.16.
林冬惠, 石田亨, 村上陽平, 田仲正弘. Combining Crowdsourced Services with Web Services for QoS Improvement. 電子情報通信学会人工知能と知識処理研究会(AI), 東京, 2012.2. 28.
林 冬惠, 村上嘉陽, 石田 亨, 村上陽平, 田仲正弘.Improving Localization Processes with the Language Grid. 情報処理学会創立50周年記念(第72回)全国大会, 東京, 日本, 2010.3.9.

[Patents]
翻訳支援装置、翻訳支援方法、およびプログラム. 中島悠, 石田亨, 石田憲幸, 阿部泰之, 藤本雅也, 齋藤啓二, 関真弓. 特願2012-024942, 平成24年(2012)2月8日.