【社会科学】集合知を正しく抽出する方法
Nature
人間の集団に提示された問題に対して、多数決による答えや回答者が最も自信をもっている答えによって正解が得られない場合でも正しい答えに到達できる新しい方法について説明する論文が、今週掲載される。
人間集団に提示された特定の問題の最適解は、その集団のコンセンサスだと考えられることが多いが、その理由としては「集合知」を利用して解を導き出す方法である点が挙げられる。ところが、この方法によって必ずしも正しい答えが得られるとは限らない。多数決で得た答えや回答者が最も自信をもっている答えを採用すると、この問題のテーマに関する専門知識を有する少数派の人々の意見が覆い隠されてしまうからだ。例えば「ペンシルベニア州の州都はフィラデルフィアか」という問題を提示した場合に、一般投票で多数となった「はい」が不正解（正解はハリスバーグ）であることをDrazen Prelecの研究チームが明らかにした。
この研究チームは、この民主的な投票システムに代わる方法を提案している。つまり、回答者が問題の答えを投票することに加えて、この問題に対する集団構成員の答えの分布を予想するのだ。そして、Prelecたちは、この分布予想で示された割合よりも実際の投票に占める割合の方が高い答え（この問題では「いいえ」）を選べば、高い信頼度で正解に到達できることを実証した。またPrelecたちは、この「予想を上回る人気」アルゴリズムを米国の州都と一般知識が関係する実験でのさまざまなシナリオで検証し、さらには皮膚科医に皮膚病変の分類をさせる実験と美術の専門家と素人にさまざまな美術品の価値を評価させる実験でも検証を行った。
それぞれの実験は異なる20～50人のグループを対象としたが、Prelecたちは、このアルゴリズムを用いることで、他の一般的な選択原理（単純多数決という方法や回答者の自信の有無によって投票結果の重みづけを行う方法）と比べて、誤った答えが約21～35％減ったことを明らかにしている。そして、Prelecたちは、この新しい方法が、政治や環境など意見が対立しそうなテーマに関する問題（回答者が分布予想を自分の答えに合わせる可能性がある）の場合に役立つ点を指摘している。
A strategy for determining the correct answer to a question posed to a group, when the most popular or most confident response fails under the same circumstances, is described this week in Nature.
The consensus of a group is often considered to be the best answer to a particular question because this approach takes advantage of the ‘wisdom of the crowd’. However, this method does not always produce the correct response because the most popular or confident solution can mask the minority opinion of a few individuals who may have specialized knowledge of the topic. For example, when a group was asked whether or not Philadelphia is the capital of Pennsylvania, Drazen Prelec and colleagues show that the popular vote endorses the incorrect answer (‘yes’ - the capital is actually Harrisburg).
The authors propose an alternative to this democratic vote that instead asks respondents to predict, in addition to casting their own vote, the distribution of others’ answers to the same question. By selecting the answer that is more popular than people predict (in this case ‘no’) the authors demonstrate that they can reliably identify the correct answer. They test this ‘surprisingly popular’ algorithm across a variety of scenarios in experiments involving the US state capitals and general knowledge, as well as by asking professional dermatologists to classify skin lesion images and asking art professionals and laypeople to estimate the value of various pieces of artwork.
In these studies, which involved different groups of 20-50 participants, Prelec and colleagues show that their algorithm reduced errors by approximately 21-35% relative to other common selection principles, such as choosing the simple majority or weighting votes by confidence. They note that this technique would be useful for questions about controversial topics, such as politics or the environment, where respondents might alter their vote predictions to align with their own views.
doi: 10.1038/nature21054
「Nature 関連誌注目のハイライト」は、ネイチャー広報部門が報道関係者向けに作成したリリースを翻訳したものです。より正確かつ詳細な情報が必要な場合には、必ず原著論文をご覧ください。
