News Feature

AI時代の仕事と雇用

Credit: ILLUSTRATIONS BY CHRIS MALBON

2016年、オンライン授業を提供する教育会社「Udacity」の設立者で社長でもある起業家のSebastian Thrunは、人工知能(AI)を利用して営業部門のてこ入れをすることにした。Udacityには、受講に関する問い合わせをしてくる人々にオンラインチャットで対応する営業担当者が大勢いる。スタンフォード大学(米国カリフォルニア州)でコンピューター科学の研究室も主宰しているThrunは、学生の1人と協力してこれらのオンラインチャットの記録を集め、受講者の獲得につながったチャットに印を付けた。2人は機械学習システムにそれらを入力し、よくある質問に対する最も効果的な応答を収集させた。

彼らは次に、出来上がった「デジタル営業アシスタント」を人間の営業担当者と一緒に働かせた。問い合わせが入ると、プログラムが適切な応答を提案する。営業担当者はそれを使って返事をするが、必要に応じて手直しすることもできる。つまり、あらゆる状況をカバーする広範なデータを蓄積し、瞬時に反応することができる営業マニュアルである。彼らのシステムはうまく行った。営業部門はこれまでの2倍の人数の見込み客に同時に応対できるようになり、応対が売り上げに結び付く割合も高くなった。自分たちのシステムは、社内で最も優秀な営業担当者たちのスキルをパッケージにして営業部門の全員に分け与えるものだと、Thrunは言う。彼は、この方法は革命を起こす可能性があると見ている。「蒸気機関や自動車が人間の筋力を増幅したように、人間の知力を増幅し、超人的な知性の持ち主に変えるのです」。

人工知能、ロボット工学、クラウド・コンピューティング、データ分析、モバイル通信などのデジタル技術は、この10年間で飛躍的に進歩した。これらの技術は、今後数十年のうちに、農業、医療、製造業から、販売、金融、運輸まで、ほとんど全ての産業を変容させ、仕事の本質を作り変えるだろう。マサチューセッツ工科大学(MIT;米国ケンブリッジ)のデジタル経済イニシアチブ(Initiative on the Digital Economy)を率いるErik Brynjolfssonは、「多くの仕事が消えてなくなり、多くの新しい仕事が生まれ、また必要とされるでしょう。それ以上に、はるかに多くの仕事の形が変わるでしょう」と予想する。

しかし、確実な予測は難しい。「デジタル技術が猛スピードで進歩しているからです。これはある意味良いことなのですが、その影響についての理解が全然追いつかないという問題が生じてしまうのです」とBrynjolfssonは言う。「この技術がもたらす変化に関する研究は、ニーズが非常に高く、とても大きなチャンスがあります」。実際、研究者たちはこうした研究を始めているが、これまでに集まった証拠を見ると、物語は単純な筋書きにはなりそうにない。デジタル技術の進歩は、複雑かつ微妙なやり方で仕事を変え、労働者にとってはチャンスとリスクの両方を創り出すと考えられるからだ(「さらなる研究が必要なテーマ」参照)。

以下では、デジタル社会における仕事の未来について、3つの切迫した問題を紹介し、研究者が出し始めた答えを見ていく。

機械学習は熟練労働者を不要にするか?

技術の進歩による仕事の自動化の波は以前にもあり、そのときには、単純で反復的で型通りに進められる仕事は機械が引き受けるようになった。だが機械学習の登場により、「認知(cognitive;状況を認知して自ら学習・思考し、答えを出す)」を要する、より複雑で型通りには進められない作業を自動化できる可能性が開かれた。「この40~50年間は、人間が十分に理解していない作業を自動化することは不可能でした」とBrynjolfssonは言う。「けれども今は違います。機械が自分で学習できるようになったからです」。

話し言葉を翻訳し、画像を分類し、株の銘柄を選び、詐欺を検知し、病気を診断することができる機械学習システムは、新しい領域や意外な領域で、人間に匹敵する能力を見せている。「機械は、人間には到底不可能な量の標本データを見ることができます」とThrun。彼が率いる研究チームが2017年初頭に発表した論文では、12万9000点の皮膚病変の画像を使って人工知能を訓練したところ、皮膚科専門医に匹敵する精度で皮膚がんを診断することができたと報告している1Nature ダイジェスト 2017年5月号「AIによるがん診断支援が現実味を帯びてきた」参照)。

このような進歩を目の当たりにした人々は、以前は複雑過ぎて自動化できないと考えられていた分野でも、機械学習システムが人間の労働者に取って代わるようになるのではないかと心配するようになった。そして初期の見積もりでは、人間の雇用に関して悲惨な未来が予想された。2013年、英国のオックスフォード大学マーティンスクールの技術・雇用プログラム(Oxford Martin Programme on Technology and Employment)の研究者らは、機械学習と移動ロボット工学の進歩と未解決問題を検討し、702種類の職業が自動化により機械に取って代わられる可能性を見積もった2。その結果は驚くべきもので、米国の仕事の47%がコンピューター化による消滅の危機にさらされ、運輸、物流、製造、管理支援の仕事は特に危ないとされた。もし本当なら、タクシー運転手、弁護士秘書、文書整理係などは大変なことになってしまう。

しかしその後、他の研究者たちが「多くの職種の労働者が実際に行っている仕事の多様性を考えると、47%という数字は大き過ぎる」と主張した。欧州経済研究センター(Centre for European Economic Research、ドイツ・マンハイム)の上級研究員Ulrich Zierahnは、「労働者が職場で実際に行っている仕事をもっと掘り下げ、タスク構造を調べれば、47%という数字はもっと小さくなります」と言う。

例えば、オックスフォード大学の研究は、簿記、会計、監査の事務員が自動化により職を失う危険性は98%と報告していた。けれどもZierahnらが、こうした職種の人々の実際の仕事内容に関する調査データを分析したところ、76%の人がグループでの作業や対面でのやりとりを必要とする仕事をしていることが明らかになった。少なくとも現時点では、そうした作業は容易には自動化できない3。同様のアプローチを他の職種にも広げた著者らは、調査を行った21カ国で消滅の危機にある職業の数について、それほど意外ではない数字を導き出した。自動化により大きな危険にさらされる労働者の割合は米国では9%にすぎず、低いところでは韓国とエストニアの6%で、最高でもドイツとオーストリアの12%であった(「ロボットにはまだ負けない」参照)。

ロボットにはまだ負けない
2016年の報告で、高所得の21カ国で自動化により消える危険性が高い(70%以上)職業の割合が考察された。それぞれの職業で労働者が実際に行っている仕事の多様性を考慮しているため、以前の研究の見積もりよりも低い数字になっている。 Credit: SOURCES: OECD/REF. 3 (HTTP://GO.NATURE.COM/2KK4D4Y)

Brynjolfssonは現在、カーネギー・メロン大学(米国ペンシルベニア州ピッツバーグ)のコンピューター科学者Tom Mitchellと協力して、機械学習の影響をさらに深く掘り下げようとしている。彼らは、機械学習に特に適したある種の作業について、その特徴を大まかにつかむ方法を考え出した。例えば、機械学習システムは、1セットの入力(皮膚病変の画像など)を別の1セットの出力(がんの診断など)に翻訳するような作業が得意だ。また、機械学習システムの訓練には大量のデジタルデータが必要であるため、こうしたデータを入手しやすい作業に用いられることになるだろう。BrynjolfssonとMitchellは今、複数の大規模な職業データベースを調べていて、職場での各種作業がこうした規準にどの程度当てはまるかを決定しようとしている。

この種の分析が行われるようになっても、労働市場でどのような結果になるかを見極めるのは困難だ。ある作業の自動化が可能であっても、実際に自動化されるとは限らないからだ。新しい技術はしばしば組織的な変化を必要とし、そうした変化には費用も時間もかかる。法律や倫理や社会の壁が、技術の発達を遅らせたり失敗に終わらせたりすることもある。ミラノ大学(ビコッカ校)(イタリア)で健康情報学を研究しているFederico Cabitzaは、「AIはまだ既製品にはなっていません」と指摘する。例えば、医療分野で機械学習システムを導入するためには、技術ができているだけでは不十分で、システムを稼働させるために多くの人手と時間を捧げる覚悟が必要だと彼は言う。介護者や患者の同意が必要なのは言うまでもない。

これまでの研究から、労働者は新しい技術に柔軟に適応することが分かっている。20世紀の後半には、作業の自動化が進むにつれて職業内で変化が起こり、従業員は、より複雑で、決まった手順では進められないような仕事を担うようになった。未来の事例を考えるとき、自動化による変化が望ましい方向に作用する場合もある。型通りの手順で診断がつくものを自動化されたシステムに任せることで、医師は患者とのやりとりや難しい症例にもっと時間を割けるようになるかもしれない。「コンピューターが上手に病気を判断できるようになってきたからといって、医師という職業がなくなるわけではないのです」とMitchellは言う。「私たちは今よりも良い医師に治療してもらえるようになるのかもしれません」。

実際、多くの人は、AIシステムに取って代わられることなく、Udacityの営業担当者のように一緒に働くようになるのかもしれない。例えば、自動運転車はまだ、どんな状況でも単独で走行できるレベルには達していないため、日産自動車は人力による解決法を開発している。自動運転車が道路工事や交通事故などの理解不可能な状況に遭遇すると、車が遠隔指令センターに連絡して、問題の地点を通過するまで人間の「運転管理者」が車に代わって操縦するのだ。ヒューマン・コンピュテーション研究所(Human Computation Institute;米国ニューヨーク州イサカ)のPietro Michelucci所長は、「機械と人間の考え方は根本的に違っていて、それぞれに長所があります。ですから、機械と人間が手を結ぶのはごく自然なことなのです」と言う。

ギグ・エコノミー拡大で労働者からの搾取が進む?

労働者がインターネット上のプラットフォームを利用して短期の小さな仕事を見つける「ギグ・エコノミー(gig economy)」は、労働者の柔軟性、多様性、自律性を約束する働き方として、近年急成長している(「ギグ」の元々の意味は、ミュージシャンが短期の契約で演奏すること)。デジタルに仲介されたオンデマンド式の単発の仕事には、タクシーサービス「ウーバー(Uber)」の運転手として働くことから、アマゾン・メカニカルターク(Amazon Mechanical Turk)などの巨大なクラウドワーキング・プラットフォームでのマイクロタスク(調査への協力、短い文章の翻訳、画像の分類など)の受注まで、さまざまな形態がある。

こうしたデジタルのプラットフォームにより、労働者はどこで発注された仕事でも受注できるようになった。地理的な壁がなくなれば、労働者は良い仕事を選んで受注できるわけだ。オックスフォード大学のデジタル地理学者Mark Grahamは、「例えばあなたがナイロビに住んでいても、地元の労働市場の制約を受けずに済むのです」と言う。Grahamらは数年前から東南アジアとサハラ以南のアフリカにおけるデジタルオンデマンド経済の研究をしている。彼らは、これらの地域の150人以上のギグワーカーと対面でのインタビューを行い、500人以上について調査し、インターネット上の労働プラットフォームでの数十万件のやりとりを分析した。

彼らの予備的な研究結果は、こうした単発の仕事でそれなりの利益を得ているギグワーカーもいることを示していた。調査への回答者の68%が、ギグワークの報酬が世帯収入の大きな部分を占めていると答えていた。また、デジタルプラットフォームは、就労機会が制限されている人々(家族を介護している女性や労働許可を持たない移民など)を含め、さまざまな人に仕事を提供していた。「本当にもうかっている人もいます」とGrahamは言う。「けれどもそれは、一部の人です」。

ギグ・エコノミーでは労働者が著しい供給過剰状態にあり、一部の労働者は、自分が妥当と考える金額よりも安い報酬で仕事を受注するようになっている。厳しい締め切りに間に合わせるため、猛烈なペースで長時間働く労働者も多い。「一般に、彼らの生活は非常に不安定で、与えられる仕事にノーとは言えないと感じています」とGraham。「請け負った仕事を時間通りに終わらせるために48時間ぶっ続けで仕事をすることもあるという人も、少なからずいました」。

地理的不平等もかなり残っている。Grahamらは2014年の研究4で、ある大規模なプラットフォームで2013年3月に発生した6万件以上のやりとりを分析した。その結果、ほとんどの仕事が高所得国の雇用者によって発注され、低・中所得国の労働者によって受注されていたことが明らかになった(「ギグ・エコノミーがもたらす不平等」参照)。

ギグ・エコノミーがもたらす不平等
英語でのフリーランスワークを仲介する最大規模のオンライン・プラットフォームでは、全体の半数近くの仕事が米国の雇用者から発注され、仕事を受注する労働者の多くはアジアに住んでいる。それぞれの上位5カ国は以下の通り。 Credit: SOURCE: ILABOUR (HTTP://GO.NATURE.COM/2GZE5TZ)

ギグ・エコノミーでは世界中どこでも仕事を受注できるはずだが、発注者の近くに住んでいる労働者はやはり有利であるようだ。彼らは海外の労働者よりも仕事を受注する割合が高く、同様の仕事に対してはるかに高額の報酬を得ている(例えば、米国の労働者の平均時給が24.13ドルであるのに対して、同様の仕事をする海外の労働者の平均時給は11.66ドルである)。そして、一部の低・中所得国は、他の国よりはるかに多くの仕事を獲得している。Grahamの分析では、上位2カ国はインドとバングラデシュだった。

不平等の一部は実務的な懸念によって説明できる。一部の発注者は、言語の違いや時差がある外国の労働者に仕事を発注することを躊躇する。また、インドとバングラデシュへのアウトソーシングの歴史の長さが、この地域の労働者を魅力的に見せている可能性も考えられる。しかし、意識的あるいは無意識の差別も関係している。Grahamのチームは、仕事を提示する際に、一部の国の人々は応募する必要がないと明記する発注者がいることに気付いた。Grahamと一緒に研究をしている研究者Mohammad Amir Anwarは、「こうした技術で世界のさまざまな場所を結び付けられるようになっても、私たちが期待するほどには、異なる人々の間に橋をかけることはできていません」と言う。

ギグワーカーに関する別の大規模な民族学的研究では、ギグワークがどのように行われているかを解明しようとしている。この研究は、労働者が成功するために必要なものについての手掛かりも与えてくれる。マイクロソフト研究所(Microsoft Research)の上級研究者である人類学者のMary Gray(米国マサチューセッツ州ケンブリッジ)と計算社会学者のSiddharth Suri(米国ニューヨーク)は、2013年から2015年にかけて米国とインドの約2000人のギグワーカーを調査し、そのうちの200人に長時間のインタビューを行った。

最初に明らかになったことの1つに、ギグワーカーはしばしば独立の自律的な労働者として説明されるが、実際にはその多くが連絡を取り合い、協力し合っているという事実がある5。労働者はお互いに助け合ってアカウントやプロフィールを作成し、良い発注者や新たに掲載された仕事に関する情報を共有し、技術的・社会的に支え合っていた。Suriによると、ギグワーカーはシステムから排除された人間的なつながりを再び追加しようとして意識的に努力している。彼らは自分の時間を割いてこうした作業をしているので、「ギグワーカーが人間的なつながりに価値を認めていることは明らか」だという。

GrayとSuriらは、より定量的な追跡研究6として、アマゾン・メカニカルタークの1万人以上のギグワーカーについて社会的なつながりの地図を作成し、彼らの協力関係が実際に役に立っていることを明らかにした。プラットフォームの1人以上とのつながりがある労働者は、つながりを持たない労働者よりも納品した仕事の受領率が高く、優秀さの証明となる「マスター」のステータスを持っている割合が高く、新しい仕事を早く見つけていた。生産的なギグワーカーになるためには「協力し合う必要があることが分かりました。彼らはお互いを必要としているのです」とGrayは言う。

デジタルスキルの格差は解消できるか?

専門家たちは長年にわたりデジタルスキルの不足に警鐘を鳴らしてきた。ハイテクの仕事を担える訓練を受けた労働者の数が少なすぎる上、ある種の地理的領域や人口統計群の労働者は、基礎的なデジタルリテラシー(デジタル機器を活用して社会活動を行う能力)の不足のため、デジタル経済の中で成功することができないというのである。こうした懸念を払拭しようと、デジタルリテラシーやデジタルスキルを向上させるための各種の革新的なプログラムが世界中で登場している。これまでの研究により、どんなプログラムがうまくいき、どんなプログラムがあまりうまくいっていないか、そして、スキル訓練のどんな点が期待通りに行っていないかについての手掛かりが集まり始めている。

記録的な成功を収めたプログラムもある。今から10年以上前、米国防総省高等研究計画局(DARPA)は、米国海軍の新兵を情報システム技術者として訓練するための「デジタルチューター」システムの開発に着手した。このシステムは、1人1人の生徒に合った訓練ができ、双方向的で、適応性がある。生徒はこのチューターと1対1で訓練を行い、さまざまな項目について学び、関連する問題を解く。デジタルチューターは概念学習と考察を優先し、これまで学んだことを生徒に何度も復習させる。生徒がその項目をマスターしたとシステムが判断したら、次の項目に進むことができる。

米国防衛分析研究所(IDA;米国バージニア州アレクサンドリア)の研究者が2014年にこのプログラムのレビューを行ったところ7、16週間のコースを終えた12人の新兵が、米国海軍がその2倍以上の時間をかけて行う従来のIT訓練を終えた新兵よりも優秀だったことが明らかになった。それだけではない。この12人は、平均10年の経験を持つ海軍の年長のIT技術者グループよりも、ほとんど全ての点で優れていた。レビュー論文の共著者Dexter Fletcherは、「こんなことができるのですから、もっと活用するべきではないでしょうか。職業訓練への応用を本気で考えるべきです」と言う。

Fletcherはその後の追跡研究8で、民間のIT系職種への就職を希望する100人の退役軍人に対し、このデジタルチューターの微修正バージョンを使って訓練を行ったところ、この実験でも同様の結果を得た。訓練プログラムを終えた退役軍人の97%が、半年以内に希望するIT系職種への就職を果たし、この分野で3~5年の経験がある人と同程度の平均年収を得ることができたのだ。

この他にも、人々のデジタルスキルを向上させ、雇用を改善するための戦略が多数奨励されている。インターネット上で大学レベルの授業を無料で受講できるMOOC(Massive Open Online Course)や、コンピューター・プログラミングの基礎を教える短期間集中型の訓練コース「コーディング・ブートキャンプ(coding bootcamp)」も、そうしたプログラムの1つである。

2016年にコロンビア、フィリピン、南アフリカの1400人のMOOCユーザーに関する分析9が行われ(「もう一度学びたい」参照)、受講者の80%が低所得または中所得の家庭で育ち、41%がごく基本的なコンピュータースキルしか持っていないことが明らかになった。また、MOOCの受講者の半数以上(56%)が女性で、最も人気があるプログラムはコンピューター科学だった。この報告書の共著者であるワシントン大学情報学部(米国)のMaria Garridoは、「実は女性たちは、女性が少ない分野の講義を受けているのです」と言う。

もう一度学びたい
2016年にMOOCで学んだコロンビア、フィリピン、南アフリカの受講者の調査により、ほとんどの受講者が有職者か学生で、仕事のために特定のスキルや資格を求めていることが明らかになった。 Credit: SOURCE: REF. 9 (HTTP://GO.NATURE.COM/2YFAPWC)

しかし、MOOCのプログラムは玉石混交で、厳密な評価を受けているものはほとんどない。一方のコーディング・ブートキャンプは高額で、多くの時間を投資する必要があり、基本的にはハイテク産業が集中している地域や都会でしか開催されていない。さらに、ここにも成績の格差がある。スタンフォード大学の2人の研究者が6万7000人以上のMOOCの受講者について行った2015年の研究10によると、女性の受講者や、アフリカ、アジア、南米の男女の受講者は、男性の受講者や、北米、欧州、オセアニアの男女の受講者に比べて、区切りとなる段階(講義の50%を視聴するなど)に到達する割合が低く、成績も振るわなかった。

デジタルスキルの課程を修了した人でも、実際に就職するとなるとさまざまな壁に突き当たる。研究者が2004年にストラスモア大学(ケニア・ナイロビ)のITプログラムを修了したケニア人学生にインタビューをしたところ、一部の学生は、大学を卒業して地元の経済活動に参加しようとしたときに、自分の専門知識の価値を分かってもらえず、それを活用できるような仕事もないのではないかと心配していた11。この研究に参加したペンシルベニア州立大学(米国ユニバーシティーパーク)の情報科学者Lynette Yargerは、「特に不安を感じていたのは女子学生です」と言う。ある学生は、「私は女性なので、雇用者は私にIT系の仕事をさせるわけにはいかないと考えるかもしれません。そうなったら、私は大学で身に付けた知識を活用できず、自分がやりたい仕事ができないかもしれません」と語ったという。

研究により明らかになっていることが1つある。どんなに良くできている訓練プログラムでも、デジタルワークの世界での成功を保証するものではないということだ。「人より優れたスキルを持ち、コンピューターの使い方が分かっていても、必ずしも良い仕事に就けるわけではないのです」とGarridoは言う。「デジタルスキルはパズルの重要なピースですが、それだけでは不十分なのです」。

さらなる研究が必要なテーマ

科学者たちは、技術が職場をどのように変えるか予想しようと取り組んでいる。

Credit: ILLUSTRATIONS BY CHRIS MALBON

変わりゆく仕事の世界は、研究者に無数の研究テーマを提供してくれる。本文で取り上げたもの以外に仕事の現場で生じている傾向と、それに関連して研究者が提起する問題(現時点ではほとんど答えが出ていない)を2つ挙げる。

雇用者による新しい形の追跡や監視に対し、労働者はどのように反応しているか?

雇用者は昔からスタッフの仕事ぶりを監視してきたが、職場の監視は新しい時代に入っている。

企業は今では、コンピューターに向かう労働者のキー入力を記録したり、モニターのスクリーンショットを遠隔で撮影したりする他、モーションセンサー、生体認証、無線ICタグ(radio-frequency identification;RFID)やGPSを利用して勤務時間外の動きまで追跡できるようになっている。

こうした監視技術の普及に対して労働者がどのくらい抵抗を感じているか、どこで線引きをするべきかなどの問題は、まだ明らかになっていない。新しい形の監視は、目立たない形で裏目に出たり、信頼関係や士気やイノベーションを台無しにしたりはしないだろうか?

人間強化技術は労働者の健康や安全にどのような影響を及ぼすか?

認知能力を高める薬物から、肉体労働を安全かつ容易にする生体工学的「外骨格」まで、人間の能力を向上させるさまざまな技術が職場に入り込もうとしている。

実際に、人間強化技術が労働者の健康や安全を守るのに役立つ場合もあるだろう。覚醒を促進するモダフィニルなどの薬物は長距離ドライバーの事故を防ぎ、外骨格は関節への負荷や筋肉の疲労を軽減するかもしれない。こうした技術が長期的に使用されると、労働者が過度の労働や危険な業務を課され、直接または間接に不利益を被ることにならないかは、まだ分からない。E.A.

翻訳:三枝小夜子

Nature ダイジェスト Vol. 15 No. 1

DOI: 10.1038/ndigest.2018.180123

原文

The Shape of Work to Come
  • Nature (2017-10-19) | DOI: 10.1038/550316a
  • Emily Anthes
  • Emily Anthesは、ニューヨーク在住の科学ジャーナリスト。

参考文献

  1. Esteva, A. et al. Nature 542, 115–118 (2017).
  2. Frey, C. B. & Osborne, M. The Future of Employment: How Susceptible are Jobs to Computerisation? (Univ. Oxford, 2013); available at http://go.nature.com/2wpgywa
  3. Arntz, M., Gregory, T. & Zierahn, U. OECD Social, Employment and Migration Working Papers , No. 189 (OECD, 2016); available at http://doi.org/cdmj
  4. Lehdonvirta, V., Barnard, H., Graham, M. & Hjorth, I. Internet, Policy & Politics Conference 2014: Crowdsourcing for Politics and Policy, Oxford, 25–26 September 2014; available at http://go.nature.com/2xczyhg
  5. Gray, M. L., Suri, S., Ali, S. S. & Kulkarni, D. in Proc. 19th ACM Conf. on Computer- Supported Cooperative Work & Social Computing 134–147 (2016); available at http://doi.org/cdtt
  6. Yin, M., Gray, M. L., Suri, S. & Vaughan, J. W. in Proc. 25th Int. Conf. on World Wide Web 1293–1303 (2016); available at http://doi.org/cdtw
  7. Fletcher, J. D. & Morrison, J. E. Accelerating Development of Expertise (Institute for Defense Analyses, 2014); available at http://go.nature.com/2kjdfuk
  8. Fletcher, J. D. Digital Tutoring in Information Systems Technology for Veterans: Data Report (Institute for Defense Analyses, 2014).
  9. Garrido, M. et al. ‘An examination of MOOC usage for professional workforce development outcomes in Colombia, the Philippines, & South Africa’ (Univ. Washington Inf. Sch. 2016); available at http://go.nature.com/2xej1s9
  10. Kizilcec, R. F. & Halawa, S. in Proc. Second (2015) ACM Conference on Learning@ Scale 57–66 (2015); available at http://doi.org/cdt3
  11. Kvasny, L., Payton, F. C., Mbarika, V. W., Amadi, A. & Meso, P. IEEE Trans. Educ. 51, 256–261 (2008).