• トップページ
• コラム道
• インストラクターの独り言

評価することは難しい

研修の成否を測るにはいくつかの手段があります。
そのひとつは受講後のアンケートです。コースに対する満足度や講師の教え方に対する評価を受講者に回答してもらい、それを研修自体の評価とみなします。
これは研修をサービスとしてとらえる観点では有効な手段ですが、これで十分とはいえません。「楽しくて充実した時間を過ごせました」という感想があったとしても、それだけでは研修として価値があったことにはならないからです。

その研修を通してどう学び、何を習得して、どんな仕事に活かせるようになったのか。
私たちが提供している研修サービスは、学校教育とは異なります。個人の人格成長や"生きる力"などではなく（多少はそれらを目指すこともありますが）、ビジネスに有益かどうかが焦点であり、すなわち実学です。
したがって研修が成功したかどうかは、受講された方々の仕事にどんなプラスの影響が与えられたのか、それを見なければ本当のところはわかりません。
しかし受講者を追いかけて日々の業務を観察したり、仕事の成果を分析したりといったことは簡単にはできません。
そこで代替の手段として理解度テストなどの試験を行います。いわゆる"代用特性"を測るということになります。

■ 試験の限界

すべての研修で試験を実施してはいませんが、数週間から数カ月に及ぶような新入社員研修では、必ず単元ごとに理解度確認テストを実施して、受講者の理解度を測定しています。
研修中に取り上げた用語に対する知識を問う問題や、特定のシチュエーションを示して原因を判断する問題、プログラムのコードの穴埋め問題など、対象とする研修内容に応じてさまざまな試験を出題し、その回答から受講者を評価しています。
しかし、こうした試験は本当に受講者の理解や習得の度合いを正しく評価できているのでしょうか。
全体的な傾向を見れば、得点と理解度は概ね比例していると一応いえると思います。やはり得点の高い人は理解度が高く、そうでない人はそれなりという結果が得られます。
しかしなにごとにも例外があります。理解できているはずにも関わらず得点がふるわない、逆にあまり理解できていなはずなのに高得点をとってしまうというケースに出会うこともあります。

■ “人工知能”的能力？

2011年2月、アメリカのクイズ番組「Jeopardy!（ジョパディ！）」で、IBM Watsonが人間のクイズチャンプを破って勝利するという出来事がありました。
（参考：「Watsonと名付けられたコンピューター・システム」）
多数の難問をWatsonが素早く正解したことで、人間を超える人工知能が登場したかのようにとらえる向きもありましたが、現実はそうではありません。このときのWatsonは人間のように思考していたわけでありません。Wikipediaやさまざまなデジタル化された書籍の情報などをあらかじめ収集しておいた上で、質問に含まれる語句やフレーズを分析し、関連性の高い情報をランク付けすることで解答候補を選び出すという処理を高速に行っていました。要するに統計的な処理によって確からしい解答を導いていたのです。問題文の意味も解答の意味も、決して人間のようには理解していませんでした。

コンピューターに人間向けの問題を解かせるということでは、「東ロボくん」のプロジェクトも有名です。国立情報学研究所の新井紀子氏を中心に2011年から行われたこのプロジェクトは、コンピューターによる統計的なアプローチによって大学の入試問題に挑戦し、複数の模試や過去問題において偏差値60を上回る結果を残しました。
Watsonにしても東ロボくんにしても、実のところ人間並みの知能を得るレベルには至っていません。しかし問題を理解していたわけではないにもかかわらず、人間の平均以上の成績を得ていたのです。

さて研修の理解度テストの話に戻ります。
本来の理解度にそぐわない高得点が得られるというケースは、いわばこの人間版ともいうべき才能によって、問題文を何らかのパターン認識によって解釈してうまく正解にたどりついているのではないかという気がします。つまり“人工知能”的能力の発揮です。
小学校から中学、高校、大学と繰り返し試験を受ける中で試験を解くスキルが磨かれて、理解していなくても正解を選ぶ特殊な才能が獲得されてしまったのかもしれません。
ちなみに問題文を理解せずに試験に解答するということについては、東ロボくんプロジェクトの新井紀子氏が著書『AI vs. 教科書が読めない子どもたち』（東洋経済新報社）でもさまざまな調査を踏まえて論じられています。

■ 評価という環境への適応

人間の才能は先天的に与えられた部分に加えて、環境によって育てられる部分が大きいと一般的に考えられています。
試験で評価されるという経験を何年にもわたって重ねることで、試験に特化した才能が育てられるというのは道理といえば道理です。
学習の成果を測る手段として用いられていたはずの試験ですが、その手段自体が目的化し、成長を方向づける「環境」になってしまっているのが現状です。
しかし現実の社会やビジネスは、単純化された試験のモデルでは解けない課題に満ちています。現実に対処するために必要なスキルや知恵は、試験をパスする能力とは異なります。選ぶべき選択肢があらかじめ用意されているとは限らず、正解もひとつとは限りません。不確かであいまいな問いに向き合っていくことが求められます。

私たちが毎年、数多くのお客さま企業の新入社員をお預かりするなか、こうした現実に対処しうる、しなやかで堅牢なスキルをどうやって身につけてもらうのか、これはいまだ解決しきれていない課題です。

■ 新しい評価の模索

イノベーションやデジタル変革の担い手を求める声が喧しい昨今、それに応えることも私たちの役割です。そのために研修そのものを新しくすることに加えて、評価のあり方も再構築する必要があります。
技術の進化が人間の領域に入り込んでくるにつれて、仕事や働き方にも否応ない変化が訪れているなかで、人間ならではのスキルを育むにはどうすればよいのか、それを促すための評価はどうあるべきなのか、これからも考え続けたいと思います。