toyoshiの日記

株式会社トクイテンを有名にするための日記です

生活の一部をアルゴリズムまたはルールベースにすることを考える

 

 

 

個人や組織の判断がいかにノイズやバイアスに影響されているかという書籍を読んでいるのですが、影響され具合が予想以上で驚かされます。

本書を読む前の予想として「そりゃあ多少のノイズやバイアスがあるやろ」とは思っていましたが、本書を読むともっと大規模に、当たり前にノイズやバイアスがあることがわかります。

例えば裁判の判決について大規模に調べた結果では、昼食後の方が寛大な判決を下しやすいだとか、裁判官が何人か集まっても1つの事件について意見が一致することがほとんどないとか(有罪という人もいれば無罪という人もいる)、保険会社での調査では専門家の保険の査定額の見積もりの格差は中央値で55%もあったとかそんな調子でした。

さらに衝撃的なのは結局人間の判断にはノイズとバイアスが大きすぎるために、人間の判断はAIどころか単純なルールベースの判断にも劣るということです。

本書の例では公判で被告の保釈を認めるかどうか(逃亡可能性の予測:認めたことによって逃亡や再犯のリスクがある)を人間が判断するか、単純なルールが判断するか、多くの予測変数を使うモデルを比較したという例がでてきます。

単純なルールとは被告の年齢過去の公判不出頭の回数の2つだけを使ったものです。そんな二つの変数で正確に予測できるものかと私は思うのですが、正確かどうかはともかく人間の裁判官のほぼ全員を上回ったとのことです。

あらゆるルールが人間の判断にまさる理由は大きく分けて二つある。第一に、人間の判断にはレベルノイズや機会ノイズが入り込み、判断の質を大幅に下げてしまう。このためシンプルでノイズフリーであることが重要なアドバンテージになる。その結果、第9章に書いたように、機械的予測(最新の高度なものに限らない)の精度は人間の判断を一貫して上回ることになる。ばかばかしいほど単純なルールでさえ、人間よりは精度が高い。  第二に、膨大な量のデータが存在すると、高度なAIは予測に有効なパターンをすぐさま見つけ出し、単純なモデルを上回る予測精度を示す。このようなAIモデルは、単にノイズがないだけでなく、多くの情報を活用する能力(「折れた足」を検出するなど)の点でも優位

ちなみに本書では人間の予測、単純なルール、高度なモデル、機械学習の比較が何度か出てきますが、人間の予測が常に一番悪く、機械学習が一番いいということのようです。特に機械学習は本書で『折れた足』と言われる例外的なデータもきちんと処理できるということで、この辺りはさすが機械学習という感じです。折れた足というのは直接関係ないように見えるが結果に大きく影響している変数で、「ある人がその日の夜映画館に行くかどうか」を判断するときに、その日の朝に足を追ったかどうかが影響してくるという例のことです。単純なルールや高度なモデルではそもそも変数としていれておくのが難しいとのこと。

ここまで読むと「だったら全部ルールベースにしていこうよ」ということですが、なぜそれがうまくいかないかも説明されています。感情的な話になりますが、人間は人間のミスは許せるけどアルゴリズムのミスは1回でも許せないというのがあり、それが邪魔をしているとのこと。

アルゴリズムに対する抵抗感を「アルゴリズム回避(algorithm aversion)」と呼ぶが( 20)、これは新しい意思決定支援ツールとしてのアルゴリズムを頭から受け付けないという強固な性質のものではない。だいたいにおいて、人々はアルゴリズムにチャンスを与えようとする。ただ、アルゴリズムが一度でも判断ミスをしようものなら、すぐさま信頼を失ってしまう( 21)。  この反応は理解できないこともない。信用できないアルゴリズムにかかずらわってはいられない、というわけだ。人間には誤りがつきものだと私たちは承知している。だがそれをアルゴリズムに認めてやる気はない。アルゴリズムはパーフェクトであってもらいたい。この期待が裏切られると、アルゴリズムはあっさり退場を命じられてしまう

この辺りは感覚としては共感できるところではあります。 

ただ、そこで私が思うのは、だったら「アルゴリズム回避」を乗り越え私の生活もルールベースにするとかなり最適かなり効率化が進められる余地があるということです。  

既に一部ではルール化をしてミスというかマイナス面を許容できていることもあります。例えば私は下着はルールベースで決まった日に決まったものを決まった数だけ購入するようにしています。他にも服装や髪型にもルールを決めて、ベストを目指さない代わりに清潔感がないなどの最低限を下回らないような工夫をしています。

しかし、この程度のことではルールベースで他人よりリスクを負っているとは言えません。やるならそれは私が直感的に「損するんじゃない?」「それはうまくいかないんじゃない?」と思うようなことの中にあるはずです。例えば・・・と考えますがなかなか思いつかないですね。

私生活の中で何度も意思決定の必要があり、かつノイズやバイアスに影響されてるなというものです。あるとすると

  • 休日の過ごし方
  • 誰かと食事に行くかどうかの判断
  • 家のもので何かを買うかどうかの判断

これぐらいでしょうか。細かいところだとNetflixは常にランダムで番組を見るとかあるかもしれません。仕事だと

  • 採用の可否判断
  • 何か聞かれた時にそれを任せるか自分で判断するか

ということはノイズやバイアスが多いだろうなと本書を読むと思います。うまく明文化することでルールベースに近づけることができる気がします。

本書を読むことで人間というのは判断してるようで大したことはしてないんだ、だったら僕らが仕事と思ってやってることとかってなんだろうというのを考えさせられました。おすすめです