話題のまとめニュース

ネットで話題のニュースをまとめました!

【国際】銀行のAIが「女性に限って申し込みを断る」 AI専門家が指摘、人間の差別や偏見がアルゴリズムに反映されるとき★2

   

1 :泥ン ★:2018/01/06(土) 15:05:27.90 ID:CAP_USER9.net
機械も偏見も、元をたどれば人間が作ったもの。

AIがどんなに早く進化し、どれほど私たちの生活に馴染もうと、開発者である人間の現実社会にある差別や偏見を乗り越えることはできない…。そう説くのは、Microsoft研究者でAIの社会的影響を研究する機関AI Nowの共同創設者、Kate Crawford(ケイト・クロフォード)氏。

先日行なわれた機械学習の国際会議NIPS(Neural Information Processing System Conference)で、アルゴリズムの偏見がもたらす多様な問題をテーマにした基調講演で登壇した彼女のスピーチが反響を呼んでいます。一体どんな内容だったのでしょうか。

「偏見」は機械学習において数学的に定義づけられており、サンプリング時に推定との誤差や特定の人々を過剰/過小評価している点から反映されています。あまり議論されてきませんでしたが、特定の人々に対する機械学習の偏見、差別的効果(disparate impact)は多様な問題をはらんでいます。彼女はこうした危険性を配分型(allocative harm)と象徴型(representational harm)の2種類に分類しました。

Kate Crawford: The Trouble with Bias (NIPS 2017 keynote)
https://www.youtube.com/watch?v=ggzWIipKraM

「配分型の危険とは、システムがある機会やリソースを特定の人たちに対して不公平に扱うこと」だと彼女は指摘しています。

たとえば、AIがなんらかの判断する(住宅ローンの申し込みなど)とき、誤差でもわざとでも特定のグループを拒否したとします。彼女は銀行のAIが「女性に限って申し込みを断る」といった例をあげたほか、危険度を測るAIが黒人犯罪者を白人犯罪者よりもリスクが高いと判断してしまう例まで…。この決定により、黒人の犯罪者はより多く未決勾留を言い渡されたというのです。

また、象徴型の危険については「システムがアイデンティティの文脈で特定の集団の劣位を強めるときに起きる」と彼女は語りました。テクノロジーがステレオタイプを強化したり、特定の人々をないがしろにしたりするときに発生するというのです。また、この種の問題はリソース関係なく起こります。具体的には、Google Photoが黒人を「ゴリラ」と ラベリング(人間を動物と比べるなど)したり、AIが東アジア地域の人々の笑顔をまばたきと検知したりするなどが分類されます。

jews should(ユダヤ人は〜〜すべき)で検索するときの予測変換。排除する/国家を持つべきではない、など。
https://assets.media-platform.com/gizmodo/dist/images/2017/12/13/171213TheTroubleWithBias.jpg

Crawford氏はLaTanya Sweeney氏による2013年の論文を引用しながら、これらふたつの複雑な危険性をひもづけました。Sweeney氏の論文では「黒人系とされる名前をGoogle検索すると犯罪歴の調査の広告が表示される」という検索結果に隠れたアルゴリズムパターンについて指摘されています。犯罪と黒人を結びつける象徴型の危険は、配分型の危険にも現れるんです。もしも雇用者が志願者の名前を検索して犯罪者と関連する結果が出てしまえば、その従業員を差別する可能性だって生まれてしまうかもしれません。Crawford氏は以下のように考えています。

“黒人と犯罪に対するステレオタイプが続くことは、雇用以外の場面でも大きな問題になります。

これらの偏見は、社会全体として黒人がこのように特徴づけられ、理解される問題を生みだします。私たちは、単純に意思決定に影響する機械学習のみについて考えるのでなく、たとえば雇用や刑事司法など、偏ったアイデンティティを表現する機械学習の役割についても考える必要があります”

サーチエンジンの検索結果とオンライン広告のどちらも、私たちを取り巻く社会を表し、影響を及ぼしています。オンラインで表明されたことは、オンラインだけにとどまるのではありません。現実的に、経済の成りゆきにも影響しているとSweeney氏は指摘してします。もっといえば、こうしたことは何もオンラインから始まったことではありません。犯罪や非人間性にまとわりつくステレオタイプは数世紀も前から現実社会であったことなのです。

Crawford氏のスピーチではその後も象徴型の危険のあらゆる形について詳しく述べられています。 配分型の危険との関連性のほか、最も興味深いのはそうした影響をどのように防ぐのかについても語っていること。よく言われるのは、問題となる単語から連想されるイメージとの結びつきを解くか、あるいは問題となるデータを取り除くか、いずれかの方法でしょう。

続きはソース
https://www.gizmodo.jp/2018/01/ai-reflect-prejudice-and-why.html

★1が立った時間 2018/01/05(金) 02:23:37.35
前スレ http://asahi.5ch.net/test/read.cgi/newsplus/1515086617/

133 :名無しさん@1周年:2018/01/06(土) 20:27:15.38 ID:Z6hdDRW70.net

AIも絶対じゃないってこったな
六法全書入れてAIに裁判任せたとしても
結局運用するのは人間だから
上級国民は無罪〜減刑ってのは変わらないわけ

118 :名無しさん@1周年:2018/01/06(土) 19:12:25.41 ID:FUaFwjJ30.net

>>111
人間の基準で結果が公平になるようにサンプルを恣意的に選択しているということだろ?
無作為のサンプルに人間の意志が介入している時点ですでに偏っているんだ

103 :名無しさん@1周年:2018/01/06(土) 18:36:39.86 ID:kzx1nLpJ0.net

例えば、弱虫の同性愛者が導入するとしたら、それはAIとは言えない。とか?

109 :名無しさん@1周年:2018/01/06(土) 18:44:33.24 ID:o7JvMDds0.net

例えば、統計的に黒人の犯罪率は高い。
それは貧しさや無教養、周りの環境から来るものかも知れんが…

AIは「黒人は白人より犯罪率が高い」と判断するって事か。
それは事実ではあるが、
黒人だと言う理由で罪が重くなる理由にはならないと。

104 :名無しさん@1周年:2018/01/06(土) 18:39:33.88 ID:zPp5dXYK0.net

適切なデータ=女の不利にならないデータ

64 :名無しさん@1周年:2018/01/06(土) 16:52:11.73 ID:4Mbc/0Nr0.net

AIが正しいのを認めたくない例w

138 :名無しさん@1周年:2018/01/07(日) 00:57:34.57 ID:Yfgfn6kI0.net

AIって、単なる「あみだくじ」だったりして。

68 :名無しさん@1周年:2018/01/06(土) 17:08:05.61 ID:H6uY+CXW0.net

男女の性差や民族・人種に一切差が無いと本気で思ってんのはマジモンの池沼
その差で扱いを不平等にしないようにしましょうって精神は構わんがそれで差が無くなるわけじゃないからな
逆偏見を排して公平・機械的に見た結果だろ

95 :名無しさん@1周年:2018/01/06(土) 18:21:03.53 ID:RZl60v6N0.net

😊 日本の次の30年は明るい時代なので安心 ♫
       
= 日本経済には60年の長期周期がある =
http://image.slidesharecdn.com/08124-120123045008-phpapp01/95/08124-46-728.jpg
http://kakashi490123.cocolog-nifty.com/photos/uncategorized/2010/02/28/20100227.png

昭和の約60年は前半が経済周期の下側、後半が上側だった。
平成の約30年は下側だった。次の30年は上側の明るい時代。

79 :名無しさん@1周年:2018/01/06(土) 17:40:52.59 ID:Z6hdDRW70.net

>>9
わかりやすい

149 :名無しさん@1周年:2018/01/07(日) 21:15:27.76 ID:9eq9MVmu0.net

如何に人間社会に不合理な理屈が罷り通ってるかよくわかる事例だな
純粋に合理的な判断するとそりゃこうなるわ

77 :名無しさん@1周年:2018/01/06(土) 17:30:16.86 ID:FUaFwjJ30.net

見方を変えればAIは正直なんだよ

8 :名無しさん@1周年:2018/01/06(土) 15:12:46.51 ID:5Q5VAPv40.net

AIに生のデータ与えすぎだろw

146 :名無しさん@1周年:2018/01/07(日) 20:45:40.50 ID:Hgdfk6Yd0.net

人を雇ってあげたら

91 :名無しさん@1周年:2018/01/06(土) 18:13:27.15 ID:fecHr7dU0.net

>>80
それが単なる偶然の結果に過ぎないのら、十分な量のデータを集めることで誤差の海に消えるんじゃね?

81 :名無しさん@1周年:2018/01/06(土) 17:51:45.57 ID:11BrBsPK0.net

AIが差別しているのではなく
AIが平等に取り扱ってるのを、差別だと女が逆切れしているだけ。

11 :名無しさん@1周年:2018/01/06(土) 15:15:18.90 ID:EZK46nCN0.net

で、女性を断った結果、収益はどうなったのかな?

99 :名無しさん@1周年:2018/01/06(土) 18:26:55.92 ID:yUqxv5s30.net

>>1 泥ン ★ ← 誰だコイツ

84 :名無しさん@1周年:2018/01/06(土) 18:04:45.08 ID:EZK46nCN0.net

>>80
その論理はあかんな
統計的に有意であれば、一定の合理性を認めざるを得ない

150 :名無しさん@1周年:2018/01/07(日) 22:06:17.24 ID:vas17GGe0.net

アルゴリズムを組み直すと今度は男が断られるだけ
馬鹿馬鹿しい限りです

2 :名無しさん@1周年:2018/01/06(土) 15:06:00.37 ID:XdSglEAi0.net ?2BP(1000)

http://img.5ch.net/ico/nida2.gif
ジャアアアアアアアアアアアアアアアアアアアアアアアアアアアアアアwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww

ジャアアアアアアアアアアアアアアアアアアアアアアアアアアアアアアアアwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww

43 :名無しさん@1周年:2018/01/06(土) 15:54:50.39 ID:l3lFx6F00.net

AI「韓国人にレイプ(ハッキング)されたことがあります」

55 :名無しさん@1周年:2018/01/06(土) 16:22:43.42 ID:PCHT872g0.net

たしかに黒人のほうが犯罪のリスクが高いというのは事実なんだろう
しかし個人の黒人のAさんの危険性が黒人であることを理由に高いと判断されるのは偏見だということだろう
確率に個人が巻き込まれてしまうわけだ
もしかしたら黒人のAさんは一般的な白人よりもモラルが高い人かもしれない
それなのに黒人であるという属性がAさんを不当におとしめている
とこういう理屈ですな

14 :名無しさん@1周年:2018/01/06(土) 15:18:44.16 ID:fViRumxv0.net

>>3
見掛け倒しの手抜き工事ビルの写真がなんだって?笑って欲しいのか?

88 :名無しさん@1周年:2018/01/06(土) 18:12:04.37 ID:dAANUBEG0.net

まあ合理的な結論も
ヒステリックに差別認定
されるのもどうかと思うが

15 :名無しさん@1周年:2018/01/06(土) 15:20:06.57 ID:jPXk7jo80.net

>>11
影響を知るためには
女性を断ったからなのか、
他の貸付判断条件を変えたからなのか
の切り分けをしないと因果関係までは踏み込めんぞ。

ニューロ系のAIは因果関係を考えないから
データを適切に与えないとただのステレオタイプに

130 :名無しさん@1周年:2018/01/06(土) 20:04:14.81 ID:L2/EvPIQ0.net

寧ろAIの優秀さがわかるという話だと思うが

21 :名無しさん@1周年:2018/01/06(土) 15:25:07.06 ID:uNKXgEyB0.net

顔検知は間違った答えが出る人種のデータベースが少なかっただけで
正にリソースが関係して起きていると思うんだが

127 :名無しさん@1周年:2018/01/06(土) 19:51:55.10 ID:11BrBsPK0.net

>>126
>親の脛かじってる引きこもりには融資して
>外資系で年収1000万超の女には融資しないって話になっておかしいだろ、っていう論点なんだけど

そもそもこんな前提はどこにも書いてないわけだが。

129 :名無しさん@1周年:2018/01/06(土) 19:58:57.86 ID:Jpw4X0RF0.net

>>116
それは逆
AIの機械学習は純粋に統計的なデータから学ぶからその結果が差別的になったとしたらそれが機械的には正しいことになる
そこに人間が思想的に介入して差別を排除しない限り差別が発生してしまうという話
残念ながら人を評価する上でその人の属する人種や民族や宗教による評価はかなり有効なのだよ
上のスレで誰かが書いてたが名前に関する評価はDQNネームや通名なら評価に組み入れても有効かもしれない




 - ニュース