Шта је фер?
Чини се једноставно питање, али оно је без једноставних одговора. То је посебно тачно у тајном свету вештачке интелигенције (АИ), где идеја паметних, без емоција машина које доносе одлуке на чудесан начин без пристрасности брзо бледи.
Можда је већина јавности такву перцепцију доживела истрага ПроПублица за 2016. годину у којој је закључено да су подаци који покрећу систем АИ који судије користе да би утврдили да ли ће осуђени злочинац вероватно починити више кривичних дела пристрасни мањинама. Нортхпоинте, компанија која је креирала алгоритам, познат као ЦОМПАС, оспорила је ПроПублицину интерпретацију резултата, али сукоб је покренуо и расправу и анализу колико чак и најпаметнијим машинама треба веровати.
„То је заиста врућа тема - како алгоритме можете учинити фер и поузданим“, каже Даниел Неилл. "То је важно питање."
Неилл се сада нашао усред те расправе. Компјутерски научник са Универзитета Царнегие Меллон, заједно са другим истраживачем Виллом Горром, прије неколико година развили су софтверски алат за предвиђање злочина који се зове ЦримеСцан. Њихов првобитни концепт био је да је на неки начин насилни злочин попут заразне болести, да има тенденцију да избије у географским кластерима. Такође су веровали да мањи злочини могу бити претечи насилници, па су изградили алгоритам користећи широк спектар података „водећих показатеља“, укључујући извештаје о злочинима, као што су једноставни напади, вандализам и неуредно понашање и 911 позива на такве ствари попут испаљених хитаца или особе виђене с оружјем. Програм такође укључује трендове сезоне и дана у недељи, плус краткотрајне и дугорочне стопе тешких насилних кривичних дела.
Идеја је пратити искре пре избијања пожара. "Гледамо више лакших злочина", каже Неилл. „Једноставни напади могу да отклоне до погоршаних напада. Или можда имате ескалирајући образац насиља између две банде. "
Предвиђање када и где
ЦримеСцан није први софтвер дизајниран за оно што је познато као предиктивна полиција. Програм назван ПредПол основан је пре осам година од стране научника с УЦЛА-а који раде са полицијском управом у Лос Анђелесу, са циљем да виде како научна анализа података о криминалу може да помогне да се примете обрасци криминалног понашања. Сада га користи више од 60 полицијских одељења широм земље, ПредПол идентификује подручја у суседству у којима је вероватније да ће се догодити озбиљни злочини током одређеног периода.
Компанија тврди да је њено истраживање утврдило да је софтвер двоструко тачнији од људских аналитичара када је у питању предвиђање места злочина. Ниједна независна студија, међутим, није потврдила те резултате.
И ПредПол и ЦримеСцан ограничавају своје пројекције на месту где би се злочин могао догодити, а избегавају да предузму следећи корак предвиђања ко би их могао починити - контроверзни приступ који је град Чикаго изградио око „Стратешке листе предмета“ људи који ће највероватније бити умешани у будућим пуцњавама, било као стрелац или жртва.
Америчка унија за грађанске слободе [АЦЛУ], Центар за правду у Бреннану и разне организације за грађанска права постављају питања о ризику да пристраност буде убачена у софтвер. Историјски подаци из полицијских пракси, тврде критичари, могу створити повратну петљу кроз коју алгоритми доносе одлуке које истовремено одражавају и појачавају ставове о томе која су насеља "лоша", а која "добра." Зато АИ који се заснива пре свега на подацима о хапшењима носи већи ризик пристраности - више одражава полицијске одлуке, за разлику од стварних пријављених кривичних дела. ЦримеСцан, на пример, остаје подаље од покушаја предвиђања злочина који ће, како Неилл каже, „наћи тек ако их потражите“.
„Не могу рећи да смо слободни од пристрасности“, каже Неилл, „али то је сигурно мање него што смо покушали предвидјети поседовање дроге.“
Затим постоји друга страна петље за повратне информације. Ако предиктивно средство подигне очекивања о злочинима у одређеној четврти, хоће ли полиција која тамо патролира бити агресивнија у хапшењу?
"Постоји реална опасност, уз било коју врсту полиције засновану на подацима, заборавити да постоје људи на обе стране једначине", примећује Андрев Фергусон, професор права на Универзитету у округу Цолумбиа и аутор књиге књига, "Успон великих података": надзор, трка и будућност спровођења закона. „Службеници требају бити у могућности превести ове идеје које сугеришу да различите четврти имају различите оцјене пријетњи. И концентрисање на бројеве уместо на људско биће испред вас мења ваш однос према њима. "
Унутар црне кутије
Реалност је да вештачка интелигенција сада игра улогу - иако често у позадини - у многим одлукама које утичу на свакодневни живот - од помагања компанијама да одаберу кога да ангажују до постављања кредитних поена до оцењивања наставника. Није изненађујуће да је то појачало јавни надзор како се стварају алгоритми машинског учења, које ненамерне последице изазивају и зашто се они обично не подвргавају много прегледима.
За почетак, велики део софтвера је власнички, тако да је мало транспарентности иза начина функционисања алгоритама. А како машинско учење постаје софистицираније, чак ће и инжењери који су креирали АИ систем постајати све тежи да објасне своје одлуке. То непрозирно одлучивање, са мало одговорности, последица је онога што је постало познато као алгоритам „црне кутије“.
„Јавност никада не добија шансу за ревизију или расправу о употреби таквих система“, каже Мередитх Вхиттакер, суоснивачица АИ Нов Института, истраживачке организације на њујоршком универзитету која се фокусира на утицај АИ на друштво. „А подаци и логике које управљају предвиђеним прогнозама често су непознати чак и онима који их користе, а камоли људима на чије животе утичу.“
У извештају објављеном прошле јесени, АИ Нов је отишао толико далеко да је препоручио да ниједна јавна агенција одговорна за питања као што су кривично правосуђе, здравствена заштита, добробит и образовање не би требало да користи систем АИ црне кутије. Према АИ Нов, ретко су правна и етичка питања која се много разматрају када се софтвер креира.
"Баш као што ви не бисте веровали судији да изгради дубоку неуролошку мрежу, требало би да престанемо да претпостављамо да је инжењерски степен довољан за доношење сложених одлука у областима попут кривичног правосуђа", каже Вхиттакер.
Друга организација, Центар за демократију и технологију, створио је алат за "дигиталне одлуке" како би инжењерима и рачунарским научницима помогао да створе алгоритме који дају фер и непристрасне резултате. Алат поставља мноштво питања која су им требала намерити да процене њихове претпоставке и идентификују непредвиђене ефекте валовитости.
„Желели смо људима дати конкретно полазиште за размишљање кроз питања попут репрезентативног представљања њихових података, које групе људи могу бити изостављене и хоће ли резултати њихових модела имати ненамерне негативне последице“, каже Натасха Дуарте, која надгледа пројекат.
Ко је одговоран?
Иако је дошло до напретка да се програмери боље упознају са могућим последицама њихових алгоритама, други истичу да јавне агенције и компаније које се ослањају на АИ такође морају да буду одговорне.
„Ту је нагласак на дизајнеру који разуме систем. Али такође се ради и о људима који администрирају и имплементирају систем, “каже Јасон Сцхултз, професор права на њујоршком универзитету који сарађује са АИ Нов Институте на правним и политичким питањима. "Ту гума испуњава пут у одговорности. Владина агенција која користи АИ има највише одговорности и они то морају разумети. Ако не можете да разумете технологију, не бисте је могли користити."
У том циљу, АИ Нов промовише употребу „алгоритамских процена утицаја“, за које би јавне агенције морале да обелодане системе које користе и омогући спољним истраживачима да их анализирају због потенцијалних проблема. Када је реч о полицијским одељењима, неки правни стручњаци сматрају да је такође важно да они прецизно прецизирају како користе технологију и буду вољни да то поделе са локалном заједницом.
"Ако су ови системи дизајнирани са становишта одговорности, правичности и правилног процеса, особа која спроводи систем мора схватити да има одговорност", каже Сцхултз. „А кад осмислимо како ћемо их спровести, једно од првих питања је„ Где ово иде у полицијском упутству? “ Ако ово нећете имати негде у полицијском приручнику, идемо корак људи, “
Андрев Фергусон види потребу за оним што он назива "надзорним самитом."
„Барем једном годишње требало би да постоји тренутак одговорности за полицијску технологију у свим локалним надлежностима, “ каже он. „Шеф полиције, градоначелник или можда шеф градског већа морао би објаснити заједници за шта користе долар пореских обвезника у смислу надзора и технологије, зашто мисле да је то добро коришћење новца, за шта радите на ревизији и заштити података, које су импликације на приватност. И заједница би била тамо да поставља питања. "
Даниел Неилл, творац ЦримеСцан-а, каже да се не би успротивио идеји редовне ревизије резултата АИ-а, иако има резерве у вези с тим да се алгоритам адекватно тестира на терену. Тренутно сарађује са полицијским биром у Питтсбургху на суђењу злочину, и бар у почетку постојао је изазов са „добијањем правог интензитета патроле за предвиђене вруће тачке“.
Рекао је да је то процес учења како прилагодити ЦримеСцан тако да полицајци на нивоу улице сматрају да је то корисно. „Морамо показати да не само да можемо предвидјети злочин, већ и да га заправо можемо спречити“, напомиње Неилл. "Ако само бацате алат преко зида и надате се најбољем, то никада не успева тако добро."
Такође признаје ризик одлагања превише алгоритму.
„Алат може помоћи полицијским службеницима да донесу добре одлуке“, каже он. „Не верујем да машине требају доносити одлуке. Треба их користити за подршку одлуцивању. "
Неилл додаје, „Разумијем да се то у пракси не догађа стално“.
