Са камером у сваком џепу и софтвером за препознавање лица уграђеним у наше паметне телефоне и друштвене мреже, понекад је лако заборавити да фотографисање и препознавање лица у њима није увек било тако једноставно. Било да су изгубљени, оштећени или једноставно необиљежени, поступак препознавања људи на старим фотографијама може бити напоран. Али, како је открио Курт Лутхер, доцент за рачунарске науке на Виргиниа Тецх-у, искуство такође може бити прилично дирљиво.
Лутер је био на изложби "Грађански рат у Пенсилванији" у историјском центру сенатора Јохна Хеинза у Питтсбургху, 2013. када је наишао на фотографију свог пра-пра-пра-стрица Оливера Цроктона. Он је описао гледање фотографије, која је била најстарија породична фотографија коју је видео, како путује кроз време.
Већ историјски сукоб са интересовањем за Амерички грађански рат, тренутак који је запео за Лутхера и он је почео да се пита како да то искуство пренесе хиљадама других ентузијаста у историји.
„Почео сам да учим више о фотографији из грађанског рата“, каже Лутхер, „и о томе како препознати [људе] користећи различите визуелне трагове, попут униформе, ознаке или информација фотографа у студију. У међувремену, као професор рачунарске науке, радио сам доста истраживања у области цровдфуцинга и помислио да можда постоји начин да се те две ствари споје. "
Лутер је налетео на фотографију свог пра-пра-пра стрица, Оливера Цроктона. (Љубазношћу колекције Кен Турнер) Резултат је бесплатни интернетски софтвер назван Цивил Вар Пхото Слеутх који користи масовно оглашавање и препознавање лица како би корисницима помогао да препознају непознате субјекте на фотографијама ере Грађанског рата. Непосредно прије службеног представљања 2018. године, технологија је освојила главну награду у износу од 25 000 долара у Мицрософтовом Цлоуд АИ Ресеарцх Цхалленге-у за кориштење Мицрософтовог софтвера за препознавање лица и Бест Демо Авард на конференцији Хуман Цомпутатион анд Цровдсоурцинг 2018. Лутхер се ове недеље представља на конференцији Удружења за рачунарске машине Интелигентни кориснички интерфејс у Лос Анђелесу.
Дизајниран уз помоћ докторских и додипломских студената на Виргиниа Тецх-у, укључујући водитеља пројеката Викрам Моханти, и у сарадњи са одељењем за историју Виргиниа Тецх-а, Пхото Слеутх користи вишеструки приступ да предложи најтачније идентификације.
Први пресудни корак у процесу била је изградња велике базе података већ идентификованих фотографија. До данас, Пхото Слеутх има око 17 000 идентификованих фотографија из националних архива попут америчког Института за војну историју, као и приватних колекција, које укључују не само војнике из грађанског рата, већ и цивиле и друго војно особље тог доба.
Лутхер каже да су имали срећу имати подршку већ одушевљене заједнице историчара грађанског рата са приступом тим фотографијама, јер без чврсте базе већ идентификованих фотографија било би готово немогуће да софтвер буде користан.
„Није као у пољу снова, “ каже Лутер, „Да смо покренули веб локацију без слика и само се надали да ће им корисници све додати, суочили бисмо се са проблемом хладног покрета где једноставно немате никакав садржај. “
База идентификованих фотографија игра кључну улогу у помагању корисницима да препознају фотографије које сами пренесу. Корисници ручно означавају посебне визуелне особине, као што су боја капута, длака на лицу или ознаке војног ранга, а фотографија пролази кроз алгоритам препознавања лица како би анализирали и забележили јединствене омјере лица, као што су удаљеност између оријентација лица попут носа и очију. Пхото Слеутх упоређује визуелне податке непознате фотографије са већ идентификованим фотографијама у бази података и кориснику представља оно што мисли да су најбоља подударања на основу сличности лица и информација изведених из других метаподатака, попут војника који су, чини се, у иста јединица заснована на ознакама њихових униформи. Док софтвер предузима промишљене кораке на путу да ограничи могућност лажне идентификације, Лутхер каже да на крају дана корисник мора извршити коначну идентификацију када буде представљен најбољим претпоставкама софтвера.
„Били смо веома забринути због спречавања лажне идентификације, “ каже Лутхер, „јер када говорите о интернету, кад једном ставите неке погрешне информације, врло је тешко да се ослободите или промените.“
Да би се увјерио да њихов софтвер пружа корисницима најбоље предложене могуће идентификације, Лутхер је урадио анализу софтвера првог мјесеца предложених идентификација користећи методе наведене у колонама које је придонио часопису о грађанском рату " Хистори Имагес" . Оцењивање идентификација из „дефинитивно није подударање“, „вероватно није подударање“, „вероватно је подударање“ и „дефинитивно је подударање“, анализа је показала да је 85 одсто предложених идентификација било вероватно или дефинитивно подударање. На конференцији ове недеље, Лутер каже да планира да истакне налазе најновијег тима о фотографији Слеутх, укључујући откриће Давеа Морина, колекционара слика из Њу Хемпшир-а, о портрету неидентификованог другог потпоручника Уније. . Фотографија Слеутх сугерира да је мушкарац на портрету Виллиам Х. Балдвин из Првог њујоршког инжењера. Морин, који је потврдио да је Балдвин родом из Њу Хемпшира, каже да никада не би пронашао предметног инжењера Гранита без помоћи Пхото Слеутх-а.
Курт Лутхер је доцент рачунарских наука на Виргиниа Тецх. (Ами Лоеффлер) Истраживање такође наглашава комплементарне предности људских историчара и самог софтвера. Упркос својим најбољим напорима, Лутер каже да софтвер може отићи толико далеко само када идентификује исправне подударности и да се ослања на кориснике који ће им помоћи да препознају трагове који се налазе у слепој тачки алгоритма лица.
"[Алгоритам] је обучен за опште препознавање лица [на] углавном модерних слика, " каже Лутхер. „АИ има тешко време када је лице окренуто у страну [у профилу]. Некакав необичан портрет по данашњим стандардима, али средином 19. века био је уобичајен. "
Тим је такође открио да су корисници много успешнији од самог алгоритма у идентификовању других јединствених произвођача попут браде и ожиљака.
Патрицк Левис, историчар грађанског рата и извршни уредник научних извора и публикација у Историјском друштву Кентуцки који није био део развоја Пхото Слеутх-а, каже да ће Пхото Слеутх из грађанског рата бити сјајно средство за не само приближавање ових заборављених прича живот, али да помогнемо даље стварању колаборативне мреже историчара грађанског рата широм земље.
„Волим да уђем и погледам нове фотографије означене у Кентуцкију“, каже Левис. „[И питајте] ко су људи који тамо скупљају? Да ли би требало да знам њихове појединачне колекционаре и да ли треба да ступим у контакт са њима да видим да ли имају још материјала који би могли бити од интереса за истраживање?
Иако се још увек није требао повезати с било којим појединачним колекционаром преко Пхото Слеутх-а, Левис каже да је Кентуцки Хисторицал Социети само радио на стварању записа о познатим мрежним архивима и да ће софтвер попут Пхото Слеутх драстично побољшати њихову способност за наставак тог рада.
У наставку, Лутхер каже да желе „удвостручити [људске снаге] софтвера, укључујући додавање опције„ Сецонд Опинион “која ће омогућити многим корисницима да сарађују на коначној идентификацији фотографије, као и да раде о проширењу физичке помоћи и управљања заједницом како би се повећала корисничка база Пхото Слеутх-а. Софтвер ће такође видети неке дизала лица, укључујући нову функцију која ће корисницима омогућити да учитају и идентификују људе на групној фотографији.
„Наш крајњи циљ је да идентификујемо сваку непознату фотографију из грађанског рата“, каже Лутхер, „и добијемо [Пхото Слеутх] веће и боље, јер 25.000 слика представља само кап у канту.“
