Мартина Лозаноска Најдовска

Апстракт

Развојот на вештачката интелигенција (ВИ) воспоставува перформативен апарат кој активно учествува во материјализацијата на општествените норми преку операцијата предикција наместо седиментација. Оневозможувајќи ја спонтаноста и несовршеноста на телото преку негово однапред дефинирано профилирање, предикцијата всушност учествува во произведувањето на она што го предвидува.

Вештачката интелигенција, преку своите класификациски механизми, ги сведува флуидните човечки идентитети на фиксни бинарни прокси-вредности, притоа елиминирајќи ги телата кои го предизвикуваат родовиот поредок. Овој процес на дигитална физиономија претпоставува дека внатрешната суштина на субјектот (сексуалноста и родот) е биолошки впишана и читлива на површината на „дигиталната кожа“. Кога алгоритмите ќе наидат на идентитети кои ја нарушуваат хетеронормативната матрица, тие произведуваат „режим на нечитливост“, што резултира со сериозни етички, социјални и материјални последици за маргинализираните групи.

Процесот на „идентификација“ кај ВИ прикрива продуктивен механизам преку кој ефектите всушност се конструираат. Овој труд го истражува судирот помеѓу бинарниот код на технологиите за автоматско препознавање род (AGR) и комплексната материјалност на квир телата. Отпорот на ваквиот механизам, лежи во необработливиот остаток на телото, неговата непрозирност и недовршеност, кои одбиваат целосно да бидат преведени во податок или предвидени од алгоритмот.

Вовед

Вештачката интелигенција (ВИ) во современата алгоритамска култура, функционира како социо-технички систем кој ги обликува односите на моќ што ја материјализираат родовата нормативност низ процеси на „интра-акција“. Родот се произведува преку алгоритамски практики на повторување и нормализација, при што алгоритмите функционираат како фукоовско‑батлеровски апарати на моќ што ја материјализираат родовата нормативност под привид на техничка објективност.

Централниот концепт на „алгоритамска перформативност“ сугерира дека вештачката интелигенција (ВИ) е активен апарат кој ги материјализира родовите категории преку постојано „цитирање“ на доминантните социјални норми. Додека, дигиталните системи за автоматско препознавање род (AGR), дејствуваат како цитациони машини кои ја воспоставуваат хетеронормативната матрица директно врз „дигиталната кожа“ на субјектот (Drage & Frabetti, 2023). Притоа,  процесот врши насилни „агентивни резови“, поставувајќи остри граници помеѓу она што дигиталниот систем го смета за „читливо“ и она што го отфрла како неважен „шум“ (Barad, 2007; Jude-Browne et al., 2023).

Проблемот на „квир нечитливоста“ се појавува кога алгоритмите, тренирани на бинарни и хетеронормативни податочни сетови, не успеваат да ги процесираат трансродовите и небинарните идентитети. Ваквите системи се трансформираат во „машини за погрешно родување“ (Misgendering Machines), кои ја редуцираат комплексноста на човечкото тело на „мерливи типови“ (measurable types) со цел полесна алгоритамска контрола (Keyes, 2018; Hristova et al., 2020). Во ваквата форма на дигитална физиономија внатрешната суштина на субјектот погрешно се пресметува врз основа на површински карактеристики на кожата и лицето (Jude-Browne et al., 2023; Keyes, 2019).

Материјалните последици од оваа нечитливост се длабоки и честопати невидливи за оние во позиции на моќ. Кога квир субјектот е означен како „нечитлив“, тој автоматски се конституира како „абнормален“ или „ризичен“, што води до системска исклученост од јавните простори (Benjamin, 2019; Drage & Frabetti, 2023). Ваквата структурна неправда е често „нетрасибилна“ во рамките на алгоритамските „црни кутии“, што го отежнува барањето на политичка одговорност за нанесените штети.

Наместо стремежот кон „попрецизни“ алгоритми кои уште поефикасно ќе ги надгледуваат квир телата, овој труд ја предлага „теоријата на “гличот““ (glitch theory) (glitch theory) како простор за отпор преку феминистичкиот материјализам (Jude-Browne et al., 2023). „Гличот“, или аномалија во кодот, ја симболизира точката каде системот на доминација потфрла, овозможувајќи и на квир нечитливоста да стане стратегија за зачувување на автономијата. Тој ги разоткрива материјалните истории кои често се маскирани со метафори како што е „облакот“ (cloud), кој наводно е бестежински и инстантен, додека „гличот“ ги враќа во фокусот трудот, насилството и еколошките загуби потребни за одржување на виртуелноста (Hu, 2016;Jude-Browne et al., 2023). Во поширок метафизички контекст, гличовите во симулациите може да се толкуваат како „сигнали за симулација“ (sim signs), кои ја дестабилизираат онтолошката сигурност на субјектот во дигиталниот свет (Chalmers, 2022, стр. 55).

Дизајнерската правда ја промовира идејата за валоризација на флуидноста и специфичноста наместо бинарната категоризација на телата. Таа се залага за префрлање на фокусот од празната „иновација“ кон одржување и подобрување на веќе постоечките алатки кои им служат на маргинализираните заедници (Costanza-Chock, 2023, p. 385). Вклучувањето на специфичните и премолчени знаења (tacit knowledge) на погодените заедници креира ВИ системи кои овозможуваат плурални начини на постоење без корпорална дисциплина.

Апарати за материјализација: Агентивни резови, „мерливи типови“ и онтологијата на квир нечитливоста

Во духот на агентивниот реализам, кодот преку својата перформативност ја обликува и материјализира реалноста. Тој функционира како еден од механизмите преку кои се реализира агентивниот реализам, според кој реалноста се создава преку дејствување и односи меѓу луѓе, технологии и материјални елементи. Во овој контекст, ВИ дејствува како апарат кој ги извршува „агентивните резови“, поставувајќи онтолошки граници помеѓу она што е дигитално читливо и идентитетскиот „шум“ (Barad, 2007; Jude-Browne et al., 2023).

Алгоритамското производство на „мерливи типови“ (measurable types), каде што комплексното човечко искуство се транскодира во поедноставени дигитални категории,  создава специфичен „режим на нечитливост“ за квир и небинарните лица. Материјализацијата на родот преку технологијата се дефинира како форма на „инфраструктурен империјализам“ кој ги вградува западните, бинарни конструкции во глобалните дигитални системи (Keyes, 2018). Ваквата нечитливост претставува форма на структурна неправда која произведува реална материјална штета, особено во простори на зголемен надзор каде небинарното тело се означува како „абнормално“ или „ризично“ (Drage & Frabetti, 2023).  ѝ

Деконструкција на бинарната логика во технологиите за автоматско препознавање род (AGR) преку „дифрактивна методологија“

Бинарната логика на технологиите за автоматско препознавање род (AGR) не може да го опфати идентитетот кој се наоѓа надвор од хетеронормативната матрица бидејќи, невронските мрежи во овие технологии немаат оригинален модел на родот. Тие постојано ги „цитираат“ хетеронормативните матрици, впишувајќи ги овие норми директно врз она што се дефинира како „дигитална кожа“ на субјектот (Benjamin, 2019; Drage & Frabetti, 2023). На овој начин, идентитетот перформативно се конституира во моментот на неговата пресметковна обработка.

Деконструкцијата на овие технологии овозможува да се разоткријат односите на моќ впишани во самиот код и да се отвори простор за политички отпор. Наместо да се бара технички „фикс“ за алгоритамската пристрасност, критичкиот феминистички пристап укажува дека самиот чин на бинарна поделба е политички чин на насилство. Преку валоризација на „„гличот“ или нечитливоста, може да се замислат нови форми на дигитално постоење кои не се подложни на бинарна дисциплина.

Системите за вештачка интелигенција (ВИ) често ги редуцираат луѓето на „мерливи типови“(measurable types) за полесна класификација, принудувајќи го субјектот да се усогласи со претходно зададените бинарни параметри. Кога квир и небинарните идентитети не се вклопуваат во овие „лажни бинаризми“, тие стануваат невидливи или погрешно категоризирани од системот (Browne, 2023)

Дифрактивната методологија овозможува разбирање на етичките импликации од „агентивните резови“ преку напуштање на метафората за рефлексија (огледало) и фокусирање на патерните на разлика кои произлегуваат од материјалните преплети. Дифракцијата ги чита увидите од научните и социјалните теории едни низ други, третирајќи го знаењето како активна пракса на ангажман во светот, мапирајќи каде се појавуваат ефектите од разликите произведени преку алгоритамското одлучување (Barad, 2007). Дифрактивната анализа открива дека биометриските системи, како AGR, перформативно го материјализираат родот преку цитирање на доминантните социјални норми. Етичката импликација овде е дека технологијата активно го конституира субјектот како „нормален“ или „абнормален“ во моментот на неговата пресметковна обработка (Keyes, 2018; Drage and Frabetti, 2023).

Примената на оваа методологија ја зајакнува етичката одговорност преку концептот на „етико-онто-епистемологија“, каде што вредностите, битието и знаењето се нераздвојни (Barad, 2007). Дифракцијата покажува дека секој технички дизајн вклучува етички избори за тоа што ќе биде вклучено во „мерливите типови“, а што ќе остане невидливо. Објективноста, од оваа перспектива, значи преземање одговорност за „трагите на телата“ (marks on bodies) кои ги создаваме преку специфичните алгоритамски резови.

„AI Gaydar“ и псевдонауката на препознавањето: Критика на современите обиди за детекција на сексуалната ориентација како рецидив на застарената физиономија

Современите обиди за детекција на сексуалната ориентација преку вештачка интелигенција, популарно наречени „AI Gaydar“, претставуваат директно враќање кон псевдонаучната традиција на физиономијата. Оваа пракса се заснова на погрешната есенцијалистичка претпоставка дека внатрешната природа или социјалниот идентитет на една личност може да се „прочита“ од нејзините надворешни физички карактеристики. Тврдењата дека длабоките невронски мрежи можат прецизно да ја предвидат сексуалната ориентација врз основа на слики од лица, ги евоцира теориите од 19-тиот век кои бараа „типови“ на луѓе преку физички мерења (Agüera y Arcas, Mitchell and Todorov, 2023; Elam, 2023).

Наводната „суперхумана“ прецизност на овие системи е всушност методолошка заблуда која произлегува од мешањето на културните знаци со биолошката структура. На пример, доколку тренинг податоците покажуваат дека лезбејките поретко користат сенка за очи во споредба со хетеросексуалните жени, а геј мажите почесто носат очила; едноставен модел заснован само на овие презентациски избори може да продуцира одговор кој ги зацврстува стереотипните норми.

Оваа форма на „дигитална физиономија“ користи кружно докажување каде социјалните сигнали се интерпретираат како есенцијални карактеристики. Кодирањето на сексуалноста како статична и физички читлива варијабла претставува форма на „епистемички фалсификат“, каде што пристрасниот поглед на дизајнерите се претставува како универзална објективност (Katz, 2020 во Elam, 2023; Elam, 2023). Ваквите технологии се исклучително опасни за маргинализираните заедници бидејќи го легитимираат алгоритамското профилирање и масовниот надзор врз основа на научно неважечки и дискриминаторски критериуми (Agüera y Arcas, Mitchell and Todorov, 2023; Jude‑Browne et al., 2023).

Техничкиот неуспех на AGR системите да ги процесираат квир телата произлегува од нивната цитациона природа, каде алгоритмите постојано ги репродуцираат доминантните хетеронормативни социјални норми без да поседуваат „оригинален“ модел на родот. Истражувањата покажуваат дека комерцијалните услуги за анализа на лицето имаат најниска прецизност токму при класификација на трансродовите лица, бидејќи системите се тренирани на бинарни податочни сетови кои не го признаваат постоењето на „транс помеѓу-состојба“ (Scheuerman et al., 2019; Drage and Frabetti, 2023). Ваквата форма на „дигитална физиономија“ погрешно ги толкува социјалните сигнали и стереотипите за стилот како есенцијални биолошки карактеристики. Материјалните последици од ваквата алгоритамска нечитливост се манифестираат како системска исклученост и дехуманизација во критични социјални инфраструктури.

„Теорија на гличот““ како квир отпор: Користење на системските грешки за дестабилизација на алгоритамскиот надзор

„Теоријата на гличот“ (glitch theory) претставува радикална квир стратегија за отпор, која ја редефинира системската грешка од технички дефект во простор за политичка агентивност. Додека, технолошките корпорации на „гличот“ гледаат како на привремен прекин што треба да се „поправи“ за да се врати нормативното функционирање, квир и транс теориите го валоризираат овој момент како точка каде што дигиталната читливост се распаѓа, овозможувајќи појава на „непредвидливи релации“ (Noble, 2017). Овој „глич“ овозможува дестабилизација на алгоритамскиот надзор преку нагласување на неможноста на бинарниот код целосно да ја опфати и дисциплинира комплексноста на квир идентитетите.

Преку трансродови и квир препишувања на кодот, „гличот“ станува алатка за идентификување на инкохерентните идентитети во сите нивни чинови на „отпор и љубов“, пренасочувајќи ги системските падови кон нови можности за егзистенција (Barnett & Blas, 2016 во Jude-Browne et al., 2023). Наместо квир субјектот да се стреми кон совршена инклузија во рамките на постоечките алгоритми за автоматско препознавање род (AGR), тој го користи „гличот“ за да остане „нечитлив“ за системот, со што ја зачувува својата автономија наспроти „информатиката на доминација“. Преку „гличот“ се разоткриваат хетеронормативните претпоставки и моќните односи вградени во дигиталната инфраструктура и се истакнува несупехот на системот. Политиката на „гличот“ нуди алтернатива на режимите на хипервидливост и надзор, промовирајќи нови форми на дигитално постоење кои ја слават амбивалентноста и флуидноста на квир телата надвор од алгоритамската контрола (Jude‑Browne et al., 2023).

„Теоријата на гличот“ (glitch theory)  се спротивставува на корпоративните наративи за „етичка вештачка интелигенција“ преку деконструкција на самата идеја дека системските отстапувања се само технички дефекти кои треба да се „поправат“ за да се врати нормативното функционирање. Корпорациите како Google и Facebook често го користат поимот „глич“ за да ги прикажат своите системи како во основа исправни, означувајќи ги грешките како привремени и исклучителни прекини за кои самите алгоритми се наводно „невини“. Наспроти ова, „теоријата на гличот“ (glitch theory)  ги валоризира овие моменти како точки каде дигиталната читливост се распаѓа, овозможувајќи појава на „непредвидливи релации“ кои ја дестабилизираат алгоритамската контрола.

Додека корпоративните рамки за „етичка ВИ“ се стремат кон транспарентност и елиминација на пристрасноста преку математички „фиксови“, тие често ја превидуваат политичката природа на самиот чин на класификација. Процесот на претворање на комплексното човечко искуство во „мерливи типови“ (measurable types) е суштински чин на насилство што ја „израмнува плуралноста на човештвото“ за потребите на пазарната ефикасност. „Теоријата на гличот“ го поддржува субјектот кој е „неприпишлив“ (unattributable), оној кој останува внатре во системот, но е непроѕирен за него, создавајќи стратегии за отпор кои корпоративната логика не може однапред да ги предвиди или да ги вклопи во своите модели.

Наместо да се бара совршена инклузија во рамките на постоечките бинарни матрици „гличот“ се користи како алатка за зачувување на автономијата преку намерно останување „нечитлив“ за системот. Ова директно му се спротивставува на корпоративниот „техно-шавинизам“, бидејќи се мапира токму точката каде тие решенија стануваат алатки за „информатика на доминација“ (Haraway, 1991).

Дизајнерска правда (Design Justice)

Концептот дизајнерска правда (Design Justice)  ги критикува традиционалните методи, како што е дизајнот центриран на корисникот (User-Centered Design), бидејќи тие често несвесно се потпираат на „неозначен“ (unmarked) идеален корисник кој е најчесто бел, цис-родов, хетеросексуален маж без попреченост. Ваквото центрирање води кон спирала на исклучување, каде што сите оние кои не се вклопуваат во овој тесен шаблон остануваат маргинализирани од технолошкиот развој (Costanza-Chock, 2023).

Наместо да се стреми кон универзални решенија кои ги бришат разликите, дизајнерската правда се залага за славење на флуидноста и амбивалентноста. Таа се спротивставува на „категоризирачкиот императив“ вграден во вештачката интелигенција, кој насилно ги редуцира луѓето на бинарни опозиции и „мерливи типови“ (measurable types). Целта е да се изгради ВИ која овозможува „плурални и контекстуални начини на битисување, знаење и живеење, препознавајќи дека идентитетите не се статични податочни точки.

Клучниот принцип на оваа методологија е содржан во максимата „Ништо за нас без нас“ (Nothing About Us Without Us), што подразбира дека заедниците кои се најмногу погодени од технологијата мора да бидат лидери во нејзиниот дизајн (Costanza-Chock, 2023). Се транзитира од екстрактивни практики, каде дизајнерите само „собираат“ идеи од корисниците, кон процеси во кои заедниците имаат реална моќ, сопственост и одговорност над технолошките алатки.

Дизајнерската правда ја промовира идејата за „алгоритамска грижа“ (algorithmic care), која работи надвор од бинарните логики и бара решенија во „меѓупросторите“ (interstices) на човечкото искуство. Наместо дисциплинирање на телата преку кодот, овој пристап се залага за технологија која ја почитува специфичноста на секоја кожа и секое тело, овозможувајќи простор за она што е неодредено и непредвидливо (Elam, 2023).

Заклучок

Трансформацијата на вештачката интелигенција (ВИ) во активен „перформативен апарат“ суштински ја менува етичката и правната одговорност на технолошките компании, бидејќи дискриминаторските исходи повеќе не можат да се третираат како изолирани „технички грешки“. Наместо тоа, компаниите стануваат одговорни за начинот на кој нивните системи активно ја материјализираат реалноста и насилно поставуваат граници помеѓу „читливите“ и „нечитливите“ тела.

Вклучувањето на квир епистемологиите во раните фази на дизајнот, преку рамката на дизајнерската правда (Design Justice), може значително да го дестабилизира „категоризирачкиот императив“ кој е во основата на дигиталната физиономија. Сепак, тешко е да се тврди дека ова може целосно да го елиминира ризикот од физиономија, бидејќи архитектурата на многу современи ВИ системи суштински се потпира на редукција на луѓето во „мерливи типови“ (measurable types) за потребите на пресметковната ефикасност.

Конечно, ризикот од рецидив на физиономијата останува постојана закана сè додека технолошкиот развој е воден од детерминистички претпоставки кои погрешно ги толкуваат социјалните сигнали како есенцијални биолошки карактеристики. Иако, квир епистемологиите нудат стратегии за отпор преку валоризација на „“гличот““ и нечитливоста, целосното елиминирање бара трансформација на самите онтолошки поставки на ВИ индустријата, која во моментов е втемелена во инструментална контрола и надзор.

Користена литература

AIFTUTOR Knowledge Base (n.d.) The Post-Human Landscape: Evolution, Intelligence, and Social Theory. Internal resource.

Agüera y Arcas, B., Mitchell, M. and Todorov, A. (2023) ‘Physiognomy in the Age of AI’, in Jude-Browne, S. et al. (eds.) Feminist AI: Critical Perspectives on Algorithms, Data and Intelligent Machines. Oxford: Oxford University Press.

Barad, K. (2007) Meeting the Universe Halfway: Quantum Physics and the Entanglement of Matter and Meaning. Durham: Duke University Press.

Barnett, D. and Blas, Z. (2016) ‘Contra-Internet’, in Jude-Browne, S. et al. (eds.) Feminist AI: Critical Perspectives on Algorithms, Data and Intelligent Machines. Oxford: Oxford University Press.

Benjamin, R. (2019) Race After Technology: Abolitionist Tools for the New Jim Code. Cambridge: Polity Press.

Butler, J. (1993) Bodies That Matter: On the Discursive Limits of “Sex”. New York: Routledge.

Costanza-Chock, S. (2023) ‘Design Practices: “Nothing About Us Without Us”’, in Jude-Browne, S. et al. (eds.) Feminist AI: Critical Perspectives on Algorithms, Data and Intelligent Machines. Oxford: Oxford University Press.

Drage, E. and Frabetti, F. (2023) ‘AI that Matters: A Feminist Approach to the Study of Intelligent Machines’, in Jude-Browne, S. et al. (eds.) Feminist AI: Critical Perspectives on Algorithms, Data and Intelligent Machines. Oxford: Oxford University Press.

Elam, M. (2023) ‘Signs Taken for Wonders: AI, Art, and the Matter of Race’, in Jude-Browne, S. et al. (eds.) Feminist AI: Critical Perspectives on Algorithms, Data and Intelligent Machines. Oxford: Oxford University Press.

Haraway, D. (1991) A Cyborg Manifesto: Science, Technology, and Socialist-Feminism in the Late Twentieth Century. New York: Routledge.

Hristova, S., Hong, S. and Slack, J.D. (eds.) (2020) Algorithmic Culture: How Big Data and Artificial Intelligence are Transforming Everyday Life. Lanham: Lexington Books.

Jude-Browne, S. et al. (eds.) (2023) Feminist AI: Critical Perspectives on Algorithms, Data and Intelligent Machines. Oxford: Oxford University Press.

Jude-Browne, S. (2023) ‘AI and Structural Injustice: A Feminist Perspective’, in Jude-Browne, S. et al. (eds.) Feminist AI: Critical Perspectives on Algorithms, Data and Intelligent Machines. Oxford: Oxford University Press.

Keeling, K. (2014) ‘Queer OS’, Cinema Journal, 53(2), pp. 152–157.

Keyes, O. (2018) ‘The Misgendering Machines: Trans/HCI Implications of Automatic Gender Recognition’, Proceedings of the ACM on Human-Computer Interaction, 2(CSCW). Available at:

Keyes, O. (2019) ‘The Body Instrumental’, Logic Magazine. Available at: https://logicmag.io/nature/the-body-instrumental/

McGlotten, S. (2016) ‘Black Data’, in Jude-Browne, S. et al. (eds.) Feminist AI: Critical Perspectives on Algorithms, Data and Intelligent Machines. Oxford: Oxford University Press.

Noble, S.U. (2017) Algorithms of Oppression: How Search Engines Reinforce Racism. New York: New York University Press.

Scheuerman, M.K., Paul, J.M. and Brubaker, J.R. (2019) ‘How Computers See Gender: An Evaluation of Gender Classification in Commercial Facial Analysis and Image Labeling Services’, Proceedings of the ACM on Human-Computer Interaction, 3(CSCW). Available at: https://doi.org/10.1145/3359246