Google твърди, че новото ѝ семейство модели с изкуствен интелект (AI) има любопитна функция: да „идентифицира“ емоции. Обявеното в четвъртък семейство модели PaliGemma 2 може да анализира изображения, което позволява на AI да генерира надписи и да отговаря на въпроси за хората, които „вижда“ на снимките.

„PaliGemma 2 генерира подробни, контекстуално релевантни надписи за изображенията“, пише Google в публикация в блога си, цитирана от TechCrunch, “като отива отвъд простото идентифициране на обекти, за да опише действия, емоции и цялостния разказ за сцената.“

Разпознаването на емоции не работи от само себе си и PaliGemma 2 трябва да бъдат прецизирани за целта. Но експерти, с които разговаря медията, са разтревожени от перспективата за широко достъпен детектор на емоции.

„Това е много тревожно за мен“, казва Сандра Вахтер, професор по етика на данните и изкуствен интелект в Oxford Internet Institute. „Намирам за проблематично да се предполага, че можем да „четем“ емоциите на хората. Това е все едно да поискате съвет от магическа топка.“

От години стартъпи и технологични гиганти се опитват да създадат AI, който може да открива емоции за всякакви цели - от обучение по продажби до предотвратяване на инциденти. Някои твърдят, че са го постигнали, но науката стои на нестабилна емпирична основа.

По-голямата част от детекторите на емоции се основават на ранната работа на Пол Екман, психолог, който теоретизира, че хората споделят шест общи фундаментални емоции: гняв, изненада, отвращение, удоволствие, страх и тъга. Последвалите проучвания обаче поставят под съмнение хипотезата на Екман, като показват, че има големи разлики в начина, по който хората от различни среди изразяват чувствата си.

„Разпознаването на емоции не е възможно в общия случай, защото хората ги изпитват по сложни начини“, коментира Майк Кук, научен сътрудник в Queen Mary University, специализиран в областта на AI. „Разбира се, ние смятаме, че можем да разберем какво чувстват другите хора, като ги гледаме, и много хора през годините също са се опитвали – в това число шпионски агенции и маркетингови компании. Сигурен съм, че в някои случаи е абсолютно възможно да се открият общи знаци, но това не е нещо, което някога ще можем да приемем напълно“.

Очаквана последица от това е, че системите за откриване на емоции обикновено са ненадеждни и предубедени от предположенията на своите дизайнери. В проучване на MIT от 2020 г. изследователите показват, че моделите за анализ на лица могат да развият непреднамерени предпочитания към определени изражения, като например усмивката. По-скорошно изследване показва, че моделите за емоционален анализ приписват повече отрицателни емоции на лицата на чернокожите, отколкото на лицата на белите хора.

Google твърди, че е провела „обширни тестове“ за оценка на демографските пристрастия в PaliGemma 2 и е установила „ниски нива на токсичност и нецензурни изрази“ в сравнение с еталоните от индустрията. Но компанията не предоставя пълния списък на използваните еталони, нито посочва какви видове тестове са били извършени.

Единственият бенчмарк, който Google разкрива, е FairFace - набор от снимки на главите на десетки хиляди хора. Компанията твърди, че PaliGemma 2 е постигнала добри резултати в него. Но някои изследователи критикуват еталона като показател за пристрастност, отбелязвайки, че FairFace представя само няколко расови групи.

„Интерпретирането на емоциите е доста субективен въпрос, който се простира отвъд използването на визуални средства и е силно застъпен в личния и културния контекст“, казва Хайди Хлааф, главен учен по изкуствен интелект в AI Now Institute, организация с нестопанска цел, която изучава обществените последици от технологията. „Като оставим настрана изкуствения интелект, изследванията показват, че не можем да правим изводи за емоциите само от чертите на лицето.“

Системите за разпознаване на емоции предизвикаха гнева на регулаторните органи в Европа, които се опитаха да ограничат използването на технологията във високорискови контексти. Законът за изкуствения интелект (AI Act) на ЕС забранява на училищата и работодателите да използват детектори на емоции (но не и на правоприлагащите органи).

Най-голямото опасение около отворените модели като PaliGemma 2, които са достъпни от редица хостове, включително платформата за разработване на AI Hugging Face, е, че с тях ще се злоупотребява или ще се използват неправилно, което може да доведе до реални вреди.

„Ако тази т.нар. емоционална идентификация е изградена върху псевдонаучни презумпции, има значителни последици за това как тази способност може да бъде използвана за по-нататъшна - и фалшива - дискриминация на маргинализирани групи, например в правоприлагането, човешките ресурси, управлението на границите и т.н.“, казва Хлааф.

Попитан за опасностите от публикуването на PaliGemma 2, говорител на Google заявява, че компанията стои зад тестовете си за „представителни вреди“, свързани с визуалните отговори на въпроси и надписите.

„Проведохме солидни оценки на моделите на PaliGemma 2 по отношение на етиката и безопасността, включително безопасността на децата и безопасността на съдържанието“, добавят те.

Но Вахтер не е убедена, че това е достатъчно.

„Отговорната иновация означава, че мислите за последствията от първия ден, в който влезете в лабораторията си, и продължавате да го правите през целия жизнен цикъл на продукта“, казва тя. „Мога да се сетя за безброй потенциални проблеми с подобни модели, които могат да доведат до мрачно бъдеще, в което емоциите ви определят дали ще получите работа, заем и дали ще ви приемат в университет.“