OpenAI предприе ключови рокади в екипа по безопасност на AI

Александър Мадри, един от най-добрите експерти по безопасността в OpenAI, е бил отстранен от позицията си и прехвърлен към задачи, фокусирани върху изкуствения интелект.

Това потвърдиха пред CNBC източници, запознати със ситуацията в технологичния лидер.

Мадри е бил ръководител на отдела за готовност на OpenAI – екип, „натоварен със задачата да следи, оценява, прогнозира и помага за защита от катастрофални рискове, свързани с гранични модели на AI“, според биографията му в уебсайта на инициативата за изкуствен интелект на Принстънския университет.

В новата си роля сега той ще продължи да работи по основните дейности, свързани с безопасността на AI, съобщиха от OpenAI за CNBC.

AI Mафия: Успехът на технологичните гиганти идва с нож в гърба

Експертът също така е директор на Центъра за внедряване на машинно обучение на Масачузетския технологичен институт (MIT) и съуправител на Форума за политика в областта на изкуствения интелект (MIT AI Policy Forum) - роли, от които в момента е в отпуск, според уебсайта на университета.

Решението за преназначаването му идва по-малко от седмица преди група сенатори демократи да изпратят писмо до главния изпълнителен директор на компанията Сам Алтман относно „това как OpenAI се справя с възникващите проблеми, свързани с безопасността“.

В писмото, изпратено в понеделник и видяно от CNBC, се посочва още: „Търсим допълнителна информация от OpenAI за стъпките, които компанията предприема, за да изпълни публичните си ангажименти по отношение на безопасността, как вътрешно оценява напредъка си по тези ангажименти и за идентифицирането и намаляването на заплахите за киберсигурността.“

OpenAI не отговори веднага на запитването за коментар.

Колко далеч е OpenAI от AGI

Сенаторите са поискали от технологичния стартъп да отговори на въпросите им относно практиките си за безопасност и финансовите си ангажименти до 13 август.

Процесите са част от все по-нарастващите опасения за безопасността и противоречията около OpenAI, която заедно с Google, Microsoft, Meta е начело на надпреварата в генеративния изкуствен интелект – пазар, който според прогнозите ще достигне приходи от 1 трилион долара в рамките на десетилетие, тъй като компаниите във всяка индустрия бързат да добавят чатботове и AI агенти, за да избегнат изоставането си от конкурентите.

По-рано този месец Microsoft се отказа от мястото си на наблюдател в борда на OpenAI, като в писмо, видяно от CNBC, заяви, че вече може да се оттегли, защото е доволен от конструкцията на борда на стартъпа, който беше обновен през осемте месеца след бунта, довел до краткото отстраняване на Сам Алтман и застрашил огромните инвестиции на технологичния гигант в стартъпа.

Microsoft се отказва от мястото си на наблюдател без глас в борда на OpenAI

Миналия месец обаче група настоящи и бивши служители на OpenAI публикуваха отворено писмо, в което описват опасенията си относно бързия напредък на индустрията за изкуствен интелект въпреки липсата на надзор и защита на лицата, които искат да сигнализират за нередности.

„Компаниите, занимаващи се с изкуствен интелект, имат силни финансови стимули да избягват ефективния надзор и не вярваме, че обичайните структури за корпоративно управление са достатъчни, за да променят това“, написаха тогава служителите.

Дни след публикуването на писмото източник потвърди пред CNBC, че Федералната търговска комисия и Министерството на правосъдието са готови да започнат антитръстови разследвания на OpenAI, Microsoft и Nvidia, като се съсредоточат върху поведението на компаниите.

Желязно лоби: OpenAI оказва натиск на политици заради контрола над изкуствения интелект

Председателят на Федералната търговска комисия Лина Хан описа действията на своята агенция като „пазарно проучване на инвестициите и партньорствата, които се създават между разработчиците на изкуствен интелект и големите доставчици на облачни услуги“.

В писмото от юни настоящите и бившите служители пишат, че компаниите за изкуствен интелект разполагат със „значителна непублична информация“ за това, какво може да направи тяхната технология, за степента на въведените мерки за безопасност и за нивата на риск, които технологията носи за различни видове вреди.

„Ние разбираме сериозните рискове, породени от тези технологии“, пишат те, като добавят, че компаниите „понастоящем имат само слаби задължения да споделят част от тази информация с правителствата и никакви с гражданското общество. Не смятаме, че на тях може да се разчита да я споделят доброволно“.

През май OpenAI разпусна екипа си, фокусиран върху дългосрочните рискове от изкуствения интелект, само година след като обяви създаването на групата. Източник, пожелал анонимност, заяви, че някои от членовете на екипа са преназначени в други в рамките на компанията.

CNBC: OpenAI разпуска екипа, фокусиран върху дългосрочните рискове от изкуствения интелект

Екипът беше разформирован, след като неговите ръководители, съоснователят на OpenAI Иля Суцкевер и Ян Лейке, обявиха напускането си от стартъпа през май. Лейке написав X, че „културата и процесите на безопасност в OpenAI са останали на заден план пред лъскавите продукти“.

Алтман отговори, че е натъжен да види напускането и че OpenAI все още има много работа. Скоро след това съоснователят Грег Брокман публикува в X изявление, в което се твърди, че компанията е „повишила осведомеността за рисковете и възможностите на AGI, за да може светът да се подготви по-добре за нея“.

„Смятах, че OpenAI ще бъде най-доброто място в света за провеждане на тези изследвания. От доста време обаче не бях съгласен с ръководството на OpenAI за основните приоритети на компанията, докато накрая стигнахме до точка на пречупване.“, допълни напусналият съосновател.

Съоснователят на OpenAI, който помогна за уволнението на Сам Алтман, напуска компанията

Лейке пише, че според него много по-голяма част от стратегията на компанията трябва да бъде насочена към сигурността, мониторинга, готовността, безопасността и общественото въздействие.

„Тези проблеми са доста трудни за решаване и се опасявам, че не сме на траекторията, по която да стигнем до тях. През последните няколко месеца екипът ми плува срещу вятъра. Понякога се борехме за изчислителни ресурси и ставаше все по-трудно да направим тези изключително важни изследвания.“

Той добави, че OpenAI трябва да се превърне в „компания, която се интересува първо от безопасността на AGI“.