ChatGPT вече е навсякъде – от ежедневието на професионалисти в различни индустрии до това на хора, които доскоро не обръщаха никакво внимание на темата за развитието на изкуствения интелект.

Пуснат в края на ноември като уеб приложение от базираната в Сан Франциско компания OpenAI, чатботът навлезе в масовата употреба почти за една нощ. Според някои оценки това е най-бързо развиващата се интернет услуга в историята. Тя достигна 100 милиона потребители през януари - само два месеца след пускането си. А благодарение на сделката на OpenAI с Microsoft на стойност 10 млрд. долара, технологията вече е интегрирана и в софтуера Office и търсачката Bing.

Историческият успех на ChatGPT събуди цялата индустрия, в това числоо и Google. Технологичният гигант ускори внедряването на собствения си чатбот LaMDA.

Но пробивът на OpenAI не дойде от нищото, посочва Technology Review и прави преглед на развитието на технологията за големи езикови модели през годините.

80-те и 90-те години на миналия век: Рекурентни невронни мрежи

ChatGPT е версия на GPT-3 - голям езиков модел, също разработен от OpenAI. Този тип модели са вид невронни мрежи (софтуер, вдъхновен от начина, по който невроните в мозъците на животните подават сигнали един на друг), които са обучени върху много и различни текстове. Тъй като текстът е съставен от последователности от букви и думи с различна дължина, езиковите модели изискват вид невронна мрежа, която може да осмисли този вид данни.

Рекурентните невронни мрежи, изобретени през 80-те години на миналия век, могат да обработват поредици от думи, но се обучават бавно и се случва да „забравят“ вече научени словосъчетания.

ChatGPT За обучението на GPT-3 Microsoft може да е консумирал невероятните 700 000 литра вода

През 1997 г. двама учени - Сеп Хохрайтер и Юрген Шмидхубер, решават този проблем, като изобретяват LSTM (Long Short-Term Memory) мрежите - рекурентни невронни мрежи със специални компоненти, които позволяват запазване на предишни данни във входната последователност за по-дълго време. LSTM мрежите могат да обработват текстови низове с дължина няколкостотин думи, но езиковите им умения са ограничени.

2017: Трансформация

Пробивът, който стои в основата на съвременното поколение големи езикови модели, идва, когато екип от изследователи на Google изобретяват т.нар. „трансформатори“ - вид невронни мрежи, които могат да проследяват къде се появява всяка дума или фраза в дадена последователност.

Значението на думите често зависи от това на други думи, които идват преди или след тях. Като проследяват тази контекстуална информация, трансформаторите могат да обработват по-дълги поредици от текст и да улавят значенията на думите по-точно. Например на английски думата "хотдог" означава съвсем различни неща в изреченията „Hot dogs should be given plenty of water” и “Hotdogs should be eaten with mustard.”, посочват от Technology Review.

2018-2019: GPT и GPT-2

Първите два големи езикови модела на OpenAI се появяват през няколко месеца, като чрез тях компанията иска да разработи многофункционален изкуствен интелект с общо предназначение и смята, че големите езикови модели са ключова стъпка към тази цел. GPT (съкращение от Generative Pre-trained Transformer - генеративен предварително обучен трансформатор) поставя началото, като надминава най-добрите по това време платформи.

GPT комбинира трансформатори с неконтролирано обучение (начин за обучение на модели за изкуствен интелект върху данни (в този случай много и различни текстове), които не са били предварително анотирани). Това позволява на софтуера сам да открива моделите в данните, без да е необходимо да му се казва какво разглежда.

До този момент много от водещите модели разчитат на обучение под наблюдение и анотирани данни. Но ръчното маркиране на данните е бавна работа и по този начин се ограничава размера на наборите от данни, на които се базира обучението.

Без човешка намеса: Как автономни агенти въвеждат генеративен AI за маситеМакар и съвсем нови, те могат да представляват важен етап в продуктивното прилагане на LLM

GPT-2 предизвика по-голям шум с появата си. От OpenAI дори твърдят, че са толкова загрижени, че хората ще използват системата за противообществени дейности, че отказват да публикуват пълния модел.

2020: GPT-3

И наистина, посочва Technology Review, GPT-2 беше впечатляващ, но последвалият модел на OpenAI - GPT-3, изуми много анализатори. Способността му да генерира текст, подобен на този, създаден от човек, е голям скок напред в развитието на технологията. GPT-3 може да отговаря на въпроси, да обобщава документи, да генерира разкази в различни стилове, да превежда между английски, френски, испански и японски език и др.

Мимикрията му е невероятна, а един от най-забележителните изводи е, че GPT-3 е постига успехите си по-скоро чрез подобряване на съществуващите техники, отколкото чрез измисляне на нови. GPT-3 има 175 милиарда параметъра (стойностите в мрежата, които се коригират по време на обучението) в сравнение с 1,5 милиарда на GPT-2. Освен това новата мрежа е обучена с помощта на много повече данни.

От архитекти до програмисти – как бизнесът използва AI като „трети мозък“ChatGPT предизвика наплив от потребители, които искат да са по-производителни или просто да не изостават с новите технологии

Но обучението чрез текст, взет от интернет, води до нови проблеми. GPT-3 попива голяма част от дезинформацията и предразсъдъците, които открива в интернет, и ги възпроизвежда при поискване. Както OpenAI признава: "Моделите, обучени в интернет, имат пристрастия от интернет мащаб."

Декември 2020 г: Реч на омразата и други проблеми

Докато OpenAI се бори с пристрастията, демонстрирани от GPT-3, останалата част от технологичния свят също се сблъсква с подобни предизвикателства. Не е тайна, че големите езикови модели могат да генерират текстове, пълни с невярна информация и реч на омразата, но изследователите установяват, че отстраняването на тези проблеми не е в списъка със задачи на повечето големи технологични компании.

Да живее романтиката: ChatGPT пише обети за младоженци и превзема сватбите Технологиията се намесва в това, което се предполага, че е дълбоко личен и за мнозина, духовен момент в живота им

Когато Тимнит Гебру, директор на екипа по етика на изкуствения интелект на Google, изпраща доклад, в който се изтъкват потенциалните вреди, свързани с големите езикови модели (включително високите изчислителни разходи), той не е приет радушно от висшите мениджъри в компанията. През декември 2020 г. Гебру е освободена от поста си, дава пример Technology Review.

Януари 2022 г.: InstructGPT

OpenAI се опитва да намали количеството дезинформация и реч на омразата. Резултатът - InstructGPT, е по-добър в следването на инструкциите на хората, които го използват - известен като инструмент за "подравняване" на жаргона на изкуствения интелект, той генерира много по-малко подобни изказвания и като цяло прави по-малко грешки. Накратко, InstructGPT е по-малко „простак“ от предшественика си - освен ако не бъде помолен да бъде такъв, посочват от специализираното издание.

Май-юли 2022 г.: OPT, BLOOM

Често срещана критика към големите езикови модели е, че разходите за обучението им затрудняват създаването на такива от организации с по-ограничени финансови възможности. Това поражда опасения, че технологията попада в ръцете на малки корпоративни екипи, които работят при закрити врати, без подходящ контрол и без участието на по-широка изследователска общност.

Опит с ChatGPT е най-новото предимство при наемане на работаChatGPT

В отговор на това няколко съвместни проекта разработват големи езикови модели и ги предоставят безплатно на всички изследователи, които искат да изучават и подобряват технологията. Meta например създава и предоставя OPT, реконструкция на GPT-3. Hugging Face пък ръководи консорциум от около 1000 изследователи-доброволци, които създават и пускат BLOOM.

Декември 2022 г.: ChatGPT

Дори OpenAI е изненадана от начина, по който е приет ChatGPT. В първата демонстрация новата платформа е представена като постепенна актуализация на InstructGPT.

Подобно на този модел, ChatGPT е обучен с помощта на обратна връзка от човешки тестери, които оценяват представянето му като такова на „плавен, точен и неангажиращ събеседник“.

На практика OpenAI обучава GPT-3 да овладее умението да разговаря като човек. И вече милиони му помагат в неговата мисия.