Disclaimer: Недавно вышло очень интересное видео. Так как многие люди не имеют времени или возможности просмотреть его - выкладываю сюда отформатированную стенограмму с некоторыми ссылками и картинками.
8 лет назад в журнале New York Times опубликовали статью, в которой говорилось о мнении известного американского учёного Пита Хата из Института перспективных исследований. Он считал, что искусственный интеллект не сможет победить человека в игре го ещё сто лет или даже дольше. Учёный дал убедительные аргументы, например, то, что для игры в го требуется интуиция. Тем не менее, в тот же месяц искусственный интеллект победил лучшего игрока в эту игру.
12 июня 2017 года на сайте препринтов была опубликована статья от учёных из Google под названием "Внимание - это всё, что вам нужно". Это статья стала причиной запуска четвёртой научно-технической революции. Они рассказывали о новой эффективной архитектуре нейронных сетей под названием трансформер. До появления этой архитектуры разговоры о искусственном интеллекте были скорее темой для фантастов и гиков, но не серьёзным обсуждением.
Всё изменилось 30 ноября 2022 года. В этот день произошло то, из-за чего мир уже никогда не будет прежним. Компания OpenAI скинула на человечество термоядерную боеголовку под названием ChatGPT. Эта нейросеть, работающая на архитектуре трансформер, изменила буквально всё. Она произвела слом в массовом сознании, дала мощную отрезвляющую пощечину всем крупным корпорациям и государствам. Каждый человек воочию увидел, что разговоры об искусственном интеллекте - это не бред шизофреников, а неизбежная реальность, которая вот-вот станет правдой.
После запуска ChatGPT всё было как во сне: сервис с этой нейросетью начал ставить рекорды. Он в несколько раз обогнал TikTok по скорости набора сотни миллионов пользователей. Хайп был невероятным, даже в "Саус Парке" посвятили этому серию. Поджилки затряслись буквально у всей индустрии. Корпоративный сектор начал сходить с ума, крупные IT-компании судорожно бросились вливать десятки миллиардов долларов в попытку создать такую же нейросеть у себя. Даже такой гигант, как Google, начал паниковать, так как эта нейросеть создала прямую угрозу существования их поисковика. Дело в том, что ChatGPT “прочитал весь интернет” и теперь имеет все знания мира. Он может быстро ответить на любой вопрос. Больше не нужно часами гуглить и проверять кучу сайтов, пытаясь найти нужную информацию. И даже несмотря на то, что первая релизная версия ChatGPT была довольно глупа и часто ошибалась, в Google прекрасно поняли, что через пару лет новые версии этой нейросети сделают их поисковик гораздо менее востребованным. Из-за этого они спешно начали разрабатывать такую же нейросеть. Ведь если не можешь победить, то возглавь. Опасения их были не напрасны, так как даже пользователи первой релизной версии ChatGPT реже стали обращаться в Google за информацией. Ну, а 14 марта 2023 года компания OpenAI скинула на человечество уже настоящую царь-бомбу.
Это была новая версия ChatGPT, а именно языковая модель GPT-4. Люди впервые заглянули в глаза то ли дьявола, то ли ангела. Пока ещё непонятно. После выхода GPT-4 даже у самых последних скептиков в области искусственного разума пропали все сомнения, что такой разум возможен в принципе. А те редкие скептики, что ещё остались, уже начинают восприниматься как маргиналы, настолько их мнение становится непопулярным в экспертной среде. То есть сегодня идея о том, что общий ИИ человечество не сможет создать в обозримом будущем, является маргинальной, а совсем недавно было наоборот. То, что сегодня делает GPT-4, ещё полтора года назад учёным казалось делом очень и очень отдалённого будущего. Общение с ним более осмысленно, чем общение с большинством людей: он отвечает лучше, структурированее и логичнее, чем подавляющая часть населения планеты. А недавнее исследование показало, что GPT-4 умеет убеждать людей лучше, чем другие люди, аж на 80%. Он на отлично сдал экзамены в ВУЗы по многим предметам.
Его ответы настолько хороши, что многие его начали использовать не только в работе и в учёбе, но и в приложениях для знакомств, так как многие парни, при общении с девушкой, не могут двух слов связать. А тут нейросеть за вас на любое сообщение от дамы даёт развёрнутый ответ. Один парень больше года общался с девушкой в тиндере через чат GPT, пока они наконец не поженились.
А недавно учёные из сверхпрестижной Уортонской школы бизнеса выяснили, что GPT-4 придумывает идеи лучше, чем 99% людей если его хорошо попросить, то есть дать ему правильный промт. Ещё он неплох в качестве психолога или юриста для первичных консультаций. Также он является прекрасным репетитором по многим предметам. А из-за того, что он хорошо и, главное, быстро пишет программный код, многие программисты теперь без него отказываются работать. Также он умеет описывать картинки, объяснять мемы и пояснять непонятные шутки.
Чтобы вы понимали, многие учёные до этого момента были уверены, что искусственный интеллект научится давать ответы на столь сложные вопросы, в лучшем случае, через 50 лет, если повезёт. А некоторые делали ставку на 100 лет и с умным видом об этом писали в престижных научных журналах. Языковая модель GPT-4, которую обучали просто предсказывать следующее слово, сделала нечто неожиданное. А именно, создала внутри себя картину мира, и теперь она опирается на неё, проходя по слоям и на протяжении всего предложения. Благодаря этому её ответы получаются крайне разумными. Доказательства о наличии картины мира у нейросети на этой картинке:
У GPT-4 спросили, что произойдёт, когда перчатка упадёт. Он отвечает: “Она ударит по деревянной доске, и мяч улетит”. Нейросеть никогда бы не смогла дать такой ответ, если бы у неё не было картины мира. А теперь самое забавное: примерно за год до этой демонстрации Ян ЛеКун (один из лучших учёных в мире по нейросетям. Тот самый, которого арабские шейхи пытались недавно задобрить, высвечивая его фото на самом высоком небоскрёбе в мире Бурдж Халифа, дабы переманить к себе) лично на подкасте у Лекса Фридмана заявил, что языковые нейросети никогда не будут способны отвечать на подобные вопросы, даже когда выйдет GPT-5000:
Я беру предмет, кладу его на стол и толкаю стол. Для тебя совершенно очевидно, что предмет будет толкаться вместе со столом. Верно, потому что он стоит на нём. В мире нет ни одного текста, который бы это объяснял, и поэтому, если вы обучите машину настолько мощной, насколько это возможно, например ваш GPT-5000, или что бы это ни было, она никогда об этом не узнает.
Понадобился всего год и всего лишь версия GPT-4 вместо 5000, чтобы невозможное стало возможным. Немного ошибся… И это один из лучших спецов в мире. Учитывайте этот момент всегда, когда слушаете доводы скептиков, какими бы профи они не были.
Внезапно для Яна ЛеКуна и для всех остальных выяснилось, что чем больше размер модели, то есть чем больше нейронов, а точнее количество параметров, мы закладываем в нейросеть, тем более ясную картину мира она у себя формирует. Она начинает мыслить абстрактно. В ней сама организуется специализированная логика, и появляется множество талантов, на которые её не обучали. Например, её никто не учил рисовать, но она умеет это делать псевдографикой.
А этот график показывает, что начиная с некоторого размера модели, у них резко открывается математический талант.
Изучение вопроса показало, что в текстах, использованных для обучения, не присутствует достаточного количества примеров для зубрёжки ответов. Мало кто понимает, насколько это контриинтуитивно. Это было сюрпризом и для Сэма Альтмана, главы OpenAI, и для всех ведущих специалистов по нейросетям. Прекрасно эту тенденцию к проявлению неожиданных талантов видно в новой нейросети Sora от создателей GPT-4. Нейросеть увеличили настолько, что она научилась делать то, чему её никто не обучал. Она не просто генерирует видео, а моделирует физическую реальность и записывает результат. Это и позволяет делать такие правдоподобные ролики. Ей приходится симулировать действия при создании видео, понимая логику всех объектов самого физического мира и его правил.
Но давайте вернемся к важному пониманию, к которому мы пришли. На данный момент это то, что для создания сильного искусственного интеллекта нам нужно в основном просто увеличивать размер модели, то есть наращивать число параметров. Мы находимся на финишной прямой. Теперь хотя бы понятно, что надо делать.
Это было важным осознанием для инвесторов. Подумайте, языковые нейросети настолько напугали мир, что США немедленно запретили продажу своих чипов для искусственного интеллекта ряду конкурирующих стран, таких как Китай, Россия и другие. Тысячи человек из индустрии, включая Илона Маска и Стива Возняка, написали открытое письмо с просьбой приостановить развитие искусственного интеллекта на полгода, чтобы успеть всё осмыслить. И уже через пару месяцев после релиза GPT-4 в США прошло первое заседание Конгресса, посвящённое надзору за искусственным интеллектом. Где глава компании OpenAI, Сэм Альтман, предстал перед Сенатом, давая свои показания и предложения по контролю за безопасностью искусственного интеллекта. Ещё буквально за полгода до этого сама мысль о подобном заседании Конгресса, где обсуждается такая тема, казалось бы, слишком фантастичной, чтобы быть правдой. Всё это было похоже на какое-то кино. Это заседание ознаменовало конец эпохи бесконтрольного развития искусственного интеллекта. Совсем недавно Белый дом, а затем и Европарламент, выпустили документы, задающие границы этой технологии. GPT изменил психологию отношения к этой области. Он показал, что искусственный интеллект - это не слепой путь. Инвесторы точно теперь знают, что там что-то будет в конце этого пути, а потому есть смысл вкладываться в подобные проекты. Именно поэтому в прошлом году в сферу искусственного интеллекта полились инвестиции в невиданных ранее масштабах. ИИ стал главным словом 2023 года. Это был самый триумфальный и зрелищный год для практического применения искусственного интеллекта. О нём говорили буквально все. Теперь не только корпорации, но и целые государства вступили в гонку по созданию общего ИИ, то есть искусственного интеллекта человеческого уровня, который во всех областях науки будет умнее любого из нас.
Трудно вспомнить технологию за последние 20 лет, которая сильнее вдохновляла инвесторов и исследователей на создание новых продуктов. Сэм Альтман глумится над скептиками, припоминая, что когда в 2015 году компания OpenAI, создавшая GPT-4, была запущена, он с другими основателями заявил, что собирается создать общий искусственный интеллект. Из-за этого люди приняли их за сумасшедших. Даже видные учёные в области искусственного интеллекта писали о том, что эти люди профаны и называли глупыми журналистов, которые уделяют им внимание. Спустя 8 лет эти "профаны" превратились в компанию стоимостью 90 миллиардов долларов с продуктом, который произвёл революцию в области ИИ и кардинально изменил отношение людей к этой сфере, на которой теперь все равняются и пытаются догнать. Как считает Сэм Альтман, GPT-4 — это система, про которую в будущем, оглядываясь назад, историки скажут, что она была первым прототипом общего искусственного интеллекта. Многие эксперты с ним согласны. По факту, это отправная точка в четвёртой научно-технической революции.
Скептики долго пытались упираться в признание у GPT-4 логики. Говорили, что это всего лишь Т9 на стероидах, намекая на то, что он только выдаёт заученные ответы на вопросы за счёт огромной базы данных, на которой обучался, таким образом, лишь создавая иллюзию логичности. Однако многочисленные эксперименты и тесты различных исследователей подтвердили у него наличие, пусть пока и слабой, но всё же логики. Ведь GPT-4, пусть и с переменным успехом, но всё же умеет решать загадки, которые никогда прежде в интернете не встречались. Загадки, которые вы сами выдумываете. И это странно.
Как заметили в MIT большие языковые модели ведут себя так, как, согласно учебникам математики, вести себя не должны. Никто точно не знает, как и почему они работают. Некоторые принципы обучения искусственного интеллекта противоречат классической статистике, из-за чего ИИ модели удаётся избежать проблем с обобщением данных, которые должны неизбежно возникать с увеличением её параметров. Поэтому Ян ЛеКун и все другие специалисты ошибались насчёт возможностей развития искусственного интеллекта. Они умные люди и обоснованно считали, что языковые модели при любом размере будут оставаться обычными парсерами текста. Так как эти прогнозы опирались на крепкую теорию. Но как говорится, на одной теории далеко не уедешь.
В прошлом году исследователи Microsoft опубликовали 155-страничный отчёт, в котором пришли к выводу, что у GPT-4 есть признаки человеческого мышления.
У модели возникает своя картина мира, и она опирается при принятии решений уже не на те датасеты, которые были в неё заложены. Она опирается на свою картину мира, которую она для себя складывает. Это, конечно, гигантский прорыв.
За пару лет до этого почти все исследователи думали, что для обладания подобными свойствами требуется наличие сознания. Но теперь мы понимаем, что роль сознания для интеллектуальной деятельности оказалась слишком переоценённой. Не требуется никакого сознания, чтобы обладать высокими когнитивными способностями и быть умнее человека. Мы были слишком высокомерны. Не такие уж мы и неподражаемые. Внезапно выяснилось, что весь наш ум, творчество и интуиция легко просчитываются математикой. Всё это может быть симулировано даже лучше чем получается у нас, что уже было неоднократно доказано нейросетями в различных областях. Теперь мы знаем, что для создания искусственного разума нам совершенно не нужно понимать, как работает наш разум. Идея о том, что нам надо понять, как работает наш интеллект, чтобы суметь создать искусственный, сего дня выглядит маргинальной. Построить Boeing, который будет летать и перевозить людей на своём борту, в миллиарды раз проще, чем растянуть орла до размеров Boeing'a, чтобы он выполнял ту же функцию.
Если полтора года назад до релиза GPT-4 исследователи гадали, возможен ли общий искусственный интеллект, то сегодня они гадают только о том, когда он появится. То есть вопрос, если появится, уже не стоит. Причём сроки его появления от многих экспертов настолько оптимистичные, что теперь на их фоне даже такие известные технооптимисты, как Рей Курцвейл, выглядят пессимистами. Он прогнозирует появление общего искусственного интеллекта в 2029 году, что для многих сегодня окажется слишком большим сроком. Илон Маск, например, считает, что это случится в 2025 году.
GPT-4 для мира искусственного интеллекта стал тем же, чем когда-то стал первый iPhone для мира смартфонов. На этом месте уже пора перестать оскорблять эту нейросеть названием "языковая модель" и перейти к вежливому обращению "когнитивная модель". Результаты работы OpenAI - это сумасшедший прорыв, который случился гораздо раньше, чем предполагали все специалисты. В руках одной компании оказалось чудо уровня инопланетной цивилизации. OpenAI - это Apple 2010 года. GPT-4 стал новым фактором роста, порядком поскучневшего IT. В офисах всех больших компаний сейчас жарко от того, что все пытаются догнать лидера и повторить этот успех. OpenAI создали новую форму гонки вооружений. Эта технология по своему значению подобна внедрению первых паровых двигателей. Тот, у кого эта штука есть, будет иметь экономическое превосходство над тем, у кого этого нет.
Именно поэтому IT-компании начали вливать десятки миллиардов долларов в одну только закупку чипов для нейросетей. Например, компания Марка Цукерберга сейчас закупает 350 000 чипов более чем за 10 млрд долларов, чтобы добавить их к остальной своей ферме из 600 000 чипов. Microsoft аналогично их скупает сотнями тысяч. За ними идут Google и другие. Китайские компании ищут обходные пути и с дикой переплатой пытаются перепокупать хоть что-то. А ведь каждый чип и без того стоит от 30 000 до 40 000 долларов. Вдумайтесь, корпорации тратят десятки миллиардов долларов на оборудование, которое через несколько лет устареет, и его надо будет выкинуть. Настолько велик страх перед ИИ в руках конкурентов.
Чипов на всех желающих катастрофически не хватает. Это происходит при том, что их выпускают сотнями тысяч в месяц. За год очередь на продукцию NVIDIA, которая производит самые мощные чипы для нейросетей, выросла до 13 месяцев. То есть вы оплачиваете покупку и ждёте больше года её получения. Лишь в этом году удалось нарастить производство и снизить очередь до 4 месяцев. И это при учёте, что им нельзя продавать их Китаю. Неудивительно, что из-за такого спроса акции NVIDIA улетели в космос, и компания стала стоить во много раз дороже с момента выхода GPT-4, аж 2 триллиона. Ведь они по сути являются продавцами лопат в эпоху золотой нейросетевой лихорадки. Их чипы разлетаются быстрее, чем горячие пирожки в голодный год.
Ну а Сэм Альтман недавно предложил многим странам объединиться и влить в эту сферу скромные 7 триллионов долларов для строительства множества новых заводов по производству чипов. Эта сумма больше текущего размера всего рынка полупроводников и даже больше капитализации Apple и Microsoft вместе взятых. Немалый расчёт, Альтман делает на привлечение денег от арабов, которые очень хотят вступить в эту гонку. Он уже убедил Microsoft построить суперкомпьютер для OpenAi за астрономически 100 млр долларов, его должны будут запустить через 4 года. Возможно на нём будут создавать GPT-6 или 7. Одни будут догонять другие долго тупить, у остальных не найдётся ресурсов. Мы будем наблюдать разделение корпораций и государств по уровню внедрения когнитивных моделей. OpenAI доказали принципиальную возможность создания когнитивных моделей. Из-за этого и началась вся истерия. Мы ещё не до конца осознаём, какого джина выпустили из бутылки. Вы можете верить или не верить в новую реальность, но она наступила. Программа, которая является настоящим интеллектуальным рабом и личным мудрецом, создана. И с каждым годом она будет становиться умнее, точнее, менее лживой и более надёжной. Это существенно подвинет картину мира, которая у нас есть сейчас, что будет сильно подпитывать рынок искушая всё большее количество инвесторов вкидывать всё большие деньги.
Случившееся уже изменило фокус человечества. Теперь в этой области будут все лучшие умы планеты: все учёные, бизнесмены и инженеры. Все деньги мира будут здесь. Вся власть будет здесь. Это похоже на экспоненту. Прямо сейчас происходит манхэттенский проект. Куча команд работает целенаправленно, ударными темпами, пытаясь создать общий ИИ. Эти изменения - самые важные за всю историю. Всем владельцам компаний стоит бросить все свои силы на изучение и внедрение ИИ инструментов и планировать своё будущее, прогнозируя их развитие. Иначе для вас всё может очень печально закончиться.
Главная польза от когнитивных моделей в краткосрочной перспективе будет заключаться в том, что они дадут нам эффективный способ жить в сегодняшнем огромном объёме информации. Дело в том, что сегодня не существует экспертов. По каждой научной дисциплине ежедневно выходит огромное количество трудов. Невозможно их все знать. Любой профессор выглядит ничтожеством в своей сфере по сравнению с количеством доступных знаний по этой же сфере в интернете. По одной только биологии ежедневно выходят сотни научных работ. Если какой-нибудь биолог будет их читать с утра до вечера, то ему всё равно не хватит и жизни, чтобы осилить хотя бы половину материала. А ведь ещё нужно умудриться всё запомнить и как-то осмыслить. Это создаёт крайне неудобную ситуацию когда у нас есть куча знаний, а человека, который смог бы их вобрать в себя и обработать, нет. И он не может существовать. Но если бы мы всё же могли теоретически обработать все доступные на сегодня знания по той же биологии или физике, то это позволило бы нам сопоставить их, что сразу бы привело к множеству новых открытий и изобретений. И вот тут ИИ нам может помочь решить эту давнюю проблему. Железные мозги не ограничены в памяти, в возможностях поглощения данных, потому они станут первым разумом, который сможет осмыслить всю доступную на данный момент информацию в любой сфере науки, что решит проблему переизбытка знаний. Чем-то похожим сегодня и занимаются нейросети GPT-4, Claude-3 и им подобные. Они вобрали в себя огромное количество научных текстов, но у них ещё слишком слабое логическое мышление, чтобы суметь их грамотно сопоставить и произвести открытие. Но если вспомнить, какой громадный скачок в логике был между GPT-3 и GPT-4, то никто не удивится, если уже GPT-6, который у нас появится в ближайшие 5 лет, станет тем самым искусственным интеллектом, логики которого будет хватать для помощи учёным в сопоставлении всей доступной на сегодня информации, что ознаменует собой первое появление общего искусственного интеллекта.
Даже нынешних способностей GPT-4 в той же медицине иногда хватает, чтобы спасти жизнь. Например, он за одну ночь спас ребёнка, которому 3 года врачи не могли поставить правильный диагноз. Мать мальчика просто рассказала нейросети все симптомы ребёнка и результаты МРТ. После этого бот сразу поставил верный диагноз, который потом врачи перепроверили и подтвердили. Благодаря этому началось правильное лечение.
Другой парень спас свою собаку от смерти, когда доктора не смогли понять, что с ней и предложили просто ждать наихудшего. Мужчина скормил симптомы и результаты анализов крови собаки в GPT-4. Он предложил несколько вариантов и выдал подозрение на совсем другую болезнь, которую доктора до этого даже не рассматривали. Один из них согласился и провёл дополнительные анализы. Они подтвердились, и пса вовремя спасли.
Некоторые врачи уже взяли GP4 на вооружение. Конечно, он не всегда будет отвечать верно. Если его и можно использовать в медицине, то только под наблюдением профессионалов. Но то, что он уже проявляет такую экспертность, очень впечатляет. Он уже достиг уровня врачей офтальмологов в диагностике глазных заболеваний.
А что будет, когда выйдет какая-нибудь условная GPT-6 или 8?
