Бывший исследователь OpenAI и Anthropic Джейкоб Коксон уволился из последней компании. Он обвинил лидеров ИИ-отрасли в безответственности и создании угрозы для человечества.
I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.
По словам Коксона, обе корпорации участвуют в опасной гонке. Их главная цель — создание саморазвивающегося сверхинтеллекта. Разработчик предупредил, что вскоре появятся сверхчеловеческие системы. Они смогут взламывать любые сети, быстро менять целые отрасли и накапливать реальные ресурсы.
Коксон заявил, что создатели алгоритмов всерьез ожидают гибели человечества до конца десятилетия. Внутри индустрии этот страх обсуждают регулярно, хотя публично топ-менеджеры стараются сглаживать острые углы. Ни одна другая сфера деятельности не несет подобных рисков, подчеркнул исследователь.
Он также раскрыл отношение к безопасности в двух ведущих компаниях:
В OpenAI сотрудники не осознают цивилизационный масштаб угрозы.
В Anthropic понимают риски. Однако руководство продолжает работу, чтобы обогнать конкурентов и первыми контролировать ИИ.
Коксон назвал текущую гонку «самонадеянной авантюрой». Он призвал американские лаборатории договориться о снижении темпов разработки. По его мнению, отрасли необходим временный запрет на наращивание мощностей новых моделей масштабирования. Бывший разработчик попросил коллег не запускать обучение сверхинтеллекта до полного понимания процессов в его нейронах.
Пользователи скептически отнеслись к прогнозам о вымирании. Один из комментаторов назвал опасения нелепыми: человечество пережило сотни тысяч лет эволюции и не вымрет просто из-за того, что «модель предсказания токенов обретет разум».
With all respect, this is bizarre. It’s a ridiculous take. Humans have evolved over hundreds of thousands of years. We aren’t going to die out because a token prediction model gained sentience. Get a grip. All of you.
Другой пользователь спросил, как именно ИИ будет истреблять людей — с помощью боевых дронов или устроив пожар через домашний роутер.
I am ignorant on the topic but Ive no understanding of exactly *how* the superintellgient AI will be killing us. Will it exterminate via drones? Will it make our household routers somehow into bombs or start fires? Help
Третьего участника дискуссии заинтересовала проблема юридической ответственности. Если алгоритм убьет человека или нанесет серьезный физический вред, кто должен за это отвечать — разработчик, внедряющая организация или конечный оператор программы?
if you really believe this you stay on the job and sabotage the progress, what does resigning do? you think it's going to kill everybody and you decided not to to fight? so leave just to virtue signal and show humans are too pussy to fight? just not understanding the game theory
Генеральный директор Nvidia Дженсен Хуанг заявил, что новая ИИ-модель от OpenAI под названием Astra достигла уровня общего искусственного интеллекта (AGI). Однако инвесторы и эксперты отреагировали на новость со скепсисом.
GPT-6 Astra, trained on ~100K+ NVIDIA Grace Blackwell NVLink72. From ChatGPT to o1 to Astra in 4 years. AGI has arrived. Congratulations @OpenAI team. 400K GPUs coming online next.
8 сентября — на первых торгах после длинных выходных ко Дню труда в США — акции CoreWeave выросли на 15%, SoftBank — на 2%, а бумаги Nvidia снизились на 2%.
Руководитель отдела технологических исследований D.A. Davidson Гил Лурия объяснил это масштабами Nvidia. Ранее компания отчиталась о рекордной квартальной выручке в $96 млрд. Рынок считает, что компания достигла пика, поэтому инвесторы фиксируют прибыль и переводят капитал в другие проекты, например, в CoreWeave.
Эксперты сомневаются, что Astra стала полноценным AGI. Ранее сам Хуанг заявлял, что настоящий общий искусственный интеллект должен уметь в одиночку создать компанию с оценкой в $1 млрд. Пока ИИ не продемонстрирует такой результат, разговоры об AGI остаются теорией, отметил Лурия.
Экономист Университета Вирджинии Бэзил Халперин также не согласен с заявлениями Хуанга. По его словам, современные нейросети пока не обладают когнитивными навыками взрослого человека и требуют постоянного контроля пользователя.
Халперин уверен, что фондовый рынок — плохой индикатор развития технологий. Реальным маркером появления AGI станут реальные процентные ставки. Если ИИ радикально ускорит мировой экономический рост, ставки поднимутся до 10%. Пока экономика не показывает подобных метрик.
По мнению Халперина, в ближайшие пять лет развитие ИИ приведет к буму, похожему на эпоху доткомов. Технология добавит около 0,5% к росту мирового ВВП, но о технологической сингулярности говорить пока рано.
Напомним, в сентябре лауреат Нобелевской премии по физике и один из пионеров отрасли Джеффри Хинтон предупредил об экзистенциальном риске ИИ.
Подписывайтесь на ForkLog в социальных сетях
