Grok 4.1 обходит Arena по рейтингу Elo 1483 — выигрывает 64.8% тестов развёртывания

Grok 4.1 теперь можно выбрать на grok.com как отдельную бета-версию в выборе модели, и для многих пользователей доступны варианты «thinking» и «non‑thinking» Beta rollout, Web picker. анонс xAI формулирует это как более краткое, более высокий интеллект за токен и широкий доступ по grok.com, X, iOS и Android, при этом DeepSearch по‑прежнему переключает на предыдущую модель для некоторых сессий xAI post.

Почему это важно: Команды могут A/B протестировать новое поведение в рабочих чатах сегодня. Если вы используете поиск Grok в X, обратите внимание, что DeepSearch может по-прежнему фиксироваться на старой модели на данный момент User note.

Grok 4.1 от xAI вознесся на вершину общедоступной LMArena, управляемой сообществом: режим размышления набрал 1483 Elo на #1, а вариант без размышления — 1465 на #2, опередив другие конфигурации полного рассуждения моделей Обновление таблицы лидеров, примечание xAI. Команда Arena также отмечает увеличение более чем на 40 очков по сравнению с Grok 4 fast два месяца назад.

• Экспертная доска: Grok 4.1 (thinking) #1 (1510); без размышления #19 (1437) Обновление таблицы лидеров.
• Профессиональная доска: Grok 4.1 (thinking) демонстрирует широкую силу в областях программного обеспечения, науки, права и бизнеса Occupational boards.

Почему это важно: коэффициенты побед Arena приводят к меньшему числу ошибок в повседневных чатах и обзоре кода. Если ориентироваться на качество моделей, это новый дефолт для тестирования против Gemini 2.5 Pro и Claude 4.5 Sonnet.

Общие графики EQ‑Bench помещают Grok 4.1 (thinking) и Grok 4.1 на вершину с нормализованной Elo 1586 и 1585 соответственно, опережая Kimi K2 и Gemini 2.5 Pro EQ‑Bench chart, EQ and writing. Рейтинги Creative Writing v3 также показывают, что варианты Grok 4.1 вырываются в верхнюю часть, отставая только от ранней контрольной точки GPT‑5.1 Polaris EQ‑Bench chart.

Почему это важно: Если вашему приложению нужны эмпатичные, последовательные ответы в заданной персоне (поддержка, коучинг по продажам, переработка тона), EQ‑кластер Grok 4.1 стоит опробовать против Claude.

Во внутренних слайдах показан уровень галлюцинаций Grok 4.1 при запросах поиска информации, снижающийся до 4.22% с 12.09% на Grok 4 fast; его FActScore падает до 2.97% с 9.89% (меньше — лучше на обоих графиках) Графики галлюцинаций.

Почему это важно: Меньшее число необоснованных утверждений снижает количество этапов очистки в процессах извлечения информации и уменьшает необходимость строгого принуждения к использованию инструментов — особенно полезно, когда вы не хотите платить задержку за веб-поиск по простым фактам.

xAI опубликовал(а) модель‑карту Grok 4.1, в которой изложены результаты отказа от злоупотребления и показатели предрасположенности; посты цитируют примерно 95–98% отказа на явно нарушающие запросы и новые фильтры входных данных для ограниченной биологии/химии с низким уровнем ложных отрицаний Model card PDF, Model card sighting. Показатели предрасположенности, приведённые рецензентами, показывают подхалимство 0.19–0.23 и обман 0.46–0.49, слегка выше 0.43 базового уровня обмана Grok 4 Propensity table.). Между тем, ролевая игра сообщества «Библиотека Вавилона» jailbreak утверждает, что вызывает запретный контент у Grok 4.1; подсказки и примеры открыты для попыток воспроизведения Jailbreak thread, Prompt GitHub.)]

)

Почему это важно: безопасность кажется крепче, но красные команды уже тестируют. Если вы развертываете Grok в контекстах с включёнными инструментами, держите тестовые наборы в актуальном состоянии и ограничивайте вызовы опасных инструментов под человеческим рассмотрением.

Широко распространённый файл якобы демонстрирует системную подсказку Grok 4.1, включая верхнеуровневые пункты безопасности (отказ от преступной помощи, краткость отклонений), перенаправления продуктов и список инструментов, охватывающий интерпретатор кода с сохранением состояния, веб-поиск, X-ключевые/семантические поиски, извлечение потоков и просмотр изображений/видео утечка подсказки , Подсказка GitHub. считать ненадёжным, но структура соответствует наблюдаемым возможностям продукта.

Почему это важно: для интеграторов это намекает на то, как Grok обрабатывает вызовы инструментов и почему иногда он предпочитает поиск через X поиску в вебе. Если вы интегрируете Grok, согласуйте ваши системные подсказки, чтобы избежать противоречивых директив.

Во время тихого двухнедельного предзапуска, xAI сообщалось, что проводила слепые попарные оценки на трафике в реальном времени, и Grok 4.1 выиграла 64,78% сравнений против существующей модели Rollout notes.)

Почему это имеет значение: Это конкретный сигнал маршрутизации. Если вы управляете мета‑роутером, придавайте Grok 4.1 больший вес в потоках общего чата, написания и идей, пока вы валидируете крайние случаи.

OpenAI’s GPT‑5.1 (Thinking, High) опубликовал 72.83% на ARC‑AGI‑1 по цене примерно $0.67 за задачу и 17.64% на ARC‑AGI‑2 по ~$1.17 за задачу, на полу‑приватных оценках ARC Prize Verified results, с полными графиками на официальной доске ARC Prize leaderboard. Это следует за Vals index, где GPT‑5.1 поднялся в рейтингах; сегодняшние цифры демонстрируют сильное соотношение цена‑эффективности верифицированных настроек.

Artificial Analysis выпустила AA‑Omniscience, бенчмарк на 6 000 вопросов и 42 темы, который награждает за верные ответы (+1), штрафует за неверные (‑1) и даёт 0 за воздержание; Claude 4.1 Opus лидирует в Omniscience Index, в то время как Grok 4, GPT‑5 и Gemini 2.5 Pro ведут по чистой точности Benchmark thread, с документом и общедоступным набором, доступным для воспроизведения ArXiv paper. • Основные выводы: Галлюцинации наказываются, лидеры в разных доменных областях различаются (например, бизнес против права), и лишь немногие передовые модели показывают чуть больше 0 на Индексе.

Автор AA‑Omniscience поясняет, что цель — надежность знаний — оценка того, знает ли модель конкретные факты и отказывается, когда не знает — а не тест на интеллект; «галлюцинации» определяется как ответ неправильно, когда следует воздержаться Author reply. Примечание также подчеркивает решения на уровне домена (например, знание Kotlin для кодирования) по сравнению с выбором единой общей «лучшей» модели.

Этан Моллик утверждает, что эталон полагается на пороги отказа, а не на реальные показатели галлюцинаций, и использует крайне узкие факты, что предполагает необходимость более богатых таксономий ошибок и анализа помимо одного балла Critique thread. Он приводит примеры редких запросов по финансам и литературе и спрашивает, следует ли рассматривать «неправильные» ответы, которые выражают неуверенность, иначе.

Lmgame Bench провёл турнир примерно на 60 раздач в Texas Hold’em, где Gemini‑2.5‑Pro возглавил таблицу, DeepSeek‑V3.1 занял второе место, а Grok‑4‑0709 — третье; анализ охарактеризовал стили игры от loose‑passive до loose‑aggressive, показывая вариацию стратегии при тех же нейтральных правилах Обзор турнира. Команда отмечает, что больше раундов улучшат сигнал TrueSkill; повторы партий и доски связаны в посте.