Ai Benchmark
주제 아카이브 • 9 건
AI 생성: 요약은 링크된 출처를 바탕으로 AI가 작성했습니다. AI 활용 방식
2026-11-10
기술
Google DeepMind는 Gemini Robotics 2.5를 공개했으며, 회사 측은 일부 작업에서 최대 두 배 더 성공적이라고 말한다. 이와 함께 'ASIMOV-jailbreak'라는 공개 안전 벤치마크도 공개되었다. 이번 출시는 로보틱스 모델 업데이트와 탈옥(jailbreak)에 초점을 맞춘 안전 평가를 함께 선보인다.
연구 • Ars Technica AI
퍼머링크The Decoder에 따르면, Anthropic의 Fable 5.2는 Remote Labor Index에서 실제 프리랜서 작업의 41.3퍼센트를 전문가 수준의 품질로 완수하여, 차선의 시스템인 Opus 5.5와 GPT 6 Astra의 두 배 이상을 기록했다. 1년 전 최고 점수는 2.5퍼센트였으나, 제품 디자인과 애니메이션 같은 분야는 여전히 약점으로 남아 있다.
모델 출시 • The Decoder
퍼머링크
2026-11-11
기술
대본 발췌 기반: AI Explained가 Fable 5.2와 Gemini Carbon 모델 출시를 분석하며, 264페이지 분량의 시스템 카드, AI 가속화에 관한 30페이지 분량의 METR 보고서, 그리고 제작자 본인의 테스트를 참고한다. 이 영상은 벤치마크 결과, 정답을 암기한 모델을 잡아내기 위해 설계된 'Max Bench' 테스트, 원격 노동 지수, 그리고 AI 개선 속도가 빨라질 것이라는 Anthropic의 주장을 다룬다. 또한 벤치마크 결과가 면밀한 검증을 견딜 수 있는지도 논의한다.
AI News & Analysis • AI Explained
퍼머링크
2026-11-12
기술
Google DeepMind가 6주 만에 세 번째 신모델인 Gemini 4 Hydrogen을 출시했으며, 이 모델은 xhigh 추론 수준을 도입한다. Artificial Analysis의 Intelligence Index에 따르면 Hydrogen은 Claude Sonnet 5.5 및 GPT-6.1 Sol과 거의 동등한 성능을 보이며, 비용은 Sonnet의 3분의 1 수준이지만 Sol의 약 2.5배에 달한다. 이 모델은 Google Search와 Google Antigravity 내에서 장기 과제를 위한 새로운 Orchestrator 옵션과 함께 순차적으로 배포되고 있다.
AI Models • Techmeme
퍼머링크