Claude Fable 5.1 made me a really nice animated pelican

Anthropic hat gestern Fable 5.1 veröffentlicht, das abermals besser sein soll und definitiv teuer sein wird.

Simon Willison, der, wie ich letztes Jahr schon schrieb, „das unauf­geregte, täglich aktuali­sierte Must-Read-Blog für alles um Artificial Intelligence führt“, testet die Modelle seit jeher durch das Zeichnen eines Fahrrad fahrenden Pelikans als SVG, weil das ordentlich umzu­setzen gleich mehrere Intelligence-Kapazitäten mitein­ander vereint. Am Büro­mittags­tisch sind die gelungenen und gescheiterten Pelikane seit Monaten Thema der Belustigung. Sein Bench­mark ist mittlerweile sogar so bekannt, dass vermutet wurde, die AI-Labs würden ihre Modelle direkt auf den Pelikan-Bicycle-Test hin trainieren, was aber nicht bestätigt werden konnte.

Jedenfalls hat Fable 5.1 in der höchsten Reasoning-Stufe „Max“ nun einen guten Pelikan gezeichnet (Kostenpunkt $3,30) und diesen sogar animiert (weitere $1,37). Die darunter liegenden Reasoning-Stufen waren z.T. deutlich schlechter, bei „Low“ und „Medium“ ist sogar gar kein Reasoning mehr erkennbar.