Die Chatbot Arena von lmsys.org ist eine Plattform zum Benchmarking von großen Sprachmodellen (LLMs).
Die Arena ermöglicht es, verschiedene LLMs anonym und zufällig gegeneinander antreten zu lassen. Durch Crowdsourcing werden dabei Nutzer*innen befragt, welcher LLM die besseren Antworten liefert. So werden reale Anwendungsfälle von LLMs simuliert und die Modelle verglichen.
Auf der Plattform können Sie mit zwei anonymen LLMs gleichzeitig chatten und anschließend abstimmen, welcher Ihnen besser gefällt. Sie können mehrere Runden chatten und den Gesprächsverlauf zurücksetzen.
Die Arena verfügt über eine Rangliste, die die Leistung der LLMs anhand des Elo-Systems bewertet, welches aus dem Schach und anderen Wettkampfspielen bekannt ist. Sie können sich die Rangliste ansehen und erfahren, wie verschiedene LLMs im Vergleich abschneiden.
LMSys lädt die Community dazu ein, sich an der Arena zu beteiligen. Sie können neue Modelle zum Vergleich einreichen und selbst als Nutzer*in abstimmen und Modelle bewerten.
LMSys.org ist eine rein englischsprachige Plattform.
Weitere Informationen: