Meta und Microsoft stellen die nächste Generation von Llama vor

Microsoft und Meta haben heute die Veröffentlichung von Llama 2 angekündigt, der nächsten Generation ihres Open-Source-Modells für Large Language Models. Das neue Modell ist für Forschung und kommerzielle Nutzung kostenlos und soll noch leistungsfähiger und vielseitiger sein als sein Vorgänger.

Microsoft und Meta arbeiten bereits seit mehreren Jahren im Bereich der KI-Forschung und -Entwicklung zusammen, und diese Partnerschaft wurde nun auf die Entwicklung von Llama 2 ausgeweitet. Die beiden Unternehmen sind davon überzeugt, dass offene Innovation der beste Weg ist, um die KI-Technologie voranzubringen und sie für alle zugänglich zu machen.

Llama 2 führt eine Familie von vortrainierten LLMs mit 7B, 13B und 70B Parametern ein

Llama 2 ist nicht nur kostenlos für Forschung und kommerzielle Nutzung, sondern wird auch von einer Vielzahl von Unternehmen und Einzelpersonen aus den Bereichen Technik, Wissenschaft und Politik unterstützt, die den Glauben an offene Innovation teilen. Diese Unterstützung umfasst Ressourcen, die den Nutzern helfen, das Modell verantwortungsvoll zu entwickeln und zu nutzen.

Microsoft und Meta haben sich verpflichtet, KI-Technologie zu entwickeln, die sicher, transparent und integrativ ist. Sie glauben, dass KI allen Menschen zugute kommen sollte und nicht nur einigen wenigen. Indem sie Llama 2 der Öffentlichkeit zur Verfügung stellen, hoffen sie, die weitere Forschung und Entwicklung in diesem Bereich zu fördern.

Wer mit Llama 2 ein wenig spielen möchte:

• Model "playground": https://llama2.ai
• Chat API: https://replicate.com/a16z-infra/llama13b-v2-chat

Wird GPT-4 mit der Zeit schlechter?

Es gibt scheinbar Berichte, dass sich die Qualität der Modellantworten in letzter Zeit verschlechtert hat. Über die Gründe kann man nur spekulieren, vor allem wenn man die immensen Trainingskosten des Models in Betracht zieht. Es gibt ein Projekt auf Github, das sich der Thematik angenommen hat: https://github.com/lchen001/LLMDrift:

Zusammenfassend lässt sich sagen, dass es viele interessante Leistungsveränderungen im Laufe der Zeit gibt. Zum Beispiel war GPT-4 (März 2023) sehr gut beim Erkennen von Primzahlen (Genauigkeit 84,0 %), aber GPT-4 (Juni 2023) war bei denselben Fragen sehr schlecht (Genauigkeit 51,1 %). Interessanterweise war GPT-3.5 (Juni 2023) bei dieser Aufgabe viel besser als GPT-3.5 (März 2023).