Was du wissen musst
- Microsoft hat kürzlich einen neuen Blogbeitrag veröffentlicht, in dem seine Bemühungen hervorgehoben werden, kleinen Sprachmodellen das Denken beizubringen.
- Es stellte Orca 2 vor, ein kleines Sprachmodell, das starke Denkfähigkeiten demonstriert, indem es die schrittweisen Argumentationsspuren leistungsfähigerer LLMs wie ChatGPT und Copilot nachahmt.
- Benchmarks zufolge weist Orca 2 im Vergleich zu anderen LLMS fortschrittliche Leistungsfähigkeiten auf, wenn es zur Bewältigung komplexer Aufgaben auf die Probe gestellt wird.
- Microsoft beabsichtigt, kleinere Sprachmodelle mithilfe von LLMs zu trainieren und so letztendlich deren Fähigkeiten zu erweitern.
Es besteht kein Zweifel, dass Microsoft voll und ganz auf generative KI gesetzt hat, insbesondere nachdem es mehrere Milliarden Dollar in die Technologie investiert und seine Partnerschaft mit OpenAI weiter ausgebaut hat.
Apropos OpenAI: Wir haben erlebt, was die meisten als Paradigmenwechsel bezeichnen würden, der sich auf das Top-Management des Technologieunternehmens auswirkt. Der Vorstand von OpenAI entzog Sam Altman seine Position und begründete dies mit mangelndem Vertrauen in seine Führungsqualitäten. Kurz darauf wurde Altman eine Stelle bei Microsoft angeboten, wo er neben Greg Brockman (ehemaliger OpenAI-Mitbegründer, der kurz nach Altmans Absetzung zurücktrat) das Advanced AI-Team leitete.
Während all dies geschieht, hat Microsoft einen neuen Blogbeitrag veröffentlicht, in dem seine Bemühungen hervorgehoben werden Bringen Sie kleinen Sprachmodellen das Denken bei. Vor einigen Monaten stellte das Unternehmen Orca vor. „Ein 13-Milliarden-Sprachmodell, das starke Denkfähigkeiten demonstriert, indem es die schrittweisen Argumentationsspuren leistungsfähigerer LLMs nachahmt.“
Und jetzt hat es Orca 2 vorgestellt (das in zwei Größen erhältlich ist – 7 Milliarden und 13 Milliarden Parameter), als Teil seiner Bemühungen, die Fähigkeiten kleinerer LMs zu nutzen. Laut Microsoft verfügt Orca 2 über „verbesserte Trainingssignale und -methoden, die kleinere Sprachmodelle in die Lage versetzen können, verbesserte Denkfähigkeiten zu erreichen.“ Dies ist eine bedeutende Leistung, wenn man bedenkt, dass diese Funktionen häufig in größeren Sprachmodellen, einschließlich ChatGPT und Copilot, zu finden sind.
Zugegebenermaßen mussten beide Chatbots in diesem Jahr zahlreiche Rückschläge hinnehmen, wobei mehrere Benutzer anführten, dass ChatGPT aufgrund der Behauptungen, OpenAI stehe kurz vor dem Bankrott, immer dümmer werde. Andererseits heißt es in einem Bericht, dass die Nutzerbasis von Bing drei Monate in Folge stagniert habe, obwohl Microsoft kräftig in die Technologie investiert habe.
Microsoft führt weiter an, dass Orca 2 anderen ähnlichen Modellen meilenweit voraus ist, sogar dem ursprünglichen Orca-Modell. Darüber hinaus gab das Unternehmen an, dass es im Vergleich zu anderen größeren Modellen ein höheres Leistungsniveau bei der Bewältigung komplexer Aufgaben aufweist, bei denen „fortgeschrittene Denkfähigkeiten in Zero-Shot-Einstellungen“ getestet werden.
Grenzsprachmodelle wie GPT-4, PaLm und andere haben eine bemerkenswerte Fähigkeit zum Denken bewiesen, beispielsweise durch die Beantwortung komplexer Fragen, das Generieren von Erklärungen und sogar das Lösen von Problemen, die mehrstufiges Denken erfordern; Fähigkeiten, die früher als außerhalb der Reichweite der KI stehend galten. Traditionell wurden solche Fähigkeiten bei kleineren Sprachmodellen nicht beobachtet. Die Herausforderung besteht also darin, wie wir unser wachsendes Wissen über große Sprachmodelle nutzen können, um die Fähigkeiten dieser kleineren Modelle zu verbessern.
Microsoft
Das Advanced AI-Team von Microsoft ist auf Kurs
Inmitten des OpenAI-Fiasko gab Microsoft-CEO Satya Nadella am Wochenende bekannt, dass Sam Altman dem Unternehmen als Leiter des Advanced AI-Teams beitreten werde. Ein Job, der seinen Fähigkeiten und Fertigkeiten entspricht.
Nach der unglücklichen Nachricht von Altman verfassten mehr als 500 OpenAI-Mitarbeiter einen Brief an den Vorstand, in dem sie seine Wiedereinstellung forderten, mit der Begründung, dass die Entscheidung ihre Vision untergrabe. Die Mitarbeiter gaben an, dass sie das Unternehmen verlassen würden, wenn ihre Forderungen nicht erfüllt würden, mit der Begründung, dass „es kein OpenAI ohne seine Mitarbeiter gibt“.
Mit der Situation vertrauten Quellen zufolge ist Microsoft bereit, alle OpenAI-Mitarbeiter in die KI-Abteilung aufzunehmen, sollten sie sich dazu entschließen, ihr Versprechen einzulösen und das Unternehmen zu verlassen.
Microsoft wird wahrscheinlich das OpenAI-Team nutzen, um mit Orca 2 mehr zu erreichen. Dadurch kann das Unternehmen LLMs verwenden, um kleinere Sprachmodelle zu trainieren und so letztendlich die Fähigkeiten kleinerer Sprachmodelle zu erweitern.
Glauben Sie, dass Microsoft mit seinen Orca-2-Projekten auf dem richtigen Weg ist? Teilen Sie uns Ihre Gedanken in den Kommentaren mit.