Microsoft hat Orca auf den Markt gebracht, ein großartiges neues Sprachmodell, das die Zukunft von KI-Chatbots wie ChatGPT unterstützen könnte. Es ist deutlich kleiner (13 Milliarden Parameter) als seine beliebten Gegenstücke, hat aber bereits ChatGPT von Open AI übertroffen und sogar dem GPT 4-Modell (angeblich mit 1 Billion Parametern) in einigen Benchmarks Konkurrenz gemacht. Apropos Geld: Im Vergleich zu den ganz Großen kostet das Training sehr wenig. Außerdem ist es Open Source. Nun, das ist das Besondere daran und ich denke, wir hätten damit beginnen sollen.
Wie auch immer, lassen Sie uns lernen, welche Bedeutung sein Design und Betrieb für die aktuelle und zukünftige KI-Forschung und -Entwicklung hat.
Wie Orca funktioniert und warum es besser als GPT ist
https://www.youtube.com/watch?v=–khbXchTeE
Bevor wir zu Orca kommen, wollen wir das Problem verstehen, das es zu lösen versucht.
Das Trainieren sehr großer Sprachmodelle (LLMs) wie GPT 4 von Open AI oder LaMDA oder PaLM 2 von Google erfordert Milliarden. Das sind jeweils Millionen für das Sammeln guter Daten, das Training, die Verfeinerung und die Verstärkung des Lernens durch menschliches Feedback.
Lesen Sie auch: 4 neue Funktionen des neuen GPT 4, die ChatGPT zu einem fortschrittlichen multimodalen Chatbot machen
Nicht alle Unternehmen, geschweige denn kleine Forschungsgruppen, verfügen über so viel Geld. Außerdem sind GPT 4 und dergleichen zu leistungsstark und vielseitig für ihr eigenes Wohl. Kunden dieser LLMs benötigen möglicherweise nicht all dieses Wissen und diese Fähigkeiten. Diese Kunden brauchen also etwas Billigeres, aber gleichzeitig, wenn man so will, Spezialisierteres.
Orca erfüllt nicht nur diese beiden Anforderungen, sondern ist in mancher Hinsicht auch intelligenter.
Das liegt an der Art und Weise, wie es zum Lernen konzipiert ist.
Es lernt oder ahmt GPT 4 und ähnliche LLM-Modelle nach. Aber es erfasst nicht nur, was GPT 4 tut, sondern auch, wie es etwas tut und sozusagen den Denkprozess hinter seiner Aktion.
Microsoft hat außerdem eine neue Lernmethode für Orca eingeführt:
Orca lernt in zwei Stufen. Es löst zunächst die einfacheren ChatGPT-Abfragen und nutzt dann dieses Erfahrungswissen, um von GPT 4 zu lernen und komplexere Abfragen zu lösen.
Lesen Sie auch: Google Bard wurde mit erstaunlichen KI-Fähigkeiten aufgerüstet, aber ist es besser als ChatGPT?
Es geht also darum, die Denkfähigkeiten eines Menschen nachzuahmen, indem man die Art und Weise nachahmt, wie Menschen denken und handeln. Wenn es so effektiv ist wie beschrieben, dann haben wir ein LLM- oder KI-Modell, das die Zukunft der KI revolutionieren kann.
Mal sehen, ob Orcas Leistung mit seiner vielversprechenden Theorie übereinstimmt. Wir erwarten dies natürlich mit einiger Sorge.
