Küçük dil modelleri: Hakimiyetleri için bir tehlike var mı?

28 Haz 11:29

Ich arbeite seit einem halben Jahr mit beiden Modellklassen: lokal betreibe ich phi-2 für Dokumenten-Zusammenfassungen in meinem Forschungsteam, während ich für komplexe Code-Fragen gelegentlich auf LLMs wie Llama 3 zurückgreife. Für mich ist die Antwort klar regional: Kleine Modelle wie phi-2 reichen völlig aus, wenn Primärziel Geschwindigkeit und niedrige Infrastrukturkosten sind – bei uns läuft alles auf einem alten NVIDIA 3080 ohne Cloud-Kosten. Sobald es um Kontextlänge (über 4k Token) oder Nischenwissen geht, stoße ich aber regelmäßig an Grenzen: phi-2 vergisst in langen Gesprächsreihen plötzlich Details, die Llama 3 problemlos mithält. Mein Kompromiss: Wir trainieren phi-2 mit spezifischen Domain-Daten nach, dann erreicht es fast die Qualität großer Modelle – aber die 7-Milliarden-Parameter-Grenze bleibt spürbar. Für euren Anwendungsfall würde ich raten: Führt erst einen Prototyp mit einem 7B-Modell wie Mistral durch. Wenn die Genauigkeit stimmt, könnt ihr später immer noch skalieren – aber überspringt von Anfang an die proprietären LLMs, wenn es um vertrauliche Daten geht. Kleine Modelle machen heute schon 80% der typischen Use-Cases hinreichend abgedeckt.