Finden Sie ein Sprachmodell, das zu Ihrer Hardware und Anwendung passt. Vergleichen Sie Konfigurationen und berechnen Sie den Speicherbedarf für Ihren Einsatz.
Ihre Anforderungen
400 berechenbare Modelle · 1.092 Konfigurationen · 93 Hardwareoptionen · DatenstandWählen Sie einen Einstieg, ergänzen Sie Ihre Anforderungen und berechnen Sie die Konfigurationen.
Modellinformationen
Der Katalog zeigt Parameter, Kontextlänge, Lizenz und Quelle. Ein Eintrag bestätigt nicht, dass das Modell auf Ihrer Hardware läuft.
Der Katalog führt 1.081 Modelle mit technischen Daten, 3.958 weitere nur namentlich und 1.154 Formatfassungen dieser Modelle. Die Suche findet alle drei.
Verzeichnis der Herausgeber
Der Finder liest die Modellkonten der Herausgeber vollständig. Diese Übersicht zeigt je Konto, wie viele Modelle er mit Daten rechnet und wie viele er bisher nur führt. Die einzelnen Namen finden Sie über die Suche darüber.
1.081 Modelle mit Daten, 3.958 weitere nur geführt, aus 53 Herausgeberkonten.
Für die nur geführten Modelle holt der nächste Abgleichlauf die technischen Daten. Bis dahin finden Sie den Namen über die Suche und das Modell über den Link auf das Konto.
Dazu kommen 1.154 Formatfassungen. Das ist dasselbe Modell als GGUF, MLX, FP8, NVFP4, AWQ oder GPTQ. Der Finder rechnet sie als Konfiguration des Originals und führt ihren Namen, damit die Suche ihn findet.
| Herausgeber | Mit Daten | Nur geführt | Formatfassungen |
|---|---|---|---|
| 01-ai | 6 | 22 | 0 |
| ai21labs | 11 | 1 | 4 |
| Aleph-Alpha | 7 | 13 | 3 |
| allenai | 25 | 792 | 20 |
| apple | 5 | 49 | 2 |
| arcee-ai | 20 | 101 | 59 |
| baichuan-inc | 5 | 8 | 5 |
| baidu | 14 | 3 | 1 |
| ByteDance-Seed | 12 | 28 | 2 |
| CohereLabs | 16 | 14 | 12 |
| deepseek-ai | 68 | 48 | 0 |
| 66 | 749 | 37 | |
| HuggingFaceTB | 22 | 34 | 10 |
| ibm-granite | 56 | 75 | 60 |
| IFM | 12 | 14 | 9 |
| inclusionAI | 23 | 118 | 37 |
| internlm | 9 | 69 | 29 |
| JetBrains | 3 | 11 | 16 |
| kakaocorp | 14 | 2 | 0 |
| LGAI-EXAONE | 13 | 9 | 28 |
| LiquidAI | 16 | 23 | 106 |
| llm-jp | 7 | 242 | 3 |
| meta-llama | 62 | 30 | 7 |
| microsoft | 83 | 234 | 29 |
| MiniMaxAI | 16 | 7 | 0 |
| mistralai | 33 | 17 | 16 |
| moonshotai | 16 | 0 | 0 |
| naver-hyperclovax | 4 | 2 | 0 |
| NousResearch | 17 | 75 | 33 |
| nvidia | 29 | 423 | 111 |
| occiglot | 10 | 0 | 0 |
| openai | 5 | 13 | 0 |
| openbmb | 22 | 68 | 61 |
| openGPT-X | 3 | 0 | 0 |
| OpenGVLab | 4 | 181 | 23 |
| PleIAs | 12 | 7 | 5 |
| Qwen | 86 | 111 | 239 |
| rinna | 4 | 26 | 27 |
| Salesforce | 10 | 104 | 5 |
| sarvamai | 5 | 2 | 6 |
| ServiceNow-AI | 7 | 1 | 1 |
| Skywork | 13 | 20 | 5 |
| stabilityai | 16 | 21 | 3 |
| stepfun-ai | 14 | 10 | 8 |
| swiss-ai | 13 | 0 | 9 |
| tencent | 30 | 33 | 38 |
| tiiuae | 27 | 26 | 59 |
| trillionlabs | 8 | 17 | 2 |
| upstage | 16 | 7 | 1 |
| utter-project | 20 | 16 | 0 |
| xai-org | 2 | 0 | 0 |
| XiaomiMiMo | 9 | 6 | 1 |
| zai-org | 55 | 76 | 22 |
Offener Katalog zum Abruf
Der Bestand, aus dem diese Seite rechnet, steht als offene Schnittstelle bereit. Jede Beobachtung nennt ihre Quelle, deren Lizenz und das Datum der Erhebung. Die Antworten sind JSON und seitenweise abrufbar, ein Zugang ist nicht nötig.
- Kopfsatz mit Stand, Zahlen je Sammlung und Nutzungshinweis/wp-json/torck-llm/v1/catalog
- Einträge einer Sammlung mit ihren geltenden Werten/wp-json/torck-llm/v1/catalog/entities?kind=ModelVariant
- Einzelwerte mit Herkunft, Quelle, Datum und Einheit/wp-json/torck-llm/v1/catalog/values
- Quellen mit Lizenz, Status und Nutzungsbedingungen/wp-json/torck-llm/v1/catalog/sources
- Änderungen seit einem früheren Stand/wp-json/torck-llm/v1/catalog/changes?since=0
Ausgegeben wird nur, was die jeweilige Quelle zur Weitergabe mit Quellenangabe freigibt. Die Bedingungen der Quelle gelten auch für jede Weiterverwendung. Die Ausschlussregel steht im Kopfsatz. Datenstand .
Quellen und Lizenzen
Der Finder übernimmt einzelne Angaben aus diesen Quellen und rechnet sie in Speicher- und Eignungsangaben um. Die Quellen haben diese Auswertung nicht geprüft.
- AMD
Keine Lizenz für die Daten angegeben · Einzelangaben mit Quellenverweis · Abgerufen am 20.09.2026 · Quelldokumente: 15 - Apple
Keine Lizenz für die Daten angegeben · Einzelangaben mit Quellenverweis · Abgerufen am 17.09.2026 · Quelldokumente: 21 - heise online, Jan-Keno Janssen
Keine Lizenz für die Daten angegeben · Einzelangaben mit Quellenverweis · Abgerufen am 17.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste 01-ai
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste ai21labs
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste Aleph-Alpha
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste allenai
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste apple
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste arcee-ai
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste baichuan-inc
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste baidu
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste ByteDance-Seed
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste CohereLabs
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste deepseek-ai
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste google
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste HuggingFaceTB
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste ibm-granite
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste IFM
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste inclusionAI
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste internlm
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste JetBrains
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste kakaocorp
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste LGAI-EXAONE
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste LiquidAI
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste llm-jp
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste meta-llama
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste microsoft
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste MiniMaxAI
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste mistralai
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste moonshotai
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste naver-hyperclovax
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste NousResearch
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste nvidia
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste occiglot
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste openai
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste openbmb
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste openGPT-X
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste OpenGVLab
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste PleIAs
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste Qwen
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste rinna
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste Salesforce
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste sarvamai
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste ServiceNow-AI
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste Skywork
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste stabilityai
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste stepfun-ai
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste swiss-ai
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste tencent
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste tiiuae
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste trillionlabs
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste upstage
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste utter-project
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste xai-org
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste XiaomiMiMo
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face, Modellliste zai-org
Lizenz: Eigene Lizenz des Herausgebers (Text in der Quelle) · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - Hugging Face Hub
Lizenz: Apache 2.0; Eigene Lizenz des Herausgebers (Text in der Quelle); Gemma-Nutzungsbedingungen; Llama 3 Community License; Llama 3.1 Community License; Llama 3.2 Community License; Llama 3.3 Community License; MIT; MIT mit Bedingungen des Llama-Basismodells · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 3970 - Intel
Keine Lizenz für die Daten angegeben · Einzelangaben mit Quellenverweis · Abgerufen am 17.09.2026 · Quelldokumente: 7 - Knoop, Holtmann (arXiv:2601.09527)
Keine Lizenz für die Daten angegeben · Einzelangaben mit Quellenverweis · Abgerufen am 17.09.2026 · Quelldokumente: 1 - llama-roofline, Manu Nicholas Jacob
Lizenz: MIT · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 17.09.2026 · Quelldokumente: 1 - llama.cpp, The ggml authors
Lizenz: MIT · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 10 - Max Vyaznikov, GPU Ark (Zenodo, doi:10.5281/zenodo.20390790)
Lizenz: CC BY 4.0 · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 17.09.2026 · Quelldokumente: 1 - Meta Llama
Keine Lizenz für die Daten angegeben · Einzelangaben mit Quellenverweis · Abgerufen am 17.09.2026 · Quelldokumente: 2 - MLX, MLX Contributors
Lizenz: MIT · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 17.09.2026 · Quelldokumente: 1 - mlx-lm, Apple Inc.
Lizenz: MIT · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 1 - mlx-lm, MLX Contributors
Lizenz: MIT · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 17.09.2026 · Quelldokumente: 1 - NVIDIA
Keine Lizenz für die Daten angegeben · Einzelangaben mit Quellenverweis · Abgerufen am 20.09.2026 · Quelldokumente: 27 - Qwen Team, Qwen3 Technical Report (arXiv:2505.09388)
Keine Lizenz für die Daten angegeben · Einzelangaben mit Quellenverweis · Abgerufen am 17.09.2026 · Quelldokumente: 1 - Qwen Team
Keine Lizenz für die Daten angegeben · Einzelangaben mit Quellenverweis · Abgerufen am 17.09.2026 · Quelldokumente: 1 - vLLM project
Lizenz: Apache 2.0 · Nutzung nach Lizenz und Nutzungsbedingungen · Abgerufen am 18.09.2026 · Quelldokumente: 10
Berechnungsmethode
Der Speicherbedarf ist berechnet, nicht gemessen. Er setzt sich aus den Modellgewichten nach Dateigröße oder Bitbreite der Quantisierung, dem KV-Cache für Kontext und gleichzeitige Anfragen und dem Arbeitsspeicher der Runtime zusammen. Die Reserve bleibt frei.
Die Antwortgeschwindigkeit ist geschätzt, nicht gemessen. Die Obergrenze ist die Speicherbandbreite des Geräts geteilt durch die Bytes, die je erzeugtem Token gelesen werden. Das sind die aktiven Parameter mal Bytes je Gewicht plus der KV-Cache. Angezeigt wird eine Spanne von 60 bis 80 Prozent dieser Obergrenze. Dieser Korridor ist eine Faustregel, keine Genauigkeitszusage. Eine Zahl erscheint nur für CUDA und Metal, für eine einzelne Anfrage und für Modelle, die vollständig im Gerätespeicher liegen.
Für Runtime und Gerät nennt jede Konfiguration eine Nachweisstufe, etwa „Offiziell gebaut“ oder „Zielarchitektur im offiziellen Build“. Eine Nachweisstufe ist keine Aussage über Geschwindigkeit oder fehlerfreie Ausgabe. Fehlt ein Nachweis, steht der Grund bei den offenen Punkten.
Bei MoE-Modellen kann die Rechnung deutlich zu hoch liegen. Langer Kontext, Backend, Treiber und Build, mehrere gleichzeitige Anfragen, vLLM unter Last und Offload verändern die reale Rate. Für ROCm und SYCL zeigt der Finder keine Zahl, weil keine geprüfte Vergleichsmessung vorliegt. Die Verarbeitung des Prompts vor der ersten Antwort ist nicht eingerechnet.
VRAM-Bedarf berechnen und Modelle vergleichen
Ein Modellname reicht für die Auswahl nicht aus. Quantisierung, Runtime, Kontextlänge und gleichzeitige Anfragen bestimmen, wie viel VRAM eine Konfiguration belegt. Der Rechner ermittelt diesen Bedarf und stellt ihn dem Speicher der gewählten GPU gegenüber.
Wie Kontextlänge und gleichzeitige Anfragen den VRAM-Bedarf erhöhen
Der Kontext umfasst Eingabe, Gesprächsverlauf und geplante Ausgabe. Wenn mehrere Anfragen gleichzeitig laufen, muss die Runtime deren Zwischenstände im VRAM halten. Deshalb kann eine Konfiguration für eine einzelne Anfrage passen und bei mehreren Anfragen mehr VRAM benötigen.
Was ein passendes Ergebnis bedeutet
„Passt“ bezieht sich auf den berechneten Speicherbedarf unter den angegebenen Annahmen. Die Antwortqualität und Geschwindigkeit müssen Sie mit typischen Aufgaben Ihrer Anwendung messen. Ein Benchmark allein reicht dafür nicht aus. Bei jeder Konfiguration finden Sie Quellen, Datenstand und Hinweise auf fehlende Messungen.
Offene Modellgewichte und Open Source
Verfügbare Modellgewichte sind eine Information über den Zugang zum Modell. Für die Auswahl sind auch Lizenzbedingungen, verfügbarer Code und dokumentierte Trainingsinformationen relevant. Der Finder kennzeichnet fehlende Angaben. Eine individuelle Lizenzprüfung ersetzt er nicht.
Welche GPU zu welchem Modell passt
Im Gerätefeld stehen Grafikkarten von NVIDIA, AMD und Intel sowie Macs mit Apple Silicon. Der Rechner vergleicht den ermittelten VRAM-Bedarf mit dem Speicher des ausgewählten Geräts und zeigt, welche Quantisierungsstufe darauf noch läuft. Bis zu vier Konfigurationen lassen sich dabei nebeneinander stellen.
Ihre Modellauswahl im Projekt prüfenWir vergleichen Modelle mit Ihren Aufgaben und prüfen, was für Integration und Betrieb nötig ist. Beschreiben Sie uns Ihr Vorhaben im Kontaktformular.
Die Grundlagen finden Sie im LLM-Vergleich. Für den Einsatz mit eigenen Unternehmensdaten lesen Sie unsere Beiträge zu privater KI und RAG. Wer die Modellauswahl im Projekt klären will, findet den Rahmen dafür unter KI-Beratung.
German 
English 
French