{{getMsg('Help_YouAreHere')}}:
/
{{page.title}}
{{page.title}}
{{$root.getMsg("downLoadHelpAsPdf")}}
{{helpModel.downloadHelpPdfDataStatus}}
Llama.cpp
Die KI-Verbindung Llama.cpp ermöglicht die Verwendung des Projekts LLM inference in C/C++ mit i-net PDFC. Dieses LLAMA kann aufgrund seiner einfachen Handhabung schnell lokal gehostet werden. Die folgenden Einstellungen können hier vorgenommen werden:
-
Name der KI-Verbindung: Dieser Name wird immer verwendet, wenn eine bestimmte KI-Verbindung verwendet wird.
-
Llama.cpp-URL: Die API-URL für Anfragen. Weitere Informationen unter https://github.com/ggerganov/llama.cpp.
-
Maximale Kontextlänge (Tokens): Maximale Anzahl von Tokens (Eingabe und Ausgabe zusammen), die das Modell verarbeiten kann. Eine Überschreitung kann zu Fehlern oder Kürzungen führen.
Installation von Llama.cpp
Die Installation kann entweder durch Herunterladen und Befolgen der Anweisungen auf der GitHub-Seite oder durch Verwendung eines vorbereiteten llamafile erfolgen.
Bitte folgen Sie den aktuellsten Anweisungen auf beiden Projektseiten.
© Copyright 1996 - 2026, i-net software GmbH; Alle Rechte vorbehalten. Imprint
