{{getMsg('Help_YouAreHere')}}:
/
{{page.title}}
{{page.title}}
{{$root.getMsg("downLoadHelpAsPdf")}}
{{helpModel.downloadHelpPdfDataStatus}}
Llama.cpp
Die KI-Verbindung Llama.cpp ermöglicht die Verwendung des Projekts LLM inference in C/C++ mit i-net Clear Reports. Dieses LLAMA kann aufgrund seiner einfachen Handhabung schnell lokal gehostet werden. Die folgenden Einstellungen können hier vorgenommen werden:
-
KI-Verbindung Name: Dieser Name wird immer verwendet, wenn eine bestimmte KI-Verbindung verwendet wird.
-
Llama.cpp URL: Die API-URL, die für Anfragen verwendet werden soll. Bitte lesen Sie https://github.com/ggerganov/llama.cpp für weitere Informationen.
-
nPredict (in Token): Die maximale Größe der Antwort, gemessen in Token. Größere Werte verringern die Leistung.
Installation von Llama.cpp
Die Installation kann entweder durch Herunterladen und Befolgen der Anweisungen auf der GitHub-Seite oder durch Verwendung eines vorbereiteten llamafile erfolgen.
Bitte folgen Sie den aktuellsten Anweisungen auf beiden Projektseiten.
© Copyright 1996 - 2025, i-net software GmbH; Alle Rechte vorbehalten. Imprint
