DeepSeek sicher auf dem eigenen PC nutzen
DeepSeek hat die Welt überrascht und die KI-Börsenwelt zum Beben gebracht. Das KI-Modell aus China soll so gut sein wie Top-Mitbewerber – mit einem Unterschied: Es ist kostenlos. Wir zeigen, wie man es sicher und lokal nutzt.
Für manche fühlt es sich an, als wäre ein Schatz von unermesslichem Wert – oder zumindest das Versprechen darauf – mit DeepSeek freigesetzt worden. Jeder kann ihn bergen und sich auf einen spannenden Weg in eine neue Zukunft aufmachen. Zugegeben, es ist nicht ganz leicht. Metaphorisch gesagt:...
Für manche fühlt es sich an, als wäre ein Schatz von unermesslichem Wert – oder zumindest das Versprechen darauf – mit DeepSeek freigesetzt worden. Jeder kann ihn bergen und sich auf einen spannenden Weg in eine neue Zukunft aufmachen. Zugegeben, es ist nicht ganz leicht. Metaphorisch gesagt: Der goldene Apfel liegt auf dem Grund des Meeres. Mit etwas Anstrengung kommt man aber dran. DeepSeek ist frei verfügbar – nur eines verraten die Chinesen nicht: welche Trainingsdaten sie verwendet haben. Alles andere aber schon. Und das ist geo- und sozialpolitisch eine feine Sache.
Menschen in Schwellenländern werden mit DeepSeek zu Teilhabern an der KI-Entwicklung. Bildungsinstitutionen könnten zum Beispiel Sprach- und Lernmodelle für Bildungsoffensiven erzeugen. Ganze Entwicklungszweige in Schwellenländern könnten mit freier KI einen besseren und effizienteren Verlauf nehmen. Die ganze Welt wird von frei verfügbarer KI profitieren und nicht nur einige wenige Konzerne – die gute Nachricht.
Bei digitalen Produkten, die Daten sammeln und aus China kommen, hat die westlich geprägte Wertewelt aber ein Problem. Bei US-Produkten geben wir gern unsere persönlichen Daten an der Eingangstür ab, bei chinesischen gibt es einen Aufschrei. Das wollen wir hier aber nicht vertiefen.
Eines können wir aber ganz gut. Ein KI-Modell auf dem PC lokal installieren, sodass es ohne Internetzugang läuft und gar keine Chance hat, Daten irgendwohin zu schicken – auch wenn es das im Geheimen gern täte. Hier sind unsere Ideen dazu.
Schutzschirme gern, aber bitte nichts übertreiben
Um es klar zu sagen: Die Macher des lokalen DeepSeek-Modells sagen, sie sammeln keine Daten, die nach China geschickt werden – und das ist ja auch plausibel. Anders liegt der Fall bei der Nutzung von DeepSeek auf dem Smartphone. Die App schickt alle Anfragen in die Cloud (Server), und das könnten alle Nutzer auch wissen, so sie denn die AGBs der App läsen. Was dort mit den Daten passiert, kann man nicht wissen – es gibt in China schließlich keine einzuhaltenden Richtlinien, so wie in der EU.
Wir haben uns überlegt, wie man DeepSeek abschirmen könnte. Als erste Maßnahme kann man den Festplattenspeicher verschlüsseln, um sicherzustellen, dass das Modell nichts tun kann, wenn man den PC für etwas anderes nutzt. Auf dieser Partition könnte man ein virtuelles Betriebssystem einrichten, auf dem alle nötigen Installationen erfolgen und von dem DeepSeek gestartet wird. Das virtuelle System ließe sich zur Not mit einem Klick löschen.
Zudem besteht die Möglichkeit den virtuellen Netzwerkadapter zu deaktivieren. Genau diesen Weg beschreiben wir hier. Aber unter uns: Das ist schon ein ziemlicher Overkill, der mit erheblichen Problemen bei der Konfiguration verbunden ist. Viel einfacher wäre es, das LAN-Kabel abzuziehen, solange man DeepSeek nutzt, und auf die Virtualisierungsmaschine zu verzichten.
Wenn Sie sich dem anschließen wollen, überspringen Sie die nächsten Abschnitte und gehen direkt zu Anaconda, Python und Ollama. Zudem benötigt man für diesen „Superschutz“ einen potenten High-End-PC, denn sonst verliert man zu viel Rechenpower durch die Virtualisierung.
Anlegen und Verschlüsseln einer Festplatte oder einer Partition
Um einen verschlüsselten Festplattenspeicher einzurichten, muss man nicht unbedingt eine neue SSD in den PC einbauen. Selbst dann nicht, wenn auf allen verbauten Datenträgern schon Daten liegen. Bei mehreren vorhandenen Festplatten im PC wählt man eine aus, die noch reichlich freien Speicherplatz hat und legt eine neue Partition an. Wissen sollte man aber, dass die Bitlocker-Verschlüsselung nur unter Windows Pro möglich ist. Wer die nicht hat, kann mit einem entsprechenden Key upgraden. Übrigens, für Hyper-V ist ebenfalls Windows Pro notwendig.
Rufen Sie die Datenträgerverwaltung von Windows auf und wählen Sie die Festplatte aus, auf der Sie die verschlüsselte Partition anlegen wollen. Ein Rechtsklick auf die Platte ruft das Kontextmenü auf, dort wählen Sie Volumen verkleinern. Je nach Platz wählt man die neue Partitionsgröße so, dass noch ein üppiger Puffer übrigbleibt, besonders dann, wenn – wie in unserem Beispiel – die Systempartition verwendet wird.
Anschließen formatieren Sie die neue Partition mit NTFS. Die Verschlüsselung können Sie im Dateiexplorer mit einem Rechtsklick auf das Laufwerk anstoßen. Das Dialogmenü dafür ist relativ verständlich. Nur eines: Wenn Sie das Passwort verlieren, verlieren Sie auch den partitionierten Platz. Wählen Sie also ein gutes, aber einprägsames Passwort aus – auch deshalb, weil Sie es nach jedem PC- Neustart eingeben müssen, um die Verschlüsselung zu entsperren.
PC für die Virtualisierung mit Hyper-V vorbereiten
Zunächst kann man mit einem Tool wie CPU-Z prüfen, ob wichtige CPU-Befehle (AVX, AVX2, AVX512) zur Verfügung stehen. Alle modernen CPUs können in der Regel eine Virtualisierung unterstützen. Trotzdem ist es unumgänglich, im BIOS des Mainboards die Virtualisierung freizugeben.
Am besten, man sucht mit dem Mainboardtyp im Internet nach dem richtigen Schalter. Leider gibt es hier keinen Standard. Selbst bei unterschiedlichen Modellen derselben Marke wird gern eine andere Bezeichnung für die Virtualisierung verwendet.
Für die Freischaltung der Virtualisierung unter Windows klicken Sie auf den Startbutton [Windows-Taste] und beginnen, features zu tippen. Dann erscheint der anzuklickende Eintrag.
Im Fenster suchen Sie nach Plattform für virtuelle Computer, Hyper-V und setzen Häkchen. Nach der Bestätigung muss der PC neu booten. Für die Installation benötigen Sie noch ein Windows-11-Pro- ISO-Image. Das können Sie bequem bei Microsoft herunterladen. (tinyurl.com/yrbjn3xz oder www.microsoft.com/de- de/software-download/windows11).
Virtuelles Windows 11 Pro mit Hyper-V einrichten
Hyper-V kann nun über den Startbutton aufgerufen werden. Im rechten Abschnitt wählen Sie Neu und Virtueller Computer. Bei der Einrichtung mit dem Assistenten wählt man ein Verzeichnis auf der zuvor eingerichteten Partition mit Bitlocker und gibt ihr einen Namen, zum Beispiel Windows 11.
In den folgenden Fenstern wählen Sie Generation 2, beim Arbeitsspeicher mindestens 4096 oder ein Vielfaches davon. Ein Netzwerk wird benötigt, da wir später das DeepSeek-Modell über Ollama herunterladen wollen. Wählen Sie also Default Switch. Im nächsten Dialogfenster können Sie die Voreinstellungen für die virtuelle Festplatte übernehmen, da sie als dynamischer Speicher angelegt ist.
Wählen Sie nun die erste Option, das Betriebssystem später zu installieren. Es müssen noch wichtige Einstellungen vorgenommen werden, sonst klappt die Installation von Windows 11 nicht.
Klappen Sie in der gerade angelegten Windows-11-Umgebung den Menübaum auf und wählen Sie Einstellungen. Im Fenster gehen Sie auf Sicherheit TPM aktivieren und setzen einen Haken neben Sicheren Start aktivieren und bei Trusted Platform Module aktivieren. Bestätigen Sie mit einem Klick auf Anwenden.
Bei Prozessor müssen mindestens zwei ausgewählt sein, die Mindestvoraussetzung für Windows 11. Für die lokale KI sind mehr aber besser. Zu guter Letzt benötigen wir noch ein virtuelles DVD-Laufwerk für unseren virtuellen Windows-PC, um das Image für die Installation zu laden. Dazu klickt man auf SCSI-Controller und auf DVD-Laufwerk und bestätigt mit Hinzufügen. Wählen Sie dann das DVD-Image aus, das Sie sicherlich schon in den angelegten Ordner geschoben haben.
Nun kann die Installation starten. Dazu klicken Sie auf Verbinden und Starten. Das DVD-Laufwerk sollte bereits mit dem Windows-Image eingebunden sein. Die Installation von Windows 11 besprechen wir hier nicht. Sollten Sie dabei auf Probleme stoßen oder Windows 11 erst mal ausprobieren wollen, können Sie alternativ über die Schnellerstellung die zeitlich begrenzte Entwicklungsumgebung von Windows 11 installieren.
Anaconda, Python und Ollama
Windows, ob virtuell oder nicht, benötigt Python und seine Bibliotheken, sonst läuft kein Modell. Python kann auf verschiedene Weisen implementiert werden. Wir entscheiden uns für Miniconda (von Anaconda), wo Python schon drin ist. Allerdings wird die aktuelle Version mit Python 3.12 ausgeliefert. OpenWebUI, die grafische Oberfläche, die wir nutzen möchten, läuft aber nur mit Python 3.11.X. Der Link https://repo.anaconda.com bringt uns zum historischen Downloadbereich, hier wählen wir rechts unter Miniconda die Version mit Python 3.11 für Windows mit 91,4 MByte aus.
Die Installation kann direkt aus dem Download-Ordner erfolgen. Belassen Sie alles auf Standard bis auf das Fenster Advanced Installation Options, in dem Sie Register Miniconda3... und Clear the package cache … anklicken. Wählt man Add to Path, könnte es mit anderer Software Probleme geben, die eine Python-Version mitinstalliert. Darum soll man das nicht. Im virtuellen Windows ausschließlich für DeepSeek ist es kein Problem. Wir empfehlen es sogar ausdrücklich.
Starten Sie nun die Installation. Nach Abschluss können Sie über Command-Box von Anaconda mit dem Befehl conda info prüfen, ob alles passt. Die Eingabe python zeigt auch hier die Version an (3.11). Als nächstes richten wir eine sichere Umgebung für Conda ein und aktivieren sie:
conda create --name deep
conda activate deep
Den Namen (deep) können Sie natürlich frei wählen und ersetzen.
Ollama ist als nächstes dran. Die Installation ist denkbar einfach über den Download von der Webseite. Das einzig Ungewöhnliche ist, dass Ollama keine GUI hat und nur in der Taskbar sein Dasein fristet. Die Installation von Open-WebUI erfolgt auch über die Anaconda-Command-Box:
pip install open-webui
Jetzt rattert es erst mal richtig im Cmd-Fenster und vieles wird installiert, bis der Prompt wieder erscheint. Mit dem Befehl
python.exe -m pip install --up
grade pip
sorgen Sie dafür, dass pip auf die aktuelle Version aufschließt.
Nun muss der WebUI-Server in der Console noch gestartet werden mit
open-webui serve
Auch hier folgen wieder diverse Meldungen, und einiges wird womöglich nachinstalliert. Man muss immer geduldig warten, bis tatsächlich alles erledigt ist. Das Interface ist nun im Browser erreichbar über http://127.0.0.1:8080/. Im Netz kursieren diverse andere Angaben zum Lokalhost. Diese hat bei uns funktioniert in Hyper-V.
DeepSeek herunterladen und starten in Open-WebUI
Im Browserfenster sollten Sie nun nach Einfügen der URL zu Open-WebUI kommen. Hier müssen Sie wahrscheinlich einen Account anlegen. Auf der Oberfläche können Sie zunächst nichts starten, da noch kein Modell zur Verfügung steht. Bei ollama.com wählt man zum Beispiel das kleine DeepSeek-Modell aus, kopiert den „Run-Befehl“ und fügt ihn in der Cmd-Konsole ein.
Bestätigen Sie den Befehl, dann können Sie das Modell direkt in der Konsole testen, nachdem es heruntergeladen ist. Open-WebUI bleibt außen vor. Um das Modell dauerhaft auf die Festplatte zu legen, ersetzen Sie run durch pull. So wird ein „Manifest“ auf der Festplatte angelegt, auf das die GUI zugreift.
Diesen Download kann man über die normale Windows-Konsole anwerfen, während die Anaconda-Console aktiv bleibt, was sie ja immer sein muss, damit der Server läuft. Übrigens, wenn Sie den Open-WebUI-Server schließen wollen, gelingt das mit der Tastenkombination [Strg) + [C]. Vergessen Sie bei einem Neustart nicht, auch die Umgebung zu starten (conda activate).
Fazit
Es macht Spaß, dem „Reasoning“-Modell bei der Arbeit zuzusehen, und Lust, größere Versionen zu testen wie das 7b. Leider wird es in der virtuellen Umgebung sehr langsam, zumindest bei uns. Insofern ist es sinnvoll zu überlegen, ob man es nicht besser ohne Hyper-V installiert.
Info: GPU unter Hyper-V einbinden
Leider bindet Hyper-V Grafikkarten nicht automatisch in ein virtuelles Windows ein. Für das Betreiben von größeren Modellen – auch von Deep-Seek – wäre die Nutzung einer GPU jedoch sehr vorteilhaft. Es gibt eine Möglichkeit, die lokal vorhandene Grafikkarte in einem Pass-through-Verfahren, auch Discrete Device Assignment genannt, einzubinden. Voraussetzung ist Hyper-V Gen2, der Speicher muss dynamisch sein, die Checkpunkte deaktiviert, und die Grafikkarte muss GPU-Partitionierung unterstützen.
Außerdem muss für den reibungslosen Betrieb Single-Root Input/Output Virtualisation ebenfalls unterstützt werden. Mit dem PowerShell-Befehl Get-VMHostPartitionable-Gpu kann man zunächst prüfen, ob die eigene Grafikkarte die Partitionierung unterstützt. Wenn Sie diesen Weg gehen wollen, empfehlen wir dringend folgenden Workshop von Windows OS Hub: tinyurl.com/4brf79hz
