Tema Janna La licenza non è convalidata, vai alla pagina delle opzioni del tema per convalidare la licenza, è necessaria una singola licenza per ogni nome di dominio.

Esperienza locale DeepSeek: successi e sfide sul mio laptop

L'ideale sarebbe eseguire modelli di intelligenza artificiale offline, ma solitamente ciò richiede hardware potente e costoso. Tuttavia, non è sempre così: il modello DeepSeek R1 offre un'opzione pratica per i dispositivi con capacità limitate ed è anche incredibilmente facile da installare.

Cosa significa eseguire localmente un chatbot AI?

Quando utilizzi chatbot AI online come ChatGPT, le tue richieste vengono elaborate sui server di OpenAI, il che significa che non è il tuo dispositivo a dover svolgere il lavoro più gravoso. Per comunicare con i chatbot AI è necessaria una connessione Internet costante e non avrai mai il pieno controllo dei tuoi dati. I modelli linguistici di grandi dimensioni che alimentano i chatbot AI, come ChatGPT, Gemini, Claude, ecc., hanno requisiti operativi molto elevati a causa della loro dipendenza da GPU con elevata capacità di memoria video (VRAM). Per questo motivo, la maggior parte dei modelli di intelligenza artificiale sono basati sul cloud.

Il chatbot AI locale viene installato direttamente sul tuo dispositivo, come qualsiasi altro software. Ciò significa che non è necessaria una connessione Internet costante per utilizzare il chatbot AI ed è possibile inviare una richiesta in qualsiasi momento. DeepSeek-R1 è un modello di linguaggio nativo di grandi dimensioni che può essere installato su molti dispositivi. Il suo modello distillato 7B (sette miliardi di parametri) è una versione più piccola e ottimizzata che funziona bene sui dispositivi di fascia media, consentendomi di generare risposte AI senza elaborazione cloud. In parole povere, questo significa risposte più rapide, maggiore privacy e controllo completo sui miei dati.

Come installare DeepSeek-R1 sul laptop

Eseguire DeepSeek-R1 sul tuo dispositivo è relativamente semplice, ma tieni presente che stai utilizzando una versione meno potente del chatbot AI basato sul Web da DeepSeek. Il chatbot AI di DeepSeek utilizza circa 671 miliardi di parametri, mentre contiene DeepSeek-R1 Su circa 7 miliardi di parametri.

Puoi scaricare e utilizzare DeepSeek-R1 sul tuo computer seguendo questi passaggi:

DeepSeek-R1 in esecuzione all'interno di una finestra del terminale

  1. ال لى Sito web di Ollama E scarica l'ultima versione. Quindi, installala sul tuo dispositivo come qualsiasi altra app.
  2. Aprire il Terminale e digitare il seguente comando:
ollama run deepseek-r1:7b

Verrà scaricato sul tuo computer il modello DeepSeek-R1 7B, che ti consentirà di immettere query nel Terminale e ricevere risposte. Se riscontri problemi di prestazioni o arresti anomali, prova a utilizzare un modello meno esigente sostituendo 7b B 1.5b Nell'ordine sopra indicato.

Sebbene il modello funzioni bene nel Terminale, se desideri un'interfaccia utente completa con una formattazione del testo corretta come ChatGPT, puoi anche utilizzare un'app come casella di chat.

L'esecuzione di DeepSeek in locale non è perfetta, ma funziona

Come accennato in precedenza, le risposte non saranno buone (o veloci!) come quelle del chatbot online di DeepSeek, poiché utilizza un modello più potente ed elabora tutto nel cloud. Ma vediamo come si comportano i modelli più piccoli.

Risolvere problemi matematici

Per testare le prestazioni del modello a 7 miliardi di fattori, gli ho dato un'equazione e gli ho chiesto di risolvere il suo integrale. Sono rimasto molto soddisfatto delle sue prestazioni, soprattutto perché i modelli base spesso hanno difficoltà con la matematica. Questo esperimento dimostra la capacità dei grandi modelli linguistici di gestire problemi di calcolo, il che si rivela molto promettente in campi come la fisica e l'ingegneria.

DeekSeek-R1 risolve l'integrale di un'equazione

Non si tratta della questione più complessa, ma è proprio questo che rende così utile l'esecuzione di un modello linguistico di grandi dimensioni a livello locale. Si tratta di avere uno strumento prontamente disponibile per gestire istantaneamente query semplici, invece di affidarsi al cloud per ogni cosa. Questo approccio migliora la velocità di risposta e riduce la dipendenza dalla connettività Internet, fondamentale nelle applicazioni di intelligenza artificiale interattive.

Correggere gli errori nel codice

Uno dei migliori utilizzi dell'esecuzione locale del modello DeepSeek-R1 è il supporto ai progetti di intelligenza artificiale. È molto utile, soprattutto quando scrivo codice sugli aerei dove non c'è accesso a Internet e faccio molto affidamento su grandi modelli linguistici per il debug. Per testarne l'efficacia, ho fornito questo codice a cui ho aggiunto un semplice errore intenzionale.

Gestiva il codice facilmente, ma vale la pena notare che lo stavo eseguendo su un MacBook Air M1 con solo 8 GB di memoria unificata. (La memoria unificata è una memoria condivisa tra CPU, GPU e altre parti di un sistema su chip.)

DeepSeek-R1 corregge alcuni errori del codice Python

Con l'IDE aperto e più schede del browser aperte, le prestazioni del mio MacBook hanno subito un duro colpo: ho dovuto forzare la chiusura di tutto per farlo tornare a funzionare. Se hai 16 GB di RAM o anche una GPU di fascia media, probabilmente non avrai questi problemi.

L'ho testato anche con basi di codice più grandi, ma si blocca in un loop, quindi non consiglierei di utilizzarlo come sostituto completo di modelli più potenti. Tuttavia, è comunque utile per creare rapidamente piccoli frammenti di codice.

Risolvi gli enigmi

Ero anche curioso di vedere quanto bene il modello gestiva enigmi e ragionamento logico, quindi l'ho testato con un problema: Monty Hall, che ho risolto facilmente, ma ho iniziato ad apprezzare davvero DeepSeek anche per un altro motivo.

DeepSeek-R1 risolve il problema di Monty Hall

Come mostrato nell'immagine, non ti fornisce solo la risposta, ma ti guida attraverso l'intero processo di pensiero, spiegandoti come sei arrivato alla soluzione. Ciò dimostra che sta riflettendo sul problema anziché limitarsi a ricordare una risposta memorizzata dai dati di addestramento. Ciò indica che DeepSeek è in grado di elaborare informazioni e dedurre soluzioni in un modo che imita il pensiero umano, il che rappresenta un passo importante nello sviluppo di modelli di intelligenza artificiale.

Ricerche

Uno degli svantaggi maggiori dell'esecuzione locale di un modello linguistico di grandi dimensioni è la discontinuità della conoscenza. Poiché non può accedere a Internet, trovare informazioni affidabili sugli eventi recenti può essere difficile. Questa limitazione era evidente nei miei test, ma è peggiorata quando ho chiesto una breve panoramica dell'iPhone originale: la risposta è stata imprecisa e involontariamente divertente.

DeepSeek-R1 genera del testo sull'iPhone originale

Ovviamente il primo iPhone non è stato lanciato con iOS 5 e l'inesistente "iPhone 3" non è ancora arrivato. Ha sbagliato quasi tutto. L'ho testato con altre domande di base, ma l'imprecisione persisteva.

بعد Violazione dei dati di DeepSeekMi sono sentito rassicurato sapendo che potevo eseguire questo modello localmente senza preoccuparmi che i miei dati venissero compromessi. Sebbene non sia perfetto, avere un assistente AI offline rappresenta un enorme vantaggio. Vorrei vedere più modelli come questo integrati nei dispositivi di consumo come gli smartphone, soprattutto dopo La mia delusione con Apple Intelligence.

Vai al pulsante in alto