Scenario e contesto

Per anni il dibattito si è concentrato soprattutto sull’addestramento: più dati, più parametri e più potenza di calcolo.

Oggi, però, la competizione si sta spostando su ciò che accade dopo, quando il modello deve essere utilizzato ogni giorno: velocità, costi, consumo di risorse, qualità delle risposte e possibilità di adattarlo a compiti specifici.

In questo scenario arriva Inkling, il primo modello open-weight di Thinking Machines Lab, la società fondata da Mira Murati.

Inkling è un modello multimodale basato su un’architettura Mixture of Experts, con 975 miliardi di parametri complessivi ma circa 41 miliardi attivati durante l’elaborazione. Accetta testo, immagini e audio, supporta un contesto fino a un milione di token ed è stato progettato anche per coding, utilizzo di strumenti, sistemi RAG e applicazioni agentiche.

Il dato interessante non è soltanto la sua dimensione.

Implicazioni operative

L’architettura attiva una parte del modello per ogni richiesta e permette di regolare lo “sforzo di ragionamento”, cercando un equilibrio tra qualità, tempo di risposta e costo computazionale.

È qui che il tema dell’inferenza diventa concreto.

Un modello non è utile soltanto perché ottiene buoni risultati nei benchmark. Deve poter essere eseguito in modo sostenibile, integrato nei processi aziendali e personalizzato sui dati e sulle attività di una specifica organizzazione.

Inkling può essere affinato attraverso Tinker, la piattaforma di Thinking Machines dedicata al fine-tuning. Questo lo rende una possibile base per costruire agenti AI, assistenti verticali, sistemi multimodali e applicazioni specializzate.

Va chiarito, però, che “open-weight” non significa automaticamente semplice da utilizzare in locale. Un modello di queste dimensioni richiede infrastrutture hardware considerevoli e non è, almeno oggi, una soluzione destinata alla normale workstation di una PMI.

Cosa cambia per l'azienda

Il segnale di mercato è comunque chiaro: la sfida non riguarda più soltanto chi costruisce il modello più grande.

Riguarda chi riesce a farlo funzionare meglio, a costi sostenibili, con maggiore controllo e all’interno di processi reali.

La domanda da porre alle aziende non sarà quindi soltanto:

“Qual è il modello più potente?”

Ma soprattutto:

Metodo e prossimi passi

“Qual è il modello più adatto al mio caso d’uso, quanto costa utilizzarlo e come posso adattarlo ai miei dati?”

Approfondimenti, formazione e applicazioni aziendali dell’AI:

ai-academyitalia.it