Red Hat OpenShift AI
Red Hat® OpenShift® AI è una piattaforma, con capacità scalabili, pensata per gestire il ciclo di vita dei modelli di IA predittiva e generativa negli ambienti cloud ibridi.
Cos'è Red Hat OpenShift AI?
Sviluppata grazie a tecnologie open source, OpenShift AI offre ai team funzionalità affidabili e coerenti a livello operativo per mettere alla prova le proprie competenze, predisporre modelli ed erogare applicazioni innovative.
OpenShift AI permette l'acquisizione e la preparazione dei dati, l'addestramento, il fine tuning, il model serving e il monitoraggio dei modelli, oltre all'accelerazione dell'hardware. Grazie a un ecosistema open source di partner software e hardware, OpenShift AI fornisce la flessibilità necessaria per i tuoi scenari di utilizzo.
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
Accelera la produzione delle applicazioni basate sull'IA
Promuovi la collaborazione tra i team coniugando le comprovate funzionalità di Red Hat OpenShift AI e Red Hat OpenShift in un'unica piattaforma applicativa enterprise ready per l'intelligenza artificiale. Offri ai tuoi data scientist, ingegneri e sviluppatori di app gli strumenti per ottenere risultati migliori in termini di coerenza, sicurezza e scalabilità, collaborando dalla stessa posizione.
L'ultima versione di OpenShift AI include una raccolta selezionata di modelli convalidati e ottimizzati da terze parti, pronti per la fase di produzione per Red Hat OpenShift AI. L'accesso a questo catalogo di modelli di terze parti garantisce ai tuoi team più controllo sull'accessibilità ai e la visibilità dei modelli, per raggiungere la conformità alle policy e alle normative.
Inoltre, OpenShift AI aiuta a gestire il costo delle inferenze con una fornitura distribuita tramite un framework vLLM. Per ridurre ulteriormente la complessità operativa, offre strumenti avanzati per automatizzare i deployment e l'accesso self service a modelli, strumenti e risorse.
Caratteristiche e vantaggi
Gestione semplificata dell'infrastruttura IA
Offri ai tuoi team l'accesso on demand alle risorse in modo da adattare in autonomia l'addestramento dei modelli e predisporre gli ambienti di distribuzione secondo necessità. Inoltre, puoi semplificare le operazioni utilizzando un ambiente di cluster scalabile per gestire gli acceleratori dell'IA (GPU) e le risorse dei carichi di lavoro.
Strumenti di AI/ML supportati e testati
Lascia che sia Red Hat a testare, integrare e supportare i comuni strumenti e modelli di AI/ML. OpenShift AI si avvale dell'esperienza maturata nel corso di anni di partecipazione al progetto della community Open Data Hub e a iniziative open source come Kubeflow.
Grazie alla nostra esperienza e alle competenze sull'open source, forniamo ai nostri clienti una piattaforma adatta all'IA generativa che permette loro di scegliere con fiducia le proprie strategie.
Flessibilità nel cloud ibrido
Disponibile come software autogestito o come servizio cloud completamente gestito su OpenShift, Red Hat OpenShift AI offre una piattaforma flessibile e sicura che ti permette di scegliere se sviluppare e distribuire i modelli on premise, nel cloud pubblico o all'edge.
Sfrutta le competenze degli esperti Red Hat
Red Hat Services fornisce consulenza, formazione e supporto per superare qualsiasi difficoltà in ogni fase del percorso di adozione dell'IA.
Che si tratti di creare il prototipo di una soluzione di IA, di ottimizzare la distribuzione della piattaforma di IA, o di migliorare le strategie MLOps, Red Hat Consulting è al tuo fianco con capacità di supporto e mentorship.
Ottimizza le prestazioni dei modelli con vLLM per un'inferenza rapida, conveniente e scalabile.
Parte della piattaforma Red Hat AI, la soluzione Red Hat AI Inference Server è disponibile come prodotto standalone e inclusa in Red Hat Enterprise Linux® AI e in Red Hat OpenShift® AI.
I nostri partner
Amplia le funzionalità di Red Hat OpenShift AI con altri servizi e prodotti integrati.
NVIDIA e Red Hat offrono ai clienti una piattaforma scalabile e altamente flessibile con cui promuovere l'accelerazione delle loro operazioni basate sull'IA in svariati scenari di utilizzo.
Intel® e Red Hat aiutano le aziende a velocizzare l'adozione dell'IA e a ottenere in breve tempo il controllo dei modelli AI/ML.
IBM e Red Hat collaborano per offrire approcci innovativi open source in grado di velocizzare lo sviluppo dell'IA, avvalendosi anche di IBM watsonx.aiTM, un componente enterprise ready per builder di IA.
Starburst Enterprise e Red Hat offrono una fruizione delle informazioni migliore e più tempestiva grazie ad analisi rapide dei dati su piattaforme eterogenee e distribuite.
Infrastruttura Kubernetes scalabile per le piattaforme IA
Scopri come applicare i principi e le pratiche MLOps per creare applicazioni basate sull'IA.
Collaborazione tramite gli ambienti di lavoro dei modelli
Metti a disposizione dei tuoi data scientist immagini di cluster predefiniti o personalizzati per consentire loro di lavorare sui modelli con l'IDE che preferiscono, come JupyterLab. Red Hat OpenShift AI tiene traccia delle modifiche a Jupyter, TensorFlow e PyTorch e altre tecnologie open source basate sull'IA.
Model serving scalabile con Red Hat OpenShift AI
I modelli possono essere distribuiti utilizzando una versione ottimizzata di vLLM (o altri server dei modelli) per l'integrazione in applicazioni basate sull'IA on premise, nel cloud pubblico o all'edge. Possono essere inoltre ricreati, ridistribuiti e monitorati in base alle modifiche del notebook sorgente.
Bias e deviazioni possono compromettere l'integrità e la scalabilità dei modelli. Per preservarne correttezza, sicurezza e scalabilità, OpenShift permette ai professionisti di monitorare l'allineamento tra risultati dei modelli e dati di addestramento.
Gli strumenti per il rilevamento delle deviazioni possono monitorare le differenze tra i dati in tempo reale utilizzati per l'inferenza e quelli di origine su cui il modello è stato addestrato. Le protezioni dell'IA consentono di salvaguardare input e output del modello da linguaggio d'odio, offensivo o volgare, informazioni personali, altre informazioni che deviano dai requisiti specifici del dominio.
Analisi della soluzione
Applicazioni IA con Red Hat e NVIDIA AI Enterprise
Crea un'applicazione RAG
Red Hat OpenShift AI è una piattaforma per creare progetti di data science e distribuire applicazioni abilitate all'IA. Puoi integrare tutti gli strumenti che ti servono per supportare la tecnologia retrieval augmented generation (RAG), un metodo per ottenere le risposte dell'IA dai tuoi documenti di riferimento. Quando connetti OpenShift AI con NVIDIA AI Enterprise, puoi fare alcune prove con gli LLM (Large Language Model) per trovare il modello ideale per la tua applicazione.
Sviluppa una pipeline per i documenti
Se vuoi usare la tecnologia RAG, per prima cosa devi inserire i tuoi documenti in un database vettore. Nella nostra app di esempio, integriamo una serie di documenti di prodotto in un database Redis. Visto che questi documenti vengono modificati spesso, possiamo creare una pipeline da eseguire periodicamente per tale processo in modo da disporre sempre della versione più recente.
Sfoglia il catalogo degli LLM
NVIDIA AI Enterprise ti offre l'accesso a un catalogo di diversi modelli LLM, così potrai fare diverse prove e scegliere quello che offre risultati migliori. I modelli sono ospitati nel catalogo delle API di NVIDIA. Una volta che hai impostato un token API, puoi eseguire il deployment di un modello utilizzando la piattaforma di distribuzione dei modelli NVIDIA NIM direttamente da OpenShift AI.
Scegli il modello giusto
Mentre fai alcune prove con i diversi modelli LLM, i tuoi utenti possono valutare ogni risposta generata. Puoi configurare una dashboard di monitoraggio Grafana per confrontare le valutazioni, oltre che i tempi di risposta e di latenza di ogni modello. Potrai quindi sfruttare questi dati per scegliere il miglior modello LLM da usare nel tuo ambiente di produzione.
Come provare Red Hat OpenShift AI
Sandbox per sviluppatori
Per sviluppatori e data scientist che desiderano sperimentare la creazione di applicazioni basate sull'IA in un ambiente flessibile e predefinito.
Prova di 60 giorni
Prepara la tua organizzazione a sfruttare tutte le capacità di OpenShift AI con una versione di prova di 60 giorni. È necessario un cluster Red Hat OpenShift esistente.
