Korisnički vodič za NVIDIA NeMo Framework

NVIDIA NeMo Framework

Specifikacije

• Naziv proizvodaNVIDIA NeMo Framework
• Pogođene platforme: Windows, Linux, macOS
• Pogođene verzije: Sve verzije prije 24.
• Sigurnosna ranjivost: CVE-2025-23360
• Osnovni rezultat procjene rizika: 7.1 (CVSS v3.1)

Upute za upotrebu proizvoda

Instalacija sigurnosnog ažuriranja:
Da biste zaštitili svoj sistem, slijedite ove korake:

1. Preuzmite najnovije izdanje sa stranice NeMo-Framework-Launcher Releases na GitHub-u.
2. Za više informacija idite na NVIDIA Product Security.

Detalji sigurnosnog ažuriranja:
Sigurnosno ažuriranje rješava ranjivost u NVIDIA NeMo Frameworku koja bi mogla dovesti do izvršavanja koda i gubitka podataka.ampering.

Nadogradnja softvera:
Ako koristite stariju verziju grane, preporučuje se nadogradnja na najnoviju verziju grane kako biste riješili sigurnosni problem.

Gotovoview

NVIDIA NeMo Framework je skalabilan i cloud-nativni generativni AI okvir napravljen za istraživače i programere koji rade na Veliki jezički modeli, Multimodalni i Govorna umjetna inteligencija (npr Automatsko prepoznavanje govora i Pretvaranje teksta u govor). Omogućava korisnicima da efikasno kreiraju, prilagođavaju i implementiraju nove generativne AI modele koristeći postojeći kod i prethodno obučene kontrolne tačke modela.

Uputstva za postavljanje: Instalirajte NeMo Framework

Veliki jezički modeli i multimodalni modeli
NeMo Framework pruža potpunu podršku za razvoj modela velikih jezičkih jezika (LLM) i multimodalnih modela (MM). Pruža fleksibilnost za korištenje lokalno, u podatkovnom centru ili kod vašeg preferiranog cloud provajdera. Također podržava izvršavanje u okruženjima koja podržavaju SLURM ili Kubernetes.

Kuriranje podataka
NeMo kustos [1] je Python biblioteka koja uključuje skup modula za data mining i generiranje sintetičkih podataka. Skalabilni su i optimizirani za GPU-ove, što ih čini idealnim za kuriranje podataka prirodnog jezika za treniranje ili fino podešavanje LLM-ova. Pomoću NeMo Curatora možete efikasno izdvojiti visokokvalitetni tekst iz opsežnih sirovih podataka. web izvori podataka.

Obuka i prilagođavanje

NeMo Framework pruža alate za efikasnu obuku i prilagođavanje LLMs i multimodalne modele. Uključuje zadane konfiguracije za postavljanje računskog klastera, preuzimanje podataka i hiperparametre modela, koji se mogu prilagoditi za obuku na novim skupovima podataka i modelima. Pored prethodnog treniranja, NeMo podržava i tehnike nadziranog finog podešavanja (SFT) i parametarski efikasnog finog podešavanja (PEFT) kao što su LoRA, Ptuning i druge.

Dvije su opcije dostupne za pokretanje obuke u NeMo-u – korištenjem NeMo 2.0 API interfejsa ili pomoću NeMo Run-a.

• Sa NeMo Run (preporučeno): NeMo Run pruža interfejs za pojednostavljenje konfiguracije, izvršavanja i upravljanja eksperimentima u različitim računarskim okruženjima. To uključuje pokretanje zadataka na vašoj radnoj stanici lokalno ili na velikim klasterima - bilo da se radi o SLURM-u ili Kubernetes okruženju u oblaku.
  • Brzi početak prije treninga i PEFT-a s NeMo Run-om
• Korištenje NeMo 2.0 API-ja: Ova metoda dobro funkcionira s jednostavnim postavkama koje uključuju male modele ili ako ste zainteresirani za pisanje vlastitog prilagođenog programa za učitavanje podataka, petlji za učenje ili promjenu slojeva modela. Pruža vam veću fleksibilnost i kontrolu nad konfiguracijama te olakšava programsko proširenje i prilagođavanje konfiguracija.
  • TraBrzi početak s NeMo 2.0 API-jem
  • Migracija sa NeMo 1.0 na NeMo 2.0 API

Poravnanje

• NeMo-Aligner [1] je skalabilni alat za efikasno poravnavanje modela. Alat ima podršku za najsavremenije algoritme za poravnavanje modela kao što su SteerLM, DPO, Reinforcement Learning from Human Feedback (RLHF) i mnoge druge. Ovi algoritmi omogućavaju korisnicima da poravnaju jezičke modele kako bi bili sigurniji, bezopasniji i korisniji.
• Sve NeMo-Aligner kontrolne tačke su međusobno kompatibilne sa NeMo ekosistemom, što omogućava dalje prilagođavanje i implementaciju inferencije.

Korak-po-korak tijek rada za sve tri faze RLHF-a na malom GPT-2B modelu:

• SFT obuka
• Obuka za model nagrađivanja
• Obuka za javne nabavke

Osim toga, demonstriramo podršku za razne druge nove metode poravnanja:

• DPO: lagani algoritam poravnanja u poređenju sa RLHF-om sa jednostavnijom funkcijom gubitka.
• Samostalna igra Fino podešavanje (SPIN)
• SteerLM: tehnika zasnovana na uslovljenoj SFT, sa upravljivim izlazom.

Za više informacija pogledajte dokumentaciju: Dokumentacija o poravnanju

Multimodalni modeli

• NeMo Framework pruža optimiziran softver za obuku i primjenu najsavremenijih multimodalnih modela u nekoliko kategorija: multimodalni jezički modeli, osnove vizualnog jezika, modeli pretvaranja teksta u sliku i više od 2D generiranja korištenjem polja neuronskog zračenja (NeRF).
• Svaka kategorija je dizajnirana da zadovolji specifične potrebe i napredak u ovoj oblasti, koristeći najsavremenije modele za obradu širokog spektra tipova podataka, uključujući tekst, slike i 3D modele.

Implementacija i zaključivanje
NeMo Framework pruža različite puteve za LLM inferenciju, zadovoljavajući različite scenarije implementacije i potrebe za performansama.

Implementirajte pomoću NVIDIA NIM-a

• NeMo Framework se besprijekorno integrira s alatima za implementaciju modela na nivou preduzeća putem NVIDIA NIM-a. Ovu integraciju pokreće NVIDIA TensorRT-LLM, osiguravajući optimizirano i skalabilno zaključivanje.
• Za više informacija o NIM-u, posjetite NVIDIA website.

Implementirajte pomoću TensorRT-LLM ili vLLM

• NeMo Framework nudi skripte i API-je za izvoz modela u dvije biblioteke optimizirane za inferenciju, TensorRT-LLM i vLLM, te za implementaciju izvezenog modela s NVIDIA Triton Inference Serverom.
• Za scenarije koji zahtijevaju optimizirane performanse, NeMo modeli mogu koristiti TensorRT-LLM, specijaliziranu biblioteku za ubrzavanje i optimizaciju LLM inferencije na NVIDIA GPU-ima. Ovaj proces uključuje pretvaranje NeMo modela u format kompatibilan s TensorRT-LLM pomoću modula nemo.export.
  • Implementacija LLM-a završenaview
  • Implementirajte NeMo modele velikih jezika pomoću NIM-a
  • Implementirajte NeMo modele velikih jezika pomoću TensorRT-LLM-a
  • Implementirajte NeMo modele velikih jezika pomoću vLLM-a

Podržani modeli

Veliki jezički modeli

Veliki jezički modeli

Veliki jezički modeli	Predtrening i SFT	PEFT	Poravnanje	Konvergencija obuke u FP8	TRT/TRTLLM	Pretvori u i iz zagrljaja lica	Evaluacija
Lama3 8B/70B, Lama3.1 405B	Da	Da	x	Da (djelimično potvrđeno)	Da	Oba	Da
Mixtral 8x7B/8x22B	Da	Da	x	Da (nepotvrđeno)	Da	Oba	Da
Nemotron 3 8B	Da	x	x	Da (nepotvrđeno)	x	Oba	Da
Nemotron 4 340B	Da	x	x	Da (nepotvrđeno)	x	Oba	Da
Baichuan2 7B	Da	Da	x	Da (nepotvrđeno)	x	Oba	Da
ChatGLM3 6B	Da	Da	x	Da (nepotvrđeno)	x	Oba	Da
Džema 2B/7B	Da	Da	x	Da (nepotvrđeno)	Da	Oba	Da
Gemma2 2B/9B/27B	Da	Da	x	Da (nepotvrđeno)	x	Oba	Da
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	Da	Da	x	Da (nepotvrđeno)	x	x	Da
Phi3 mini 4k	x	Da	x	Da (nepotvrđeno)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	Da	Da	x	Da (nepotvrđeno)	Da	Oba	Da
StarCoder 15B	Da	Da	x	Da (nepotvrđeno)	Da	Oba	Da
StarCoder2 3B/7B/15B	Da	Da	x	Da (nepotvrđeno)	Da	Oba	Da
BERT 110M/340M	Da	Da	x	Da (nepotvrđeno)	x	Oba	x
T5 220M/3B/11B	Da	Da	x	x	x	x	x

 

Modeli vizualnog jezika

 

Ugrađivanje modela

 

Modeli svjetske fondacije

Napomena
NeMo također podržava predobuku za difuzijsku i autoregresivnu arhitekturu. text2world modeli temelja.

Govorna umjetna inteligencija

Razvoj konverzacijskih AI modela je složen proces koji uključuje definiranje, konstruiranje i obuku modela unutar određenih domena. Ovaj proces obično zahtijeva nekoliko iteracija kako bi se postigao visok nivo tačnosti. Često uključuje više iteracija kako bi se postigla visoka tačnost, fino podešavanje različitih zadataka i podataka specifičnih za domen, osiguranje performansi obuke i pripremu modela za implementaciju inferencijalnog zaključivanja.

NeMo Framework pruža podršku za obuku i prilagođavanje modela umjetne inteligencije govora. To uključuje zadatke poput automatskog prepoznavanja govora (ASR) i sinteze teksta u govor (TTS). Nudi nesmetan prelazak na produkcijsku implementaciju na nivou preduzeća uz NVIDIA Riva. Kako bi pomogao programerima i istraživačima, NeMo Framework uključuje najsavremenije prethodno obučene kontrolne tačke, alate za reproducibilnu obradu govornih podataka i funkcije za interaktivno istraživanje i analizu skupova govornih podataka. Komponente NeMo Frameworka za umjetnu inteligenciju govora su sljedeće:

Obuka i prilagođavanje
NeMo Framework sadrži sve što je potrebno za obuku i prilagođavanje govornih modela (ASR, Klasifikacija govora, Prepoznavanje govornika, Vođenje dnevnika govornika, i TTS) na reproducibilan način.

SOTA prethodno obučeni modeli

• NeMo Framework pruža najsavremenije recepte i prethodno obučene kontrolne tačke nekoliko ASR i TTS modele, kao i upute o tome kako ih učitati.
• Alati za govor
• NeMo Framework pruža skup alata korisnih za razvoj ASR i TTS modela, uključujući:
  • NeMo prisilni poravnavač (NFA) za generiranje vremenskih mjerenja na nivou tokena, riječi i segmentaampgovora u audio zapisu korištenjem NeMo-ovih CTC-baziranih modela automatskog prepoznavanja govora.
  • Procesor govornih podataka (SDP), skup alata za pojednostavljenje obrade govornih podataka. Omogućava vam da predstavite operacije obrade podataka u konfiguraciji file, minimizirajući standardni kod i omogućavajući ponovljivost i djeljivost.
  • Istraživač govornih podataka (SDE), baziran na Dash-u web aplikacija za interaktivno istraživanje i analizu govornih skupova podataka.
  • Alat za kreiranje skupova podataka koji pruža funkcionalnost za poravnavanje dugog audio zapisa files odgovarajućim transkriptima i podijeliti ih na kraće fragmente koji su pogodni za obuku modela automatskog prepoznavanja govora (ASR).
  • Alat za poređenje za ASR modele kako bi se uporedila predviđanja različitih ASR modela na nivou tačnosti riječi i izgovora.
  • Evaluator ASR-a za procjenu performansi ASR modela i drugih funkcija kao što je detekcija glasovne aktivnosti.
  • Alat za normalizaciju teksta za pretvaranje teksta iz pisanog u govorni oblik i obrnuto (npr. „31.“ vs „trideset prvi“).
• Put do implementacije
• NeMo modeli koji su obučeni ili prilagođeni korištenjem NeMo Frameworka mogu se optimizirati i implementirati pomoću NVIDIA Rive. Riva pruža kontejnere i Helm grafikone posebno dizajnirane za automatizaciju koraka za implementaciju pritiskom na dugme.

Ostali resursi

GitHub repozitorije

• NeMoGlavni repozitorij za NeMo Framework
• NeMo–TrčiAlat za konfigurisanje, pokretanje i upravljanje eksperimentima mašinskog učenja.
• NeMo-Poravnavač: Skalabilni set alata za efikasno poravnavanje modela
• NeMo-Kustos: Skalabilni alati za predobradu i kuriranje podataka za LLM-ove

Dobivanje pomoći
Uključite se u NeMo zajednicu, postavljajte pitanja, potražite podršku ili prijavite greške.

• NeMo diskusije
• Problemi s NeMo-om

Programski jezici i okviri

• PythonGlavni interfejs za korištenje NeMo Frameworka
• PytorchNeMo Framework je izgrađen na PyTorchu

Licence

• NeMo Github repozitorij je licenciran pod Apache 2.0 licencom
• NeMo Framework je licenciran pod NVIDIA AI PRODUCT AGREEMENT-om. Preuzimanjem i korištenjem kontejnera prihvatate uslove i odredbe ove licence.
• Kontejner NeMo Framework sadrži Llama materijale koji su regulirani Ugovorom o licenci zajednice Meta Llama3.

Fusnote
Trenutno je podrška za NeMo Curator i NeMo Aligner za multimodalne modele u razvoju i bit će dostupna vrlo brzo.

FAQ

P: Kako mogu provjeriti da li je ranjivost utjecala na moj sistem?
A: Možete provjeriti da li je vaš sistem pogođen provjerom instalirane verzije NVIDIA NeMo Frameworka. Ako je starija od verzije 24, vaš sistem može biti ranjiv.

P: Ko je prijavio sigurnosni problem CVE-2025-23360?
A: Sigurnosni problem prijavio je Or Peles – JFrog Security. NVIDIA zahvaljuje na njihovom doprinosu.

P: Kako mogu primati buduća obavještenja o sigurnosnim biltenima?
A: Posjetite stranicu Sigurnost proizvoda NVIDIA da biste se pretplatili na obavještenja o sigurnosnim biltenima i bili informirani o sigurnosnim ažuriranjima proizvoda.