Treść wygenerowana automatycznie na podstawie publicznych źródeł. Sprawdź oryginał w sekcji poniżej.
NVIDIA uruchamia Nemotron-Labs-3-Puzzle-75B-A9B — 2.03 razy wydajniejsze rozwiazanie
NVIDIA przedstawił nowy model Nemotron-Labs-3-Puzzle-75B-A9B, który znacząco poprawia wydajność serwera bez utracenia jakości interakcji z użytkownikami. Ten kompresowany hybrydowy model MoE (Mixture of Experts) jest obecnie jednym z najbardziej innowacyjnych rozwiązań w dziedzinie sztucznej inteligencji.
Tło techniczne
NVIDIA AI team stworzył Nemotron-Labs-3-Puzzle-75B-A9B jako kompresję modelu Nemotron-3-Super, który ma 120.7 miliardów parametrów w całości i 12.8 miliarda aktywnych parametrów. Nowy model zasada się 75.3 miliardy parametrów całkowitych i 9.3 miliarda parametrów aktywnych, co przekształca go w bardziej efektywne rozwiązanie pod względem wydajności serwera.
Efektywność serwera
Nawet przy tak znaczącej kompresji, Nemotron-Labs-3-Puzzle-75B-A9B przekształca wydajność serwera o 2.03 razy w porównaniu do oryginału. W konsekwencji, pojedyncza karta H100 może teraz obsługiwać aż 8 zapytań o 1M tokenów jednocześnie, co jest znaczącym postępem od poprzedniego limitu jednego zapytania.
Co to znaczy dla Ciebie
Dla firm i deweloperów, którzy używają modeli AI, nowy model NVIDIA przynosi wiele korzyści. Najbardziej oczywistym jest znaczne zwiększenie wydajności serwera bez utraty jakości obsługi użytkownika. To oznacza, że firma może teraz obsługiwać więcej użytkowników na jednym serwerze, co prowadzi do mniejszych kosztów operacyjnych i większej skali.
Ważne punkty
- 2.03 razy wydajniejszy serwer przy tym samym poziomie obsługi użytkownika
- Zwiększenie liczby obsługiwanych zapytań o 1M tokenów na pojedynczym H100 do 8
- Kompleksowe ulepszenia struktury modelu bez zmian w warstwach uwagi
Dlaczego to ważne
Firma NVIDIA przedstawia nowy model AI, który znacząco poprawia wydajność serwera bez utraty jakości obsługi użytkownika. To oznacza, że firmy mogą teraz obsługiwać więcej użytkowników na jednym serwerze, co skutkuje mniejszymi kosztami operacyjnymi i większą skalą.
Powiązane
Obserwowalność w wieloagentowych systemach — klucz do efektywnego debugowania
Obserwowalność w wieloagentowych systemach to technika, która pozwala na monitorowanie stanów wewnętrznych, dzienników komunikacji oraz ścieżek decyzji interakcjonistycznych agentów AI. Ta technologia umożliwia architektorom oprogramowania identyfikację zatorów i poprawę wydajności.
Nowy test krwi AI zmienia diagnozowanie raka macicy — jak to działa?
Kilka szpitali NHS przygotowuje się do stosowania testu krwi opartego na sztucznej inteligencji, który może zmniejszyć potrzebę inwazyjnych badań u kobiet podejrzaną o rak macicy. Test PinPoint Data Science, opracowany przez firmę z Leeds, używa uczenia maszynowego do oceny ryzyka raka na podstawie 30 markerów w krwi.
Czy AI zmienia sposób, w jaki czytamy artykuły techniczne?
Narzędzia oparte na sztucznej inteligencji redefiniują nawyki czytelnicze w branży technologicznej, zmieniając sposób, w jaki odbiorcy przyswajają treści.
Lift od Datalab: Jak nowoczesny ekstraktor dokumentów zmienia grę w JSON?
Datalab zaprezentował nową technologię — Lift, która zdolna jest konwertować PDFy i obrazy bezpośrednio na JSON, odpowiadając na podane przez użytkownika schematy JSON. Podczas gdy większość narzędzi AI odnotowała sukces w parsowaniu dokumentów lub ekstrakcji danych, Lift skupia się na jednym etapie procesu, co może znacznie zmienić sposób przetwarzania dokumentów.