Kliknąłeś w wilka brawo !

Nvidia wyszła naprzeciw oczekiwaniom użytkowników komputerów Windows wyposażonych w karty graficzne GeForce RTX 30 i GeoForce RTX 40, wprowadzając do oferty produkt, który pozwala im uruchamiać na takich systemach chatboty AI.

Są to chatboty, które pracują w trybie offline.Oprogramowanie nosi nazwę Chat with RTX i pozwala użytkownikom budować modele GenAI pracujące podobnie jak ChatGPT OpenAI, łącząc je z dokumentami, plikami i notatkami w taki sposób iż może on do nich wysyłać zapytania. Chat with RTX korzysta domyślnie z modelu open source opracowanym przez firmę Mistrala, ale może też obsługiwać inne modele tekstowe, w tym model Meta Llama 2.

Chat with RTX jest jednak bardzo wymagający, jeśli chodzi o warstwę sprzętową komputera. I tak pobranie wszystkich niezbędnych plików pochłonie sporo miejsca na dysku (w przypadku niektórych modeli nawet do 100 GB). Obecnie Chat with RTX współpracuje z plikami tekstowymi PDF, doc, docx i .xml. Ponadto rozwiązanie może pobierać adresy URL z playlisty YouTube, co pozwala mu załadować z palylisty transkrypcje filmów, umożliwiając wybranemu modelowi sprawdzenie ich zawartości.

Należy mieć jednak świadomość. że Chat z RTX to bardziej zabawka pozwalająca lepiej zrozumieć działanie chatbotów niż narzędzie, które można wykorzystać w firmie czy też do celów komercyjnych. Nvidia przyznaje, że na trafność odpowiedzi aplikacji może mieć wpływ szereg czynników, które są trudne do kontrolowania. I tak np. pytanie o fakty zawarte w kilku dokumentach prawdopodobnie przyniesie lepsze rezultaty niż proszenie o streszczenie dokumentu lub zestawu dokumentów. Nvidia twierdzi, że jakość odpowiedzi ogólnie poprawi się w przypadku większych zbiorów danych.

Rozwiązanie to wpisuje się dobrze w przewidywania zawarte w opublikowanym niedawno przez WEF (World Economic Forum; Światowe Forum Ekonomiczne) raporcie. Forum przewidziało dramatyczny wzrost liczby niedrogich urządzeń, na których można uruchamiać modele GenAI w trybie offline, w tym komputerów stacjonarnych, smartfonów, urządzeń Internetu rzeczy i sprzętu sieciowego. Jak twierdzi WEF, powodem są wyraźne korzyści: modele offline są nie tylko z natury bardziej prywatne – przetwarzane przez nie dane nigdy nie opuszczają urządzenia, na którym działają – ale charakteryzują się mniejszymi opóźnieniami i są bardziej opłacalne niż modele hostowane w chmurze.