Hvad er VisualGPT - Alt hvad du behøver at vide

Microsofts VisualGPT frigiver en ny teknologi ' VisualGPT ”, der er et fremskridt inden for AI og åbner op for muligheder for mere tiltalende og interaktive AI-oplevelser ved at bygge bro mellem det visuelle og sprog.

Hvad er VisualGPT?

VisualGPT er en udvidet version af ChatGPT som er baseret på NLP (Natural Language Processing) modeller, men i VisualGPT bruges VFMS som kan konvertere tekstforespørgsler til billedform. Det er sådan, at det er en kombination/integration af tekst- og billedforespørgsler.

Formål med VisualGPT

Efter udgivelsen af ChatGPT på markedet, som arbejdede på tekstformatet som det eneste, for at opnå det næste niveau af avancement er der det perfekte værktøj, der vil arbejde på tekst- til grafisk format, efter alle disse grunde og i kapløbet om AI fremskridt Microsoft frigiver VisualGPT. Hovedformålet med VisualGPT er at skabe AI-billeder efter brugerens behov eller analysere billedet

Arkitektur af VisualGPT

VisualGPT indeholder User Query, Prompt Manager, Visual Foundation Models (VFM'er), System Principle, History of Dialogue, History of Reasoning og Intermediate Answer.

Hvis vi specifikt taler om dens model, dvs. VFM'er (Visual Foundation Models) ”, bliver der brugt næsten 22 VFM’er, som BLIP (Bootstrapping Language-Image Pre-training) og Stable Diffusion.

Hvordan kører man en Visual ChatGPT?

For at køre en Visual ChatGPT skal du overveje følgende trin:

Trin 1: Opret et miljø

For det første skal du oprette et miljø af Python version 3.8:

import sys

sys.path.append ( '/usr/local/lib/python3.8/site-packages' )

Trin 2: Klon Visual ChatGPT-fil

Klon nu den visuelle ChatGPT-fil fra GitHub ved hjælp af følgende kommando:

! git klon https: // github.com / deepanshu88 / visual-chatgpt.git

Trin 3: Opsæt en ny mappe

Derefter skal du oprette en ny mappe via nedenstående kommando:

% cd visuel-chatgpt

Trin 4: Installer de nødvendige pakker

Installer nu de nødvendige pakker ved hjælp af ' pip ' cmdlet:

! krølle https: // bootstrap.pypa.io / get-pip.py -O get-pip.py

! python3.8 get-pip.py

! python3.8 -m pip installere -r krav.txt

Trin 5: Få adgang til OpenAI API

Efter installation af indledende pakker, få adgang til OpenAI API ved at få en API-nøgle fra 'platform.openai.com' og foretage autentificerede API-kald:

% env OPENAI_API_KEY =sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

Trin 6: Vælg model

Til sidst, efter at have adgang til Openai, vælg modellen, der er mere end 20 modeller, som bruges i visualGPT, du kan vælge efter dit krav:

! python3.8. / visual_chatgpt.py --belastning Text2Image_cuda: 0

I ovenstående kommando, ' Text2Image ” svarer til den model, der skal bruges. For flere detaljer tjek denne Google Colab notesbog .

Konklusion

ChatGPT blev introduceret for at få specifikke svar om enhver forespørgsel, og nu har Microsoft lanceret VisualGPT, som er i stand til at håndtere tekstlige såvel som billeddata. Det er sådan, at brugeren blot kan tilføje sine krav i tekstform og få dets grafiske output.

Hvad er VisualGPT - Alt hvad du behøver at vide