Dette indlæg vil forklare følgende indhold:
- Hvad er OpenAIs Jukebox?
- Hvordan fungerer OpenAIs Jukebox?
- Hvordan bruger man OpenAIs Jukebox?
- Funktioner i Jukebox
Hvad er OpenAIs Jukebox?
Jukebox er et dybt læringssystem, der kan generere musik fra bunden, givet nogle input såsom tekster, genre, kunstner eller stemning. Jukebox bruger et stort datasæt med over 1,2 millioner sange fra forskellige kilder, såsom Spotify, YouTube og MIDI-filer, til at lære musikkens mønstre og funktioner.
Hvordan fungerer OpenAIs Jukebox?
Jukebox består af tre hovedkomponenter: en VQ-VAE encoder, en transformer dekoder og en upsampler.
VQ-VAE encoder
VQ-VAE-koderen er ansvarlig for at komprimere den rå lyd til en lavere dimensionel repræsentation, der bevarer den væsentlige information om musikken. Indkoderen bruger en teknik kaldet vektorkvantisering (VQ) til at kortlægge hvert segment af lyden til et af 2048 tokens.
Transformer dekoder
Disse tokens føres derefter ind i transformator-dekoderen, som er et neuralt netværk, der kan generere sekvenser af tokens baseret på input og den lærte musikalske viden. Dekoderen kan generere tokens, der svarer til tekst, melodi, harmoni, rytme, klangfarve og andre musikalske aspekter.
Upsampler
Upsampleren er den sidste komponent, der konverterer de genererede tokens tilbage til lyd af høj kvalitet. Upsampleren bruger en anden VQ-VAE til at rekonstruere lyden fra tokens, mens den tilføjer detaljer og nuancer, der mangler i den lavere dimensionelle repræsentation. Upsampleren kan også bruge yderligere information såsom genre- eller kunstnerindlejringer til at finjustere outputtet og få det til at lyde mere realistisk og mangfoldigt.
Hvordan bruger man OpenAIs Jukebox?
For at bruge Jukebox skal du have adgang til en kraftfuld GPU eller en cloud computing-tjeneste, der kan køre Jukebox-koden. Du kan finde scriptet og instruktionerne til, hvordan du installerer og kører Jukebox på GitHub . Du kan også finde nogle eksempler på sange genereret af Jukebox på SoundCloud under:
For at generere dine egne sange med Jukebox skal du angive nogle inputparametre såsom tekst, genre, kunstner eller stemning. Du kan også angive prøvetagningstemperaturen, som styrer, hvor tilfældigt og kreativt outputtet vil være.
En højere temperatur betyder mere mangfoldighed og nyhed, mens en lavere temperatur betyder mere sammenhæng og lighed med inputtet. Du kan også vælge niveauet af kvalitet og kompleksitet af output, der spænder fra 5b (den højeste) til 1b (den laveste). Et højere niveau betyder mere troskab og detaljer, men også mere beregningstid og ressourcer.
Når du har sat dine inputparametre op, kan du køre Jukebox-koden og vente på, at den genererer din sang. Afhængigt af dine indstillinger og hardware kan dette tage fra minutter til timer eller endda dage. Overvåg også fremskridtene og lyt til mellemeksempler undervejs. Når generationen er færdig, kan du downloade din sang som en MP3-fil og nyde dit musikalske mesterværk.
Funktioner i Jukebox
Jukeboxen kan bruges til forskellige formål, såsom:
- At skabe original musik til personlig eller kommerciel brug
- Remix eller sampling af eksisterende sange
- Generering af musik til bestemte stemninger, temaer eller lejligheder
- Udforske forskellige musikgenrer og stilarter
- At have det sjovt og være kreativ
Konklusion
Jukebox er et fantastisk værktøj, der kan hjælpe dig med at skabe original og forskelligartet musik med minimal indsats. Du kan bruge den til at eksperimentere med forskellige genrer og stilarter, til at remixe eksisterende sange eller kunstnere eller til at udtrykke dine egne følelser og ideer gennem musik. Jukebox er dog ikke perfekt; det kan nogle gange producere fejl, fejl eller meningsløse output.