Hvordan bruger man hukommelse i LLMChain gennem LangChain?

Hvordan Bruger Man Hukommelse I Llmchain Gennem Langchain



LangChain er den ramme, der kan bruges til at importere biblioteker og afhængigheder til opbygning af store sprogmodeller eller LLM'er. Sprogmodellerne bruger hukommelse til at gemme data eller historie i databasen som observation for at få konteksten for samtalen. Hukommelsen er konfigureret til at gemme de seneste beskeder, så modellen kan forstå de tvetydige prompter, som brugeren giver.

Denne blog forklarer processen med at bruge hukommelse i LLMChain gennem LangChain.







Hvordan bruger man hukommelse i LLMChain gennem LangChain?

For at tilføje hukommelse og bruge den i LLMChain gennem LangChain, kan ConversationBufferMemory-biblioteket bruges ved at importere det fra LangChain.



For at lære processen med at bruge hukommelsen i LLMChain gennem LangChain, skal du gennemgå følgende guide:



Trin 1: Installer moduler

Start først processen med at bruge hukommelsen ved at installere LangChain ved hjælp af pip-kommandoen:





pip installer langkæde

Installer OpenAI-modulerne for at få deres afhængigheder eller biblioteker til at bygge LLM'er eller chatmodeller:



pip installer openai

Indstil miljøet for OpenAI ved at bruge dens API-nøgle ved at importere os og getpass-bibliotekerne:

import os
importere getpass

os.environ['OPENAI_API_KEY'] = getpass.getpass('OpenAI API-nøgle:')

Trin 2: Import af biblioteker

Efter opsætning af miljøet skal du blot importere bibliotekerne som ConversationBufferMemory fra LangChain:

fra langchain.chains importerer LLMChain
fra langchain.llms importerer OpenAI

fra langchain.memory import ConversationBufferMemory

fra langchain.prompts importer PromptTemplate

Konfigurer skabelonen for prompten ved hjælp af variabler som 'input' for at få forespørgslen fra brugeren og 'hist' til lagring af data i bufferhukommelse:

template = '''Du er en model, der har en chat med et menneske

{hist}
Menneske: {input}
Chatbot:'''

prompt = PromptSkabelon(
input_variables=['hist', 'input'], skabelon=skabelon
)
memory = ConversationBufferMemory(memory_key='hist')

Trin 3: Konfiguration af LLM

Når skabelonen til forespørgslen er bygget, skal du konfigurere LLMChain()-metoden ved hjælp af flere parametre:

llm = OpenAI()
llm_chain = LLMChain(
llm=llm,
prompt=prompt,
verbose=Sandt,
hukommelse = hukommelse,
)

Trin 4: Test af LLMChain

Test derefter LLMChain ved hjælp af inputvariablen for at få prompten fra brugeren i tekstformen:

llm_chain.predict(input='Hej med min ven')

Brug et andet input til at få dataene gemt i hukommelsen til at udtrække output ved hjælp af konteksten:

llm_chain.predict(input='Godt! jeg er god - hvordan har du det')

Trin 5: Tilføjelse af hukommelse til en chatmodel

Hukommelsen kan tilføjes til den chatmodelbaserede LLMChain ved at importere bibliotekerne:

fra langchain.chat_models importerer ChatOpenAI
fra langchain.schema importer SystemMessage
fra langchain.prompts importer ChatPromptTemplate, HumanMessagePromptTemplate, MessagesPlaceholder

Konfigurer promptskabelonen ved hjælp af ConversationBufferMemory() ved hjælp af forskellige variabler til at indstille input fra brugeren:

prompt = ChatPromptTemplate.from_messages([
SystemMessage(content='Du er en model, der chatter med et menneske'),
MessagesPlaceholder(variable_),
HumanMessagePromptTemplate.from_template('{input}'),
])

memory = ConversationBufferMemory(memory_key='hist', return_messages=True)

Trin 6: Konfiguration af LLMChain

Konfigurer LLMChain()-metoden for at konfigurere modellen ved hjælp af forskellige argumenter og parametre:

llm = ChatOpenAI()

chat_llm_chain = LLMChain(
llm=llm,
prompt=prompt,
verbose=Sandt,
hukommelse = hukommelse,
)

Trin 7: Test af LLMChain

Til sidst skal du blot teste LLMChain ved hjælp af input, så modellen kan generere teksten i henhold til prompten:

chat_llm_chain.predict(input='Hej med min ven')

Modellen har gemt den forrige samtale i hukommelsen og viser den før det faktiske output af forespørgslen:

llm_chain.predict(input='Godt! jeg er god - hvordan har du det')

Det handler om at bruge hukommelse i LLMChain ved at bruge LangChain.

Konklusion

For at bruge hukommelsen i LLMChain gennem LangChain rammeværket, skal du blot installere modulerne for at opsætte miljøet for at få afhængighederne fra modulerne. Derefter skal du blot importere bibliotekerne fra LangChain for at bruge bufferhukommelsen til at gemme den forrige samtale. Brugeren kan også tilføje hukommelse til chatmodellen ved at bygge LLMChain og derefter teste kæden ved at levere input. Denne guide har uddybet processen med at bruge hukommelsen i LLMChain gennem LangChain.