Bootstrap

【LLM入门之 星火大模型】(二) 多轮对话

最近就写点LLM入门的吧 =。=

星火大模型关于python的SDK写的比较简略,有些东西得摸索摸索。

下面简单写一下关于星火大模型如何多轮对话。

以下会做一个简要的实现:

首先,声明星火大模型

    spark = ChatSparkLLM(
        spark_api_url=SPARKAI_URL,
        spark_app_id=SPARKAI_APP_ID,
        spark_api_key=SPARKAI_API_KEY,
        spark_api_secret=SPARKAI_API_SECRET,
        spark_llm_domain=SPARKAI_DOMAIN,
        streaming=True,
    )

然后写出问题,调用大模型回答:

handler = ChunkPrintHandler()
a = spark.generate([messages], callbacks=[handler])

此时,需要给大模型输入需要翻译的句子,

messages.append(
    ChatMessage(
        role="user",
        content="无产阶级终将胜利!"
    ))
response = spark.generate([messages], callbacks=[handler])

将会得到如下结果:
在这里插入图片描述
需要注意的是,messages需要append ,大模型会忘记上一个要求。
此处的方法仅代表py脚本中。

;