-
流式输出的场景：
需要大模型执行一段时间的情况，避免用户等待，可以一点一点的输出
非流式：
使用的是http请求，不能主动向客户端推送数据
流式：----SSE：服务器发送事件
响应结构：
非流式响应结构：
object的结构差异：
非流式=chat.completion
流式=chat.completion.chunk
choices的结构差异：
非流式=index、message.role、message.content、logprobs、finish_reason
流式=index、delta.role、delta.content、finish_reason
usage差异：
非流式=prompt_tokens、completion_tokens、total_tokens
流式=没有该参数
逐行读取流式返回结果：
bit类型=>字符串: line.decode('utf-8').lstrip('data: ')
字符串=>字典(json) : json.loads()
print使用知识点：
默认输出后会带换行符，如果不需要换行，需要执行换行符类型
print(str, end=''): 不换行直接输出
openai-python库： 使用支持SSE协议的已有客户端库，简化实现逻辑
处理返回结果
查看全部 -
embeddings 是什么和有什么用
怎么用：
使用示例：
响应：
响应参数说明：
常用模型：
模型使用代码
应用场景：
查看全部 -
SerpAPI是一种 Pyhon 工具，提供 SerpAPI Google 搜索引擎结果 AP|和 SerpAPI 必应搜索引擎结果 API 的 包装器你可以使用该工具从多种不同的搜索引擎(包括 Google 和必应)中检索搜索结果。
查看全部 -
不输出换行符：print("输出", end='')
使用openai-python库
流式输出时，可设置滑动窗口实现内容审查
使用tiktoken库计算token消耗
查看全部 -
角色：
system
user
assistant
查看全部 -
openai-python
pip install openai
查看全部 -
环境变量设置KEY
查看全部 -
1个token≈4个英文字符
1个token≈3/4个单词
100个token≈75个单词
查看全部 -
OPENAI大模型家族：
多模态大模型：
GPT-4
GPT-4 Turbo版{剪枝和蒸馏后的版本}
文本大模型
GPT-3.5
视觉大模型
DALL·E
语音大模型
TTS
Whisper
Embedding大模型
text-embedding-ada-002
审查大模型
Moderation
查看全部 -
一、输入约束
二、输出约束
一般的响应格式： response.choices[0].message.content
通过messages角色设定的内容，告诉大模型之前的数据
查看全部 -
openAI 的api调用
查看全部 -
推荐项目
AutoGPT: https://github.com/Significant-Gravitas/AutoGPT
GPT-Engineer： https://github.com/gpt-engineer-org/gpt-engineer
ChatGPT-Next-Web: https://github.com/ChatGPTNextWeb/ChatGPT-Next-Web
查看全部
举报