
增长黑客
自己总结的prompt经验
2023/5/1 · 3 min read
昨天看了吴恩达的课程,今天就用GPT帮创业的前同事做大量数据的智能提取和匹配。 遇到了一些问题,下面说下我的解决经验,希望对大家有帮助。
token达到上限的处理方法
貌似prompt的token上限是4000左右(收费也不可避免),也就是说我的prompt文字不能超过4000. 但实际上业务需求很可能超过4000。 我这里是这样处理的:
- 将prompt拆分成多组,每组4000左右
- 再根据当前需求写内循环,去匹配提取,每一步提取都会返回一个结果,只要结果没匹配到就自动进入下一个内循环,知道匹配到为止。
token 请求次数
目前GPT免费版,API每分钟只能请求三次。 所以这里我们需要用sleep函数,每请求3次,暂停55秒。
关于prompt的调试
虽然官方的promt是英文的,但是实际上prompt是支持中文指令的。 然后每次调试都是改prompt再run,很费时间,另外有时候感觉描述得也蛮正确就是返回给我的答案不尽人意。 这里我有个方法告诉大家。
- 首先我们可以把需求写给bing chat
- bing很大概率返回一个接近但不太对的答案(因为你prompt都跑不出对的答案)
- 然后你可以跟bing给建议,让他自己去调整,他很高效的,基本上很快就能呈现满意的要求。
- 当你对结果满意后,再对他说“基于你最终呈现的结果,请给我写个你比较容易理解的示范prompt”
- 然后他会返回给你正确的prompt 这样的好处就是通过bing自行调试,比你自己修改prompt效率高得多。 你会问,都知道答案为什么要prompt? prompt意味着通用的模板,有了正确的prompt就可以批量解决问题了。