ChatGPT 如何確定響應(yīng)的長度?
 
ChatGPT 的工作原理很復(fù)雜,響應(yīng)長度因所詢問的內(nèi)容和請求的詳細(xì)程度而異。正如下一張截圖所示,ChatGPT 聲稱沒有嚴(yán)格的限制。
 
ChatGPT 回答是否有字符或字?jǐn)?shù)限制?(ChatGPT字?jǐn)?shù)限制是多少?)
 
下面的示例顯示了 ChatGPT 突然停止響應(yīng)到句子中間。我們要求它起草一篇關(guān)于循環(huán)經(jīng)濟(jì)好處的千字文章。ChatGPT 在達(dá)到 677 個(gè)單詞時(shí)停止響應(yīng)。
 
ChatGPT 回答是否有字符或字?jǐn)?shù)限制?(ChatGPT字?jǐn)?shù)限制是多少?)
 
我們用不同的問題重復(fù)了幾次測試,每次都在句子中間停止;有時(shí),這會(huì)伴隨網(wǎng)絡(luò)錯(cuò)誤。這是一個(gè)常見錯(cuò)誤,在 ChatGPT 中有多種修復(fù)網(wǎng)絡(luò)錯(cuò)誤的方法。
 
關(guān)于為什么會(huì)發(fā)生這種情況的部分答案在于稱為令牌系統(tǒng)的東西。
 
ChatGPT 使用什么令牌系統(tǒng)?

ChatGPT 使用令牌系統(tǒng),而不是簡單的字?jǐn)?shù)來確定查詢和答案的長度。這會(huì)將每個(gè)輸入和輸出分解為一系列用于對請求和響應(yīng)大小進(jìn)行分類的標(biāo)記。
 
雖然字?jǐn)?shù)統(tǒng)計(jì)確實(shí)起到了一定的作用,但這并不是全部。例如,下面的示例被輸入到OpenAi 的 Tokenizer 工具中。
 
ChatGPT 回答是否有字符或字?jǐn)?shù)限制?(ChatGPT字?jǐn)?shù)限制是多少?)
 
句子和答案被“標(biāo)記化”為九個(gè)標(biāo)記的值。這與 OpenAI 的“經(jīng)驗(yàn)法則”是一致的,即一個(gè) token 相當(dāng)于一個(gè)單詞的四分之三。
 
GPT 3.5 模型將用戶問題和數(shù)據(jù)限制為 4,097 個(gè)令牌。根據(jù) OpenAI 的計(jì)算,這相當(dāng)于大約 3,000 個(gè)單詞。但是,請務(wù)必注意,此限制同時(shí)適用于答案和問題。
 
雖然這在理論上都很好,但我們遇到的結(jié)果從未接近這些限制。ChatGPT 在我們之前的測試中返回的不完整答案僅包含 798 個(gè)令牌
 
ChatGPT 回答是否有字符或字?jǐn)?shù)限制?(ChatGPT字?jǐn)?shù)限制是多少?)
 
為什么 ChatGPT 的響應(yīng)有限?

這項(xiàng)剛剛起步的技術(shù)迅速成為本世紀(jì)最受關(guān)注的技術(shù)發(fā)展。這對 ChatGPT 產(chǎn)生了巨大的需求。最終,這種需求有效地減少了遠(yuǎn)低于規(guī)定限度的響應(yīng)。
 
雖然沒有官方證實(shí)這一點(diǎn),但似乎實(shí)際上限制在 500 個(gè)單詞或 4,000 個(gè)字符左右。
 
需要強(qiáng)調(diào)的是,這不是一個(gè)固定的規(guī)則——我們生成的輸出超過了將近 200 個(gè)單詞。然而,這可以被認(rèn)為是獲得完整答案的安全上限。
 
如何從 ChatGPT 獲得更長的響應(yīng)
 
一旦您了解 ChatGPT 的回復(fù)存在“隱藏限制”,有一些簡單的方法可以幫助您獲得更完整的回復(fù)。
 
1、要求 ChatGPT 繼續(xù):如果 ChatGPT 在回答中途停止,那么一種選擇是簡單地要求它繼續(xù)。在下面的例子中,我們輸入了“Go on”,它又在響應(yīng)中添加了 200 個(gè)單詞。
 
ChatGPT 回答是否有字符或字?jǐn)?shù)限制?(ChatGPT字?jǐn)?shù)限制是多少?)
 
2、把你的問題分成更小的部分:例如,我們多次要求它寫一篇關(guān)于人工智能對社會(huì)的影響的文章。每次響應(yīng)停止。這里的一個(gè)選擇是要求它為一篇關(guān)于 AI 的文章指出一些主題,然后使用提供的要點(diǎn)作為單獨(dú)的提示。
 
ChatGPT 回答是否有字符或字?jǐn)?shù)限制?(ChatGPT字?jǐn)?shù)限制是多少?)

3、使用“重新生成”選項(xiàng):雖然這可能會(huì)引發(fā)相同的錯(cuò)誤,但不會(huì)有任何損失,但始終值得一試。
 
4、在提示中指定字?jǐn)?shù)上限:下圖說明了如何使用它來控制答案中的最大字?jǐn)?shù)。
 
ChatGPT 回答是否有字符或字?jǐn)?shù)限制?(ChatGPT字?jǐn)?shù)限制是多少?)
 
這些提示將幫助您從 ChatGPT 獲得更完整的答案,并解決其響應(yīng)長度的非官方限制。
 
總結(jié):ChatGPT 回答是否有字符或字?jǐn)?shù)限制?(ChatGPT字?jǐn)?shù)限制是多少?)
 
雖然 ChatGPT 的回復(fù)長度沒有設(shè)定限制,但該平臺(tái)似乎限制了大約 500 個(gè)單詞或 4,000 個(gè)字符。
 
這主要?dú)w因于對 ChatGPT 的巨大需求。這導(dǎo)致答案不完整并在句子中間停止響應(yīng),但有一些簡單的解決方法可以幫助您獲得更長的答案。
 
盡管有其局限性,ChatGPT 仍然是一項(xiàng)非凡的技術(shù)發(fā)展,它將繼續(xù)發(fā)展和擴(kuò)大其輸出的質(zhì)量和數(shù)量界限。
裝機(jī)