{"topic":{"id":5263,"title":"延迟满足的骗局","slug":"topic","categoryId":11,"createdAt":"2023-08-29 06:27:26.36105","bumpedAt":"2025-03-04 15:03:05.551735","views":455,"postsCount":8,"highestPostNumber":8,"likeCount":11,"closed":false,"pinned":false,"pinnedGlobally":false,"pinnedAt":null,"pinnedUntil":null,"isBanner":false,"excerpt":"我们来玩一个游戏：扔硬币，如果扔出的是正面则重复扔硬币，直到扔出反面为止，一次游戏结束。一次游戏的奖金是根据扔硬币的次数决定的，即：如果第 1 次就扔出反面，奖金 2 块；如果第 2 次才扔出反面，奖金 4 块； ... 如果第 n 次才扔出反面，奖金 2^n；问：你最多愿意每次花多少钱玩这个游戏？很显然，这个游戏的期望是 E = 2*(1/2) + 4*(1/2)(1/2) + ... + 2^n(1/2)^n + ...…","deletedAt":null,"isAnonymous":false,"category":{"id":11,"name":"深入交流","slug":"distilled","color":"c01c28"},"author":{"id":425,"username":"Ogiso_Setsuna","name":"小木曽雪菜","avatarUrl":"/uploads/image/84/e3/84e328169491dbc81e9b54386b259ed63a8e6678875dcf17803ec69c4c25cb99.avif"},"tags":[]},"posts":[{"id":10193,"postNumber":1,"raw":"我们来玩一个游戏：\n> 扔硬币，如果扔出的是正面则重复扔硬币，直到扔出反面为止，一次游戏结束。一次游戏的奖金是根据扔硬币的次数决定的，即：\n> 如果第 1 次就扔出反面，奖金 2 块；\n> 如果第 2 次才扔出反面，奖金 4 块；\n> ...\n> 如果第 n 次才扔出反面，奖金 2^n；\n\n问：你最多愿意每次花多少钱玩这个游戏？\n\n很显然，这个游戏的期望是 \n>E = 2*(1/2) + 4*(1/2)*(1/2) + ... + 2^n*(1/2)^n + ...\n> = 1 + 1 + 1 + ...\n> = ∞\n\n所以理论上我们花费任意有限的价格去参与游戏应该都是划算的。但是，这个结论明显与人们的直觉相悖。事实上，现实中几乎没有人愿意花费 20 以上的价格去玩这个游戏，更不用说花费任意有限的价格了。\n\n然而，在现实中人们精力有限、生命有限，只能进行有限次游戏。这时，使用基于“无限次”游戏假设计算出的“期望值”来进行决策，是否会存在问题呢？\n\n我们再仔细观察一下游戏的规则，发现无穷大的期望，来自于在时间的无穷远方，将一个高阶无穷大的奖励压缩进了一个无穷小的概率。对任何现实中的人来说，高阶无穷大和无穷大没有什么区别，因此没有人能够拿到最终的这个所谓无穷大的收益。\n\n这使我们不得不反思，延迟满足是否总是那么行之有效？如果把一个超级巨大的奖励放在一个非常漫长的延时之后，真的会有人实现吗？延迟满足在此时真的还有意义吗？\n\n我又想到了强化学习中的 Q-learning，距离当前时刻越近，所得到的 reward 越高（我没有仔细研究过 RL，不清楚是否大部分的 reward 都是这么设置的）。这看起来也很有道理：在实现一个目标的开始阶段，你得到的 reward 越高，你越可能保持在正确的道路上。而如果是越往后 reward 越高，你更有可能在开始阶段走了一条奇怪的路子摆烂，直到最后一步，虽然 reward 奇大无比，但是你因为开始偏离得太多，几乎完全不可能得到这个 reward 了。\n\n所以我在想，也许我们应该给自己在更近的阶段设置更多的奖励，我们才能 keep motivated，而不是把一个巨大的奖励藏在无穷远处，画饼充饥。延迟满足并不总是有效，因为人的生命与精力并不是无穷的。一味欺骗自己、麻痹自己，相信那个无穷远处的高阶无穷大奖励，恰恰是不理性的，反而容易让人堕入虚无的深渊。","cooked":"

我们来玩一个游戏：

\n
扔硬币，如果扔出的是正面则重复扔硬币，直到扔出反面为止，一次游戏结束。一次游戏的奖金是根据扔硬币的次数决定的，即：
\n如果第 1 次就扔出反面，奖金 2 块；
\n如果第 2 次才扔出反面，奖金 4 块；
\n...
\n如果第 n 次才扔出反面，奖金 2^n；
\n

问：你最多愿意每次花多少钱玩这个游戏？

很显然，这个游戏的期望是

\n
E = 2*(1/2) + 4*(1/2)(1/2) + ... + 2^n(1/2)^n + ...
\n= 1 + 1 + 1 + ...
\n= ∞
\n

所以理论上我们花费任意有限的价格去参与游戏应该都是划算的。但是，这个结论明显与人们的直觉相悖。事实上，现实中几乎没有人愿意花费 20 以上的价格去玩这个游戏，更不用说花费任意有限的价格了。

然而，在现实中人们精力有限、生命有限，只能进行有限次游戏。这时，使用基于“无限次”游戏假设计算出的“期望值”来进行决策，是否会存在问题呢？

我们再仔细观察一下游戏的规则，发现无穷大的期望，来自于在时间的无穷远方，将一个高阶无穷大的奖励压缩进了一个无穷小的概率。对任何现实中的人来说，高阶无穷大和无穷大没有什么区别，因此没有人能够拿到最终的这个所谓无穷大的收益。

这使我们不得不反思，延迟满足是否总是那么行之有效？如果把一个超级巨大的奖励放在一个非常漫长的延时之后，真的会有人实现吗？延迟满足在此时真的还有意义吗？

我又想到了强化学习中的 Q-learning，距离当前时刻越近，所得到的 reward 越高（我没有仔细研究过 RL，不清楚是否大部分的 reward 都是这么设置的）。这看起来也很有道理：在实现一个目标的开始阶段，你得到的 reward 越高，你越可能保持在正确的道路上。而如果是越往后 reward 越高，你更有可能在开始阶段走了一条奇怪的路子摆烂，直到最后一步，虽然 reward 奇大无比，但是你因为开始偏离得太多，几乎完全不可能得到这个 reward 了。

所以我在想，也许我们应该给自己在更近的阶段设置更多的奖励，我们才能 keep motivated，而不是把一个巨大的奖励藏在无穷远处，画饼充饥。延迟满足并不总是有效，因为人的生命与精力并不是无穷的。一味欺骗自己、麻痹自己，相信那个无穷远处的高阶无穷大奖励，恰恰是不理性的，反而容易让人堕入虚无的深渊。

\n","createdAt":"2023-08-29 06:27:26.444997","updatedAt":"2023-08-29 06:27:26.444997","replyToPostNumber":null,"replyCount":0,"likeCount":7,"wordCount":829,"liked":false,"bookmarked":false,"polls":[],"reactions":[{"reaction":"❤️","count":7,"users":[{"id":60,"username":"Speed001","name":null},{"id":172,"username":"HCCH","name":"HCCH"},{"id":346,"username":"hoist","name":null},{"id":513,"username":"Grazure","name":"灰蓝天"},{"id":1047,"username":"anonymous_coward_old","name":"Anonymous Coward Old"},{"id":1077,"username":"Ru1Z2e","name":null},{"id":7014,"username":"兴庆宫第一迷路幽灵","name":"post deleted by author"}],"hasReacted":false}],"wiki":false,"version":1,"publicVersion":1,"deletedAt":null,"isAnonymous":false,"user":{"id":425,"username":"Ogiso_Setsuna","name":"小木曽雪菜","avatarUrl":"/uploads/image/84/e3/84e328169491dbc81e9b54386b259ed63a8e6678875dcf17803ec69c4c25cb99.avif","admin":false,"moderator":false,"signatureRaw":null,"signatureCooked":null}},{"id":10194,"postNumber":2,"raw":"某种意义上讲人类社会就是个 Ponzi scheme，前面的人靠后面的人工作挣钱来养老","cooked":"

某种意义上讲人类社会就是个 Ponzi scheme，前面的人靠后面的人工作挣钱来养老

\n","createdAt":"2023-08-29 06:31:19.721883","updatedAt":"2023-08-29 06:31:19.721883","replyToPostNumber":null,"replyCount":1,"likeCount":0,"wordCount":31,"liked":false,"bookmarked":false,"polls":[],"reactions":[],"wiki":false,"version":1,"publicVersion":1,"deletedAt":null,"isAnonymous":false,"user":{"id":1047,"username":"anonymous_coward_old","name":"Anonymous Coward Old","avatarUrl":"/uploads/image/43/32/4332638c11248b8ff07033c11de0759a55205facfbec85e14458245a91991faf.avif","admin":false,"moderator":false,"signatureRaw":null,"signatureCooked":null}},{"id":10199,"postNumber":3,"raw":"严谨地说，reward 不是距离当前 timestep 越近越高。reward 是 MDP 中当前状态下采取某动作转移到另一个状态时获得的值， $ r(s, a, s') $ ，和 timestep 无关。\n\n只是在计算 return (expected sum of reward) 的时候，可以在 reward 前面加个折扣 $\\gamma$ 。这个折扣还可以理解为：MDP 有 $1-\\gamma$ 的概率转移到死亡状态，从而后面什么奖励都没有。","cooked":"

严谨地说，reward 不是距离当前 timestep 越近越高。reward 是 MDP 中当前状态下采取某动作转移到另一个状态时获得的值， $ r(s, a, s') $ ，和 timestep 无关。

只是在计算 return (expected sum of reward) 的时候，可以在 reward 前面加个折扣 $\\gamma$ 。这个折扣还可以理解为：MDP 有 $1-\\gamma$ 的概率转移到死亡状态，从而后面什么奖励都没有。

\n","createdAt":"2023-08-29 08:53:58.296402","updatedAt":"2024-03-17 13:05:14.079985","replyToPostNumber":null,"replyCount":0,"likeCount":2,"wordCount":117,"liked":false,"bookmarked":false,"polls":[],"reactions":[{"reaction":"❤️","count":2,"users":[{"id":425,"username":"Ogiso_Setsuna","name":"小木曽雪菜"},{"id":4668,"username":"IO","name":null}],"hasReacted":false}],"wiki":false,"version":1,"publicVersion":1,"deletedAt":null,"isAnonymous":false,"user":{"id":1047,"username":"anonymous_coward_old","name":"Anonymous Coward Old","avatarUrl":"/uploads/image/43/32/4332638c11248b8ff07033c11de0759a55205facfbec85e14458245a91991faf.avif","admin":false,"moderator":false,"signatureRaw":null,"signatureCooked":null}},{"id":10208,"postNumber":4,"raw":"搞到一万亿以上的钱可能没区别了，所以可以想象一万亿以上都是一万亿封顶，则可能期望是 40 元左右","cooked":"

搞到一万亿以上的钱可能没区别了，所以可以想象一万亿以上都是一万亿封顶，则可能期望是 40 元左右

\n","createdAt":"2023-08-29 12:11:42.142992","updatedAt":"2023-08-29 12:11:42.142992","replyToPostNumber":null,"replyCount":1,"likeCount":1,"wordCount":45,"liked":false,"bookmarked":false,"polls":[],"reactions":[{"reaction":"❤️","count":1,"users":[{"id":1047,"username":"anonymous_coward_old","name":"Anonymous Coward Old"}],"hasReacted":false}],"wiki":false,"version":1,"publicVersion":1,"deletedAt":null,"isAnonymous":false,"user":{"id":369,"username":"3ee28fe1a60c95b89d29317f122c70","name":null,"avatarUrl":"/uploads/image/06/94/069460f3321c06a9a6db8c1be9626829df809d10f291c52a88f7d98821a1f1c2.avif","admin":false,"moderator":false,"signatureRaw":null,"signatureCooked":null}},{"id":10211,"postNumber":5,"raw":"结论是：如果玩 $n$ 次，总收益依概率为 $n \\log_{2}{n}$ ，平均一局赚 $\\log_{2}{n}$ 元，只要价格低于 $\\log_{2}{n}$ 元就可以考虑去玩。\n如果你愿意付 40 元去玩一局，那么你需要玩一万亿次，你的期望才能回本，大概需要四十万亿的本金。","cooked":"

结论是：如果玩 $n$ 次，总收益依概率为 $n \\log_{2}{n}$ ，平均一局赚 $\\log_{2}{n}$ 元，只要价格低于 $\\log_{2}{n}$ 元就可以考虑去玩。
\n如果你愿意付 40 元去玩一局，那么你需要玩一万亿次，你的期望才能回本，大概需要四十万亿的本金。

\n","createdAt":"2023-08-29 14:09:01.349625","updatedAt":"2023-08-29 14:09:01.349625","replyToPostNumber":4,"replyCount":1,"likeCount":1,"wordCount":89,"liked":false,"bookmarked":false,"polls":[],"reactions":[{"reaction":"❤️","count":1,"users":[{"id":1047,"username":"anonymous_coward_old","name":"Anonymous Coward Old"}],"hasReacted":false}],"wiki":false,"version":1,"publicVersion":1,"deletedAt":null,"isAnonymous":false,"user":{"id":425,"username":"Ogiso_Setsuna","name":"小木曽雪菜","avatarUrl":"/uploads/image/84/e3/84e328169491dbc81e9b54386b259ed63a8e6678875dcf17803ec69c4c25cb99.avif","admin":false,"moderator":false,"signatureRaw":null,"signatureCooked":null}},{"id":10215,"postNumber":6,"raw":"是，我是想给个比较松的上界。。","cooked":"

是，我是想给个比较松的上界。。

\n","createdAt":"2023-08-29 15:37:26.822043","updatedAt":"2023-08-29 15:37:26.822043","replyToPostNumber":5,"replyCount":0,"likeCount":0,"wordCount":14,"liked":false,"bookmarked":false,"polls":[],"reactions":[],"wiki":false,"version":1,"publicVersion":1,"deletedAt":null,"isAnonymous":false,"user":{"id":369,"username":"3ee28fe1a60c95b89d29317f122c70","name":null,"avatarUrl":"/uploads/image/06/94/069460f3321c06a9a6db8c1be9626829df809d10f291c52a88f7d98821a1f1c2.avif","admin":false,"moderator":false,"signatureRaw":null,"signatureCooked":null}},{"id":46833,"postNumber":7,"raw":"[quote=\"小木曽雪菜，post:1, topic:5263, username:Ogiso_Setsuna\"]\n我又想到了强化学习中的 Q-learning，距离当前时刻越近，所得到的 reward 越高（我没有仔细研究过 RL，不清楚是否大部分的 reward 都是这么设置的）\n[/quote]\n\n占资本市场最大块的债券定价也是这样\n拿的是未来的现金流折现","cooked":"

\n\t\t\t\t\t

\n\t\t\t\t\t\t

\n\t\t\t\t\t\t\t

\n\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t

\n\t\t\t\t\t\t\t小木曽雪菜，post:1, topic:5263, username:Ogiso_Setsuna:\n\t\t\t\t\t\t

\n\t\t\t\t\t

\n
我又想到了强化学习中的 Q-learning，距离当前时刻越近，所得到的 reward 越高（我没有仔细研究过 RL，不清楚是否大部分的 reward 都是这么设置的）
\n

\n\t\t\t\t

占资本市场最大块的债券定价也是这样
\n拿的是未来的现金流折现

\n","createdAt":"2025-03-04 14:52:06.612597","updatedAt":"2025-03-04 14:52:06.612597","replyToPostNumber":null,"replyCount":0,"likeCount":0,"wordCount":94,"liked":false,"bookmarked":false,"polls":[],"reactions":[],"wiki":false,"version":1,"publicVersion":1,"deletedAt":null,"isAnonymous":false,"user":{"id":4668,"username":"IO","name":null,"avatarUrl":"/uploads/image/86/f2/86f267c0aaa73835a999b7cc3a7e7a701605574eda9a2c2a56f5ddbbba64d1a9.avif","admin":true,"moderator":false,"signatureRaw":"","signatureCooked":null}},{"id":46834,"postNumber":8,"raw":"金融工具最初的目的就是为了保障财富能够穿越时间和空间的限制\n用高地填平低地，减少人生的波动","cooked":"

金融工具最初的目的就是为了保障财富能够穿越时间和空间的限制
\n用高地填平低地，减少人生的波动

\n","createdAt":"2025-03-04 15:03:05.551735","updatedAt":"2025-03-04 15:03:05.551735","replyToPostNumber":2,"replyCount":0,"likeCount":0,"wordCount":44,"liked":false,"bookmarked":false,"polls":[],"reactions":[],"wiki":false,"version":1,"publicVersion":1,"deletedAt":null,"isAnonymous":false,"user":{"id":4668,"username":"IO","name":null,"avatarUrl":"/uploads/image/86/f2/86f267c0aaa73835a999b7cc3a7e7a701605574eda9a2c2a56f5ddbbba64d1a9.avif","admin":true,"moderator":false,"signatureRaw":"","signatureCooked":null}}],"hasMore":false,"lastReadPostNumber":1,"hasUrlPostNumber":false}