{"topic":{"id":15467,"title":"一些技术类教程转载","slug":"topic","categoryId":4,"createdAt":"2026-01-19 07:39:45.36164","bumpedAt":"2026-02-06 18:43:51.60437","views":341,"postsCount":8,"highestPostNumber":8,"likeCount":7,"closed":false,"pinned":false,"pinnedGlobally":false,"pinnedAt":null,"pinnedUntil":null,"isBanner":false,"excerpt":"~x~","deletedAt":null,"isAnonymous":false,"category":{"id":4,"name":"谈笑风生","slug":"general","color":"25AAE2"},"author":{"id":7639,"username":"Zethes","name":null,"avatarUrl":null},"tags":[]},"posts":[{"id":70562,"postNumber":1,"raw":"~x~","cooked":"

~x~

\n","createdAt":"2026-01-19 07:39:45.455731","updatedAt":"2026-01-30 08:20:44.562641","replyToPostNumber":null,"replyCount":0,"likeCount":1,"wordCount":1,"liked":false,"bookmarked":false,"polls":[],"reactions":[{"reaction":"❤️","count":1,"users":[{"id":7444,"username":"周末","name":"😀"}],"hasReacted":false}],"wiki":false,"version":4,"publicVersion":4,"deletedAt":null,"isAnonymous":false,"user":{"id":7639,"username":"Zethes","name":null,"avatarUrl":null,"admin":false,"moderator":false,"signatureRaw":"我虽然行过死荫的幽谷，也不怕遭害，因为你与我同在。\n诗篇 23:4","signatureCooked":"

我虽然行过死荫的幽谷，也不怕遭害，因为你与我同在。
\n诗篇 23:4

\n"}},{"id":70886,"postNumber":2,"raw":"https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization\n\nhttps://newsletter.maartengrootendorst.com/p/a-visual-guide-to-mixture-of-experts\n\n这个系列的文章也挺不错的","cooked":"\n\n

这个系列的文章也挺不错的

\n","createdAt":"2026-01-30 07:58:23.850047","updatedAt":"2026-01-30 07:58:23.850047","replyToPostNumber":null,"replyCount":0,"likeCount":3,"wordCount":14,"liked":false,"bookmarked":false,"polls":[],"reactions":[{"reaction":"❤️","count":3,"users":[{"id":1649,"username":"triple7","name":null},{"id":2872,"username":"芙蓉湖第一树莓果","name":"RaspberryPi"},{"id":7444,"username":"周末","name":"😀"}],"hasReacted":false}],"wiki":false,"version":1,"publicVersion":1,"deletedAt":null,"isAnonymous":false,"user":{"id":7639,"username":"Zethes","name":null,"avatarUrl":null,"admin":false,"moderator":false,"signatureRaw":"我虽然行过死荫的幽谷，也不怕遭害，因为你与我同在。\n诗篇 23:4","signatureCooked":"

我虽然行过死荫的幽谷，也不怕遭害，因为你与我同在。
\n诗篇 23:4

\n"}},{"id":70887,"postNumber":3,"raw":"https://cs.ossu.dev","cooked":"","createdAt":"2026-01-30 08:19:24.343292","updatedAt":"2026-01-30 08:19:24.343292","replyToPostNumber":null,"replyCount":0,"likeCount":0,"wordCount":1,"liked":false,"bookmarked":false,"polls":[],"reactions":[],"wiki":false,"version":1,"publicVersion":1,"deletedAt":null,"isAnonymous":false,"user":{"id":7639,"username":"Zethes","name":null,"avatarUrl":null,"admin":false,"moderator":false,"signatureRaw":"我虽然行过死荫的幽谷，也不怕遭害，因为你与我同在。\n诗篇 23:4","signatureCooked":"

我虽然行过死荫的幽谷，也不怕遭害，因为你与我同在。
\n诗篇 23:4

\n"}},{"id":70888,"postNumber":4,"raw":"你是否曾好奇，为什么像 Flow Matching 这样的生成模型在采样时需要跑几十甚至上百步？明明训练时用的是“直线插值”，为何实际生成路径却弯弯曲曲？这不仅拖慢了速度，还增加了计算开销。\n\n在这篇可视化入门文章中，Alec Helbling 用二维玩具实验揭示了问题的核心：**独立耦合（independent coupling）导致轨迹交叉，而神经网络无法在同一时空点预测多个方向的速度，只能取平均——于是路径就“弯”了。**\n\n而解决方案出人意料地优雅：**Rectified Flows（校正流）**。它通过迭代地用模型自身生成的新样本对重新训练，逐步“拉直”轨迹。结果？采样只需几步 Euler 积分，就能获得高质量样本，大幅降低延迟与算力成本。\n\n文中配有大量交互式动图与对比图（支持点击生成），即使没有深度学习背景也能直观理解。\n\n🔗 原文链接：[A Visual Introduction to Rectified Flows](\nhttps://alechelbling.com/blog/rectified-flow/) \n\n\nhttps://alechelbling.com/blog/rectified-flow/","cooked":"

你是否曾好奇，为什么像 Flow Matching 这样的生成模型在采样时需要跑几十甚至上百步？明明训练时用的是“直线插值”，为何实际生成路径却弯弯曲曲？这不仅拖慢了速度，还增加了计算开销。

在这篇可视化入门文章中，Alec Helbling 用二维玩具实验揭示了问题的核心：独立耦合（independent coupling）导致轨迹交叉，而神经网络无法在同一时空点预测多个方向的速度，只能取平均——于是路径就“弯”了。

而解决方案出人意料地优雅：Rectified Flows（校正流）。它通过迭代地用模型自身生成的新样本对重新训练，逐步“拉直”轨迹。结果？采样只需几步 Euler 积分，就能获得高质量样本，大幅降低延迟与算力成本。

文中配有大量交互式动图与对比图（支持点击生成），即使没有深度学习背景也能直观理解。

🔗 原文链接：A Visual Introduction to Rectified Flows

Visualizing Rectified Flows

","createdAt":"2026-01-30 08:20:29.036951","updatedAt":"2026-01-30 08:20:29.036951","replyToPostNumber":null,"replyCount":0,"likeCount":0,"wordCount":300,"liked":false,"bookmarked":false,"polls":[],"reactions":[],"wiki":false,"version":1,"publicVersion":1,"deletedAt":null,"isAnonymous":false,"user":{"id":7639,"username":"Zethes","name":null,"avatarUrl":null,"admin":false,"moderator":false,"signatureRaw":"我虽然行过死荫的幽谷，也不怕遭害，因为你与我同在。\n诗篇 23:4","signatureCooked":"

我虽然行过死荫的幽谷，也不怕遭害，因为你与我同在。
\n诗篇 23:4

\n"}},{"id":70889,"postNumber":5,"raw":"开发\n\nhttps://fullstackopen.com/en/\n\nhttps://github.com/microsoft/mcp-for-beginners\n\nhttps://www.youtube.com/watch?v=VfZlglOWWZw","cooked":"

开发

\n\n

\n $\"\"$ \n GitHub\n

\n $\"\"$ \n

GitHub - microsoft/mcp-for-beginners: This open-source curriculum introduces the fundamentals of Model Context Protocol (MCP) through real-world, cross-language examples in .NET, Java, TypeScript, JavaScript, Rust and Python. Designed for developers, it focuses on practical techniques for building modular, scalable, and secure AI workflows from session setup to service orchestration.

This open-source curriculum introduces the fundamentals of Model Context Protocol (MCP) through real-world, cross-language examples in .NET, Java, TypeScript, JavaScript, Rust and Python. Designed for developers, it focuses on practical techniques for building modular, scalable, and secure AI workflows from session setup to service orchestration. - microsoft/mcp-for-beginners

\n","createdAt":"2026-01-30 08:37:08.275527","updatedAt":"2026-02-04 13:34:06.263397","replyToPostNumber":null,"replyCount":0,"likeCount":1,"wordCount":5,"liked":false,"bookmarked":false,"polls":[],"reactions":[{"reaction":"❤️","count":1,"users":[{"id":2872,"username":"芙蓉湖第一树莓果","name":"RaspberryPi"}],"hasReacted":false}],"wiki":false,"version":2,"publicVersion":2,"deletedAt":null,"isAnonymous":false,"user":{"id":7639,"username":"Zethes","name":null,"avatarUrl":null,"admin":false,"moderator":false,"signatureRaw":"我虽然行过死荫的幽谷，也不怕遭害，因为你与我同在。\n诗篇 23:4","signatureCooked":"

我虽然行过死荫的幽谷，也不怕遭害，因为你与我同在。
\n诗篇 23:4

\n"}},{"id":70890,"postNumber":6,"raw":"https://github.com/federico-busato/Modern-CPP-Programming\n\nhttps://github.com/rust-lang/rustlings","cooked":"\n","createdAt":"2026-01-30 08:40:16.823191","updatedAt":"2026-01-30 08:40:16.823191","replyToPostNumber":null,"replyCount":0,"likeCount":1,"wordCount":2,"liked":false,"bookmarked":false,"polls":[],"reactions":[{"reaction":"❤️","count":1,"users":[{"id":2872,"username":"芙蓉湖第一树莓果","name":"RaspberryPi"}],"hasReacted":false}],"wiki":false,"version":1,"publicVersion":1,"deletedAt":null,"isAnonymous":false,"user":{"id":7639,"username":"Zethes","name":null,"avatarUrl":null,"admin":false,"moderator":false,"signatureRaw":"我虽然行过死荫的幽谷，也不怕遭害，因为你与我同在。\n诗篇 23:4","signatureCooked":"

我虽然行过死荫的幽谷，也不怕遭害，因为你与我同在。
\n诗篇 23:4

\n"}},{"id":70891,"postNumber":7,"raw":"会计类\n\nhttps://www.accountingcoach.com/outline\n\n**Accounting Made Simple - Mike Piper** 100 页\n\nhttps://github.com/fenwii/WarrenBuffettLetter","cooked":"

会计类

\n\n

Accounting Made Simple - Mike Piper 100 页

\n","createdAt":"2026-01-30 08:53:49.50874","updatedAt":"2026-01-30 08:53:49.50874","replyToPostNumber":null,"replyCount":0,"likeCount":0,"wordCount":13,"liked":false,"bookmarked":false,"polls":[],"reactions":[],"wiki":false,"version":1,"publicVersion":1,"deletedAt":null,"isAnonymous":false,"user":{"id":7639,"username":"Zethes","name":null,"avatarUrl":null,"admin":false,"moderator":false,"signatureRaw":"我虽然行过死荫的幽谷，也不怕遭害，因为你与我同在。\n诗篇 23:4","signatureCooked":"

我虽然行过死荫的幽谷，也不怕遭害，因为你与我同在。
\n诗篇 23:4

\n"}},{"id":71103,"postNumber":8,"raw":"https://arxiv.org/abs/2602.04770\n\nhttps://lambertae.github.io/projects/drifting/\n\nhttps://www.qbitai.com/2026/02/376752.html\n\n这篇论文 **《Generative Modeling via Drifting》**（通过漂移进行生成建模）由 **邓明扬** 等人（包括 **何恺明** ）发表。\n\n在当前的生成模型领域，主要有两种主流范式：\n* **扩散模型/流匹配（Diffusion/Flow-based Models）：** 它们效果非常好，但生成图像时通常需要**迭代推理**（例如 Euler 求解器），即需要多次网络评估（NFE, Neural Function Evaluation）才能得到一张高质量图像，这使得生成速度较慢。\n* **GANs（生成对抗网络）或 VAEs（变分自编码器）：** 它们可以实现单步生成（1-NFE），速度极快，但在生成超高质量、高复杂度的图像（如 ImageNet 256×256）时，往往难以达到扩散模型那样的稳定性和图像多样性。\n\n**问题：** 如何在保持单步生成（1-NFE）高速度的同时，达到甚至超越扩散模型的高质量？\n\n---\n\n漂移模型 (Drifting Models)：**生成建模本身就可以看作是一个“演化”的过程**。\n\n![image|690x173](/uploads/image/89/e8/89e85dabdd408648e8214f98a90a30de8934ae50f4e8487c1cd6362b9a0f29f6.avif)\n\n\n论文定义了一个“漂移场” $\\mathbf{V}_{p,q}(\\mathbf{x})$。\n* 想象生成样本 $\\mathbf{x}$ （来自当前的生成分布 $q$ ）就像是在一个空间里移动的粒子。\n* 数据样本 $\\mathbf{y}^+$ （来自真实数据分布 $p$ ）是吸引子（attractors）。\n* 生成样本 $\\mathbf{y}^-$ （来自当前生成分布 $q$ ）是排斥子（repulsors）。\n* **漂移场的物理意义：** 告诉生成样本如何从当前位置“漂移”到更接近真实数据的位置。\n\n\n与扩散模型将迭代过程放在**推理阶段**（生成时）不同，**漂移模型将迭代演化过程放在了训练阶段**。\n1. **训练即演化：** 随着训练的进行（通过 SGD 优化），模型参数更新，生成分布 $q$ 也在不断变化。\n2. **目标：** 我们希望找到一个模型，使得当训练结束时，漂移场 $\\mathbf{V}$ 趋近于零。这意味着生成分布 $q$ 已经与真实数据分布 $p$ 达到“平衡状态”（Equilibrium），即不再需要进一步漂移。\n3. **单步生成：** 因为训练过程已经把“漂移”的方向和规则嵌入到了神经网络中，所以在推理（生成）时，只需要模型一次前向传播，就能直接映射出高质量的样本。\n\n---\n\n### 漂移场（Drifting Field）\n\n在 Drifting Models 中，作者设计了一套**物理规则**，让生成出来的样本自己知道该往哪里挪。\n\n**想象一个场景：**\n有一群**真蝴蝶**（真实数据分布 $p$ ）和一群**假蝴蝶**（生成分布 $q$ ）。\n* 每一只“假蝴蝶”都感受到两股力：\n 1. **吸引力**：附近的“真蝴蝶”把它往真分布的方向拉。\n 2. **排斥力**：附近的“假蝴蝶”把它往外推（防止大家都挤在一起，保证多样性）。\n* 当这两种力达到**平衡**时，假蝴蝶的分布就和真蝴蝶一模一样了。\n\n\n这是论文的核心公式。定义在位置 $\\mathbf{x}$ 处的漂移场 $\\mathbf{V}_{p,q}(\\mathbf{x})$：\n\n$$\\mathbf{V}_{p,q}(\\mathbf{x}) = \\underbrace{\\mathbb{E}_{\\mathbf{y} \\sim p} [K(\\mathbf{x}, \\mathbf{y})(\\mathbf{y} - \\mathbf{x})]}_{\\text{来自真数据的吸引力}} - \\underbrace{\\mathbb{E}_{\\mathbf{y} \\sim q} [K(\\mathbf{x}, \\mathbf{y})(\\mathbf{y} - \\mathbf{x})]}_{\\text{来自假数据的排斥力}}$$\n\n**拆解：**\n* $\\mathbf{x}$：当前生成的样本（一个向量）。\n* $p$ 和 $q$：分别是真实数据分布和生成数据分布。\n* $K(\\mathbf{x}, \\mathbf{y})$：**核函数（Kernel）**。它的作用是“权重分配”。\n * 如果 $\\mathbf{x}$ 和 $\\mathbf{y}$ 很远，权重就很小；如果很近，权重就很大。\n * 这保证了：一个生成的“猫”只会被附近的“真猫”吸引，而不会被远处的“真卡车”吸引。\n* $(\\mathbf{y} - \\mathbf{x})$：**位移矢量**。告诉样本 $\\mathbf{x}$ 应该往 $\\mathbf{y}$ 的方向挪多少（x->y）。\n\n**为什么这个公式有效？**\n它具有**反对称性**：$\\mathbf{V}_{p,q} = -\\mathbf{V}_{q,p}$。\n当 $p = q$ （生成的和真的一样）时，$\\mathbf{V} = 0$。这就意味着系统达到了**平衡态**。\n\n\n\n```python\n# compute_drift\ndist = torch.cdist(gen, targets) # 计算所有点对之间的距离\n# Mask self: 自己不能排斥自己，将对角线距离设为无穷大\ndist[:, :G].fill_diagonal_(1e6) \n# 计算核权重：距离越近，权重越大 (exp(-d/T))\nkernel = (-dist / temp).exp()\n```\n\n```python\n# 代码逻辑简化版\n# targets 包含了 [生成的样本 (neg), 真实的样本 (pos)]\n\n# 归一化核函数 (类似 Softmax 的分母)\nnormalized_kernel = kernel / normalizer \n\n# 计算正向力（吸引）：来自 targets[G:] (即真实数据 pos)\npos_coeff = ... \npos_V = pos_coeff @ targets[G:] \n\n# 计算负向力（排斥）：来自 targets[:G] (即生成数据 gen)\nneg_coeff = ...\nneg_V = neg_coeff @ targets[:G]\n\n# 最终漂移向量 = 吸引 - 排斥\nreturn pos_V - neg_V\n```\n\n![image|514x500](/uploads/image/29/28/2928be9d73389e6cabacb104db24dab4e72a7de39165b5e2e7c03ac05bc638e7.avif)\n\n---\n\n### 训练：梯度下降\n\n在扩散模型中，我们训练神经网络去预测速度场；在 Drifting Models 中，我们训练神经网络 $G_\\theta(z)$ 去直接生成图像，而**优化的目标**就是让漂移场消失。\n\n**训练步骤（每一轮迭代）：**\n1. **采样**：从数据集中取一批真图 $Y^+$，用生成器造一批假图 $Y^-$。\n2. **计算力场**：对每一张假图 $x \\in Y^-$，根据上面的公式计算它受到的总力 $\\mathbf{V}$。\n3. **更新生成器**：\n * 我们的目标是让假图 $x$ 顺着 $\\mathbf{V}$ 的方向移动。\n * 在代码实现中，损失函数（Loss）通常可以简化为让生成的 $x$ 靠近 $x + \\eta \\mathbf{V}$ （其中 $\\eta$ 是步长）。\n * **关键点**：随着训练进行，$q$ 不断变化，$\\mathbf{V}$ 也在不断更新。这就像是一个动态的脚手架，随着楼越盖越高，脚手架也在往上搭。\n\n\n```python\ndef drifting_loss(gen: torch.Tensor, pos: torch.Tensor, compute_drift):\n \"\"\"\n gen: 生成的假样本 (batch_size, dim)\n pos: 真实的真样本 (batch_size, dim)\n \"\"\"\n with torch.no_grad():\n # 1. 计算漂移场 V，告诉 gen 应该往哪挪\n V = compute_drift(gen, pos)\n # 2. 设定目标 target = 当前位置 + 漂移量\n # 注意：这里使用了 .detach() (stopgrad)\n target = (gen + V).detach()\n \n # 3. 损失函数：让生成器下次直接输出到 target 的位置\n return F.mse_loss(gen, target)\n```\n\n---\n\n### Feature Space\n\n如果直接在**像素（Pixels）** 级别算这个力场，效果会很差。为什么？\n* 像素空间维度太高（256x256x3 = 19 万维）。\n* 两张猫的图片即使语义相似，如果像素平移一个单位，它们在像素空间的距离也会变得非常远。\n\n**解决方案：**\n不直接对比像素，而是利用 **MAE（Masked Autoencoder）** 或类似的预训练模型，将图片转化为**语义特征（Features）**。\n* 在特征空间计算漂移场 $\\mathbf{V}$。\n* 特征空间更能捕捉“这有一只猫”这样的高层信息，让吸引力和排斥力变得更有意义。\n* 这就解决了 GAN 容易出现的“模式崩溃（Mode Collapse）”问题，因为特征空间提供了全局的分布约束。\n\n---","cooked":"\n\n\n

这篇论文 《Generative Modeling via Drifting》（通过漂移进行生成建模）由 邓明扬 等人（包括 何恺明 ）发表。

在当前的生成模型领域，主要有两种主流范式：

扩散模型/流匹配（Diffusion/Flow-based Models）： 它们效果非常好，但生成图像时通常需要迭代推理（例如 Euler 求解器），即需要多次网络评估（NFE, Neural Function Evaluation）才能得到一张高质量图像，这使得生成速度较慢。
GANs（生成对抗网络）或 VAEs（变分自编码器）： 它们可以实现单步生成（1-NFE），速度极快，但在生成超高质量、高复杂度的图像（如 ImageNet 256×256）时，往往难以达到扩散模型那样的稳定性和图像多样性。

问题： 如何在保持单步生成（1-NFE）高速度的同时，达到甚至超越扩散模型的高质量？

漂移模型 (Drifting Models)：生成建模本身就可以看作是一个“演化”的过程。

$\"image\"$

论文定义了一个“漂移场” $\\mathbf{V}_{p,q}(\\mathbf{x})$ 。

想象生成样本 $\\mathbf{x}$ （来自当前的生成分布 $q$ ）就像是在一个空间里移动的粒子。
数据样本 $\\mathbf{y}^+$ （来自真实数据分布 $p$ ）是吸引子（attractors）。
生成样本 $\\mathbf{y}^-$ （来自当前生成分布 $q$ ）是排斥子（repulsors）。
漂移场的物理意义： 告诉生成样本如何从当前位置“漂移”到更接近真实数据的位置。

与扩散模型将迭代过程放在推理阶段（生成时）不同，漂移模型将迭代演化过程放在了训练阶段。

训练即演化： 随着训练的进行（通过 SGD 优化），模型参数更新，生成分布 $q$ 也在不断变化。
目标： 我们希望找到一个模型，使得当训练结束时，漂移场 $\\mathbf{V}$ 趋近于零。这意味着生成分布 $q$ 已经与真实数据分布 $p$ 达到“平衡状态”（Equilibrium），即不再需要进一步漂移。
单步生成： 因为训练过程已经把“漂移”的方向和规则嵌入到了神经网络中，所以在推理（生成）时，只需要模型一次前向传播，就能直接映射出高质量的样本。

漂移场（Drifting Field）

在 Drifting Models 中，作者设计了一套物理规则，让生成出来的样本自己知道该往哪里挪。

想象一个场景：
\n有一群真蝴蝶（真实数据分布 $p$ ）和一群假蝴蝶（生成分布 $q$ ）。

每一只“假蝴蝶”都感受到两股力：\n
1. 吸引力：附近的“真蝴蝶”把它往真分布的方向拉。
2. 排斥力：附近的“假蝴蝶”把它往外推（防止大家都挤在一起，保证多样性）。
\n
当这两种力达到平衡时，假蝴蝶的分布就和真蝴蝶一模一样了。

这是论文的核心公式。定义在位置 $\\mathbf{x}$ 处的漂移场 $\\mathbf{V}_{p,q}(\\mathbf{x})$ ：

\n\\mathbf{V}_{p,q}(\\mathbf{x}) = \\underbrace{\\mathbb{E}_{\\mathbf{y} \\sim p} [K(\\mathbf{x}, \\mathbf{y})(\\mathbf{y} - \\mathbf{x})]}_{\\text{来自真数据的吸引力}} - \\underbrace{\\mathbb{E}_{\\mathbf{y} \\sim q} [K(\\mathbf{x}, \\mathbf{y})(\\mathbf{y} - \\mathbf{x})]}_{\\text{来自假数据的排斥力}}\n

拆解：

$\\mathbf{x}$ ：当前生成的样本（一个向量）。
$p$ 和 $q$ ：分别是真实数据分布和生成数据分布。
$K(\\mathbf{x}, \\mathbf{y})$ $K (x, y)$ ：核函数（Kernel）。它的作用是“权重分配”。\n
- 如果 $\\mathbf{x}$ 和 $\\mathbf{y}$ 很远，权重就很小；如果很近，权重就很大。
- 这保证了：一个生成的“猫”只会被附近的“真猫”吸引，而不会被远处的“真卡车”吸引。
\n
$(\\mathbf{y} - \\mathbf{x})$ ：位移矢量。告诉样本 $\\mathbf{x}$ 应该往 $\\mathbf{y}$ 的方向挪多少（x->y）。

为什么这个公式有效？
\n它具有反对称性： $\\mathbf{V}_{p,q} = -\\mathbf{V}_{q,p}$ 。
\n当 $p = q$ （生成的和真的一样）时， $\\mathbf{V} = 0$ 。这就意味着系统达到了平衡态。

# compute_drift\ndist = torch.cdist(gen, targets) # 计算所有点对之间的距离\n# Mask self: 自己不能排斥自己，将对角线距离设为无穷大\ndist[:, :G].fill_diagonal_(1e6)  \n# 计算核权重：距离越近，权重越大 (exp(-d/T))\nkernel = (-dist / temp).exp()\n

# 代码逻辑简化版\n# targets 包含了 [生成的样本 (neg), 真实的样本 (pos)]\n\n# 归一化核函数 (类似 Softmax 的分母)\nnormalized_kernel = kernel / normalizer \n\n# 计算正向力（吸引）：来自 targets[G:] (即真实数据 pos)\npos_coeff = ... \npos_V = pos_coeff @ targets[G:] \n\n# 计算负向力（排斥）：来自 targets[:G] (即生成数据 gen)\nneg_coeff = ...\nneg_V = neg_coeff @ targets[:G]\n\n# 最终漂移向量 = 吸引 - 排斥\nreturn pos_V - neg_V\n

$\"image\"$

训练：梯度下降

在扩散模型中，我们训练神经网络去预测速度场；在 Drifting Models 中，我们训练神经网络 $G_\\theta(z)$ 去直接生成图像，而优化的目标就是让漂移场消失。

训练步骤（每一轮迭代）：

采样：从数据集中取一批真图 $Y^+$ ，用生成器造一批假图 $Y^-$ 。
计算力场：对每一张假图 $x \\in Y^-$ ，根据上面的公式计算它受到的总力 $\\mathbf{V}$ 。
更新生成器：\n
- 我们的目标是让假图 $x$ 顺着 $\\mathbf{V}$ 的方向移动。
- 在代码实现中，损失函数（Loss）通常可以简化为让生成的 $x$ 靠近 $x + \\eta \\mathbf{V}$ （其中 $\\eta$ 是步长）。
- 关键点：随着训练进行， $q$ 不断变化， $\\mathbf{V}$ 也在不断更新。这就像是一个动态的脚手架，随着楼越盖越高，脚手架也在往上搭。
\n

def drifting_loss(gen: torch.Tensor, pos: torch.Tensor, compute_drift):\n    \"\"\"\n    gen: 生成的假样本 (batch_size, dim)\n    pos: 真实的真样本 (batch_size, dim)\n    \"\"\"\n    with torch.no_grad():\n        # 1. 计算漂移场 V，告诉 gen 应该往哪挪\n        V = compute_drift(gen, pos)\n        # 2. 设定目标 target = 当前位置 + 漂移量\n        # 注意：这里使用了 .detach() (stopgrad)\n        target = (gen + V).detach()\n        \n    # 3. 损失函数：让生成器下次直接输出到 target 的位置\n    return F.mse_loss(gen, target)\n

Feature Space

如果直接在像素（Pixels） 级别算这个力场，效果会很差。为什么？

像素空间维度太高（256x256x3 = 19 万维）。
两张猫的图片即使语义相似，如果像素平移一个单位，它们在像素空间的距离也会变得非常远。

解决方案：
\n不直接对比像素，而是利用 MAE（Masked Autoencoder） 或类似的预训练模型，将图片转化为语义特征（Features）。

在特征空间计算漂移场 $\\mathbf{V}$ 。
特征空间更能捕捉“这有一只猫”这样的高层信息，让吸引力和排斥力变得更有意义。
这就解决了 GAN 容易出现的“模式崩溃（Mode Collapse）”问题，因为特征空间提供了全局的分布约束。

\n","createdAt":"2026-02-06 18:43:51.60437","updatedAt":"2026-02-07 16:00:59.34103","replyToPostNumber":null,"replyCount":0,"likeCount":1,"wordCount":1883,"liked":false,"bookmarked":false,"polls":[],"reactions":[{"reaction":"❤️","count":1,"users":[{"id":2872,"username":"芙蓉湖第一树莓果","name":"RaspberryPi"}],"hasReacted":false}],"wiki":false,"version":3,"publicVersion":3,"deletedAt":null,"isAnonymous":false,"user":{"id":7639,"username":"Zethes","name":null,"avatarUrl":null,"admin":false,"moderator":false,"signatureRaw":"我虽然行过死荫的幽谷，也不怕遭害，因为你与我同在。\n诗篇 23:4","signatureCooked":"

我虽然行过死荫的幽谷，也不怕遭害，因为你与我同在。
\n诗篇 23:4

\n"}}],"hasMore":false,"lastReadPostNumber":2,"hasUrlPostNumber":true}