深度学习之概率

import torch

from torch.distributions import multinomial

from d2l import torch as d2l

# 构造一个“公平骰子”的概率分布：6 个面的概率都相同（每个面为 1/6）
# 向量计算形式：fair_probs = [1,1,1,1,1,1] / 6 = [1/6,...,1/6]
# 在代码里等价于：torch.ones(6) / 6
fair_probs = torch.ones(6) / 6

print(fair_probs)

# 从多项分布中采样 1 次（等价于掷 1 次骰子）
# 返回 one-hot 形式的结果张量，例如 [0, 0, 1, 0, 0, 0]
# a = multinomial.Multinomial(1, fair_probs).sample()
# print(a)

# 从多项分布中采样 1000 次（等价于掷 1000 次骰子）
# a = multinomial.Multinomial(1000, fair_probs).sample()
# 结果张量 a 中的每个元素表示对应面出现的次数，例如 [167, 169, 168, 164, 167, 165]
# 向量频率计算：a_prob = a / a.sum()，这里 a.sum() = 1000，所以就是 a / 1000
# print(a/ 1000)


# 进行 500 组实验：每组掷 10 次骰子
# 形状为 (500, 6)，每一行是该组实验里 6 个面的出现次数
# 向量视角：counts[g] 是第 g 组的 6 维计数向量，且 counts[g].sum() = 10
counts = multinomial.Multinomial(10, fair_probs).sample((500,))

print(counts)

# 沿着“组数”方向做累计和：第 t 行表示前 t+1 组实验的累计计数
# 向量累计：cum_counts[t] = counts[:t+1].sum(dim=0)
cum_counts = counts.cumsum(dim=0)

print(cum_counts)

# 将累计计数归一化为概率估计值
# cum_counts.sum(dim=1, keepdims=True) 得到每一时刻的总试验次数（10, 20, ..., 5000）
# estimates 的形状仍是 (500, 6)，表示每个时刻对 6 个面的概率估计
# 向量归一化：estimates[t] = cum_counts[t] / cum_counts[t].sum()
# 代码一次性写法：estimates = cum_counts / cum_counts.sum(dim=1, keepdims=True)
estimates = cum_counts / cum_counts.sum(dim=1, keepdims=True)

# 设置绘图尺寸
d2l.set_figsize((6, 4.5))

# 分别绘制 6 条曲线：每条曲线表示某一面的概率估计随实验次数增加的变化
for i in range(6):
    d2l.plt.plot(estimates[:, i].numpy(),
                 label=("P(die=" + str(i + 1) + ")"))

# 画出理论概率 1/6≈0.167 的参考虚线
# 参考线对应 y = 1/6 ≈ 0.1667
d2l.plt.axhline(y=0.167, color='black', linestyle='dashed')
d2l.plt.gca().set_xlabel('Groups of experiments')
d2l.plt.gca().set_ylabel('Estimated probability')
d2l.plt.legend()

# 在脚本模式下，需显式调用 show() 才会弹出图形窗口
d2l.plt.show()

import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import multivariate_normal

# 中文显示设置（常见 Linux/Windows/macOS 字体回退）
plt.rcParams['font.sans-serif'] = [
	'Noto Sans CJK SC', 'Source Han Sans SC', 'WenQuanYi Zen Hei',
	'SimHei', 'Microsoft YaHei', 'PingFang SC', 'Heiti SC',
	'Arial Unicode MS', 'DejaVu Sans'
]
plt.rcParams['axes.unicode_minus'] = False

# 1. 创建联合分布数据 (X 和 Y)
x, y = np.mgrid[-3:3:.01, -3:3:.01]
pos = np.dstack((x, y))
# 设定均值和协方差（让 X 和 Y 有相关性）
rv = multivariate_normal([0.5, -0.2], [[2.0, 0.3], [0.3, 0.5]])

# 2. 绘图
fig = plt.figure(figsize=(12, 5))

# 左图：联合分布 (就像从正上方俯瞰那团云)
ax1 = fig.add_subplot(121)
ax1.contourf(x, y, rv.pdf(pos), cmap='Blues')
ax1.set_title('联合分布 P(X, Y)\n(颜色越深概率越大)')
ax1.set_xlabel('变量 X')
ax1.set_ylabel('变量 Y')

# 右图：边际化过程
# 我们通过在 Y 轴上积分来得到 X 的边际分布
x_axis = np.linspace(-3, 3, 500)
# 简化模拟：边际分布依然是高斯分布
margin_x = np.exp(-(x_axis - 0.5)**2 / (2 * 2.0)) 

ax2 = fig.add_subplot(122)
ax2.plot(x_axis, margin_x, color='red', lw=3)
ax2.fill_between(x_axis, 0, margin_x, color='red', alpha=0.2)
ax2.set_title('边际分布 P(X)\n(忽略 Y 后的结果)')
ax2.set_xlabel('变量 X')
ax2.set_yticks([]) # 边际分布只看形状

plt.tight_layout()
plt.show()