当前位置：首页 > news >正文

AI学习指南深度学习篇-权重正则化Python实践

news 2025/5/4 22:31:08

AI学习指南深度学习篇 - 权重正则化Python实践

引言

在深度学习的研究与应用中，如何提高模型的泛化能力是一个永恒的话题。权重正则化是一种常见且有效的方法，它可防止模型在训练集上过拟合。本文将深入探讨权重正则化的概念，并通过Python中的 TensorFlow 和 PyTorch 深度学习库提供示例，演示如何使用权重正则化技术。

什么是权重正则化？

权重正则化（Weight Regularization）是通过在损失函数中加入一个惩罚项，以限制模型权重的大小。最常见的权重正则化方法有：

L1 正则化：通过对权重的绝对值加和进行惩罚，促进稀疏性。

$\text{ Loss} = \text{Loss} + \lambda \sum |w_i|$

L2 正则化：通过对权重的平方和进行惩罚，限制权重的大小。

$\text{ Loss} = \text{Loss} + \lambda \sum w_i^2$

其中， $\lambda$ 是正则化强度的超参数。

权重正则化在 TensorFlow 中的实现

1. 安装 TensorFlow

首先，确保你的环境中已经安装了 TensorFlow。如果未安装，可以使用以下命令：

pip install tensorflow

2. 数据集准备

在本示例中，我们将使用经典的 MNIST 手写数字数据集。

import tensorflow as tf
from tensorflow.keras import layers, models
from tensorflow.keras.datasets import mnist# 加载数据集
(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0# 数据检查
print("Training data shape:", x_train.shape)
print("Test data shape:", x_test.shape)

3. 构建模型

以下是一个简单的包含 L2 正则化的全连接网络。

from tensorflow.keras.regularizers import l2def build_model():model = models.Sequential()model.add(layers.Flatten(input_shape=(28, 28)))model.add(layers.Dense(128, activation="relu", kernel_regularizer=l2(0.01)))model.add(layers.Dense(10, activation="softmax"))return modelmodel = build_model()
model.compile(optimizer="adam",loss="sparse_categorical_crossentropy",metrics=["accuracy"])

4. 模型训练与评估

接下来，我们将训练模型并评估其性能。

# 训练模型
model.fit(x_train, y_train, epochs=5)# 评估模型
test_loss, test_acc = model.evaluate(x_test, y_test, verbose=2)
print("\nTest accuracy:", test_acc)

5. 调整正则化参数

通过调整 L2 正则化的超参数来观察不同的效果。

def build_model_with_param(lambda_value):model = models.Sequential()model.add(layers.Flatten(input_shape=(28, 28)))model.add(layers.Dense(128, activation="relu", kernel_regularizer=l2(lambda_value)))model.add(layers.Dense(10, activation="softmax"))return model# 测试不同的正则化参数
for lambda_value in [0.001, 0.01, 0.1]:print(f"Training with L2 Regularization: λ = {lambda_value}")model = build_model_with_param(lambda_value)model.compile(optimizer="adam",loss="sparse_categorical_crossentropy",metrics=["accuracy"])model.fit(x_train, y_train, epochs=5, verbose=0)test_loss, test_acc = model.evaluate(x_test, y_test, verbose=0)print("Test accuracy:", test_acc)

权重正则化在 PyTorch 中的实现

1. 安装 PyTorch

确保已经安装 PyTorch。可以在 PyTorch 官网获取安装命令。

2. 数据集准备

与 TensorFlow 相似，我们使用 MNIST 数据集。

import torch
from torch import nn
from torchvision import datasets, transforms# 数据转换
transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))])# 加载数据集
trainset = datasets.MNIST(root="./data", train=True, download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True)testset = datasets.MNIST(root="./data", train=False, download=True, transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=64, shuffle=False)

3. 构建模型

我们编写一个模型并添加 L2 正则化。

class Net(nn.Module):def __init__(self, lambda_value):super(Net, self).__init__()self.fc1 = nn.Linear(28 * 28, 128)self.fc2 = nn.Linear(128, 10)self.lambda_value = lambda_valuedef forward(self, x):x = x.view(-1, 28*28)x = torch.relu(self.fc1(x))x = self.fc2(x)return x# 创建模型
lambda_value = 0.01
model = Net(lambda_value)

4. 定义损失函数与优化器

在 PyTorch 中，您可以通过自定义损失函数来实现权重正则化。

criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)# 自定义损失函数，加入 L2 正则化
def loss_with_l2_regularization(model, data, target):loss = criterion(data, target)l2_reg = sum(param.pow(2).sum() for param in model.parameters())return loss + lambda_value * l2_reg

5. 模型训练

def train_model(model, trainloader):model.train()for epoch in range(5):  # 训练 5 个周期for images, labels in trainloader:optimizer.zero_grad()outputs = model(images)loss = loss_with_l2_regularization(model, outputs, labels)loss.backward()optimizer.step()train_model(model, trainloader)

6. 模型评估

我们在测试集上评估模型的性能。

def evaluate_model(model, testloader):model.eval()correct = 0with torch.no_grad():for images, labels in testloader:outputs = model(images)_, predicted = torch.max(outputs.data, 1)correct += (predicted == labels).sum().item()print("Test accuracy: {:.2f}%".format(100 * correct / len(testloader.dataset)))evaluate_model(model, testloader)

7. 调整正则化参数

与 TensorFlow 类似，我们可以在 PyTorch 中测试不同的 L2 正则化参数。

for lambda_value in [0.001, 0.01, 0.1]:print(f"Training with L2 Regularization: λ = {lambda_value}")model = Net(lambda_value)optimizer = torch.optim.Adam(model.parameters(), lr=0.001)train_model(model, trainloader)evaluate_model(model, testloader)