transformer 最简单学习3, 训练文本数据输入的形式

news/2024/5/18 23:29:46

1、输入数据中,源数据和目标数据的定义

def get_batch(source,i):'''用于获取每个批数据合理大小的源数据和目标数据参数source 是通过batchfy   得到的划分batch个 ,的所有数据,并且转置列表示i第几个batch'''bptt = 15  #超参数,一次输入多少个batch 数据,现在数据矩阵,一行表示一个batch, 一共有n个行,  # len(source) - 1 - i  从大往小变化,知道小到bptt,所以seq_len,大部分时间都是bptt 个=15个,最后几个训练才越来越少seq_len = min(bptt, len(source) -1-i)  #一共是列的元素长度,30个,  行是10个,一共三个batch ,# 这是转置过的,现在,就变成30个batch,每个batch 长度是3# 行数错一位,目标数据是原数据向下一位,data = source[i:i+seq_len]# 这里最后会越界,使用view(-1) 保证形状正常target = source[i+1:i+1+seq_len]return data,target #

文本数据,是每个单词对应的索引,需要对数据进行切分成整块的batch, (n行,batch列), 变成竖着的,
(batch行,n列)
然后,横着一个一个 切分成一个个batch数据,下移一个索引获取目标数据,

(n行,batch列)

[A,B,C,D,E,F][G,H,I,J,K,L][M,N,O,P,Q,R],……】

(batch行,n列)
在这里插入图片描述

横着看,每一位 AGMS 对应 BHNT, AB, GH, MN, ST, 是相邻的两个字
在这里插入图片描述


http://www.mrgr.cn/p/21364737

相关文章

创建Android Studio项目

如果想在其他模拟器(如雷电上打开项目,需要提前模拟器)下载好Android Studio后,打开 选择new project 选择自己想用的模板 输入基本信息:项目名称,包命名,版本等 点击finish加载完成后结束

Docker基础——50台容器异常占用宿主机90%内存问题

一、问题描述 一台裸金属服务存有50台业务容器,通过Docker进程起服务,由system-runtime守护容器的生命周期。 free -h查看裸金属服务器内存没有正常释放,cat /proc/meminfo查看内存分配无异常,怀疑裸金属服务器 的Java进程存在Glibc内存泄漏,或Docker容器没有正常关闭进程…

Docker 容器操作

容器创建 就是将镜像加载到容器的过程。 新创建的容器默认处于停止状态,不运行任何程序,需要在其中发起一个进程来启动容器。 格式:docker create [选项] 镜像 常用选项: -i:让容器开启标准输入 -t:让…

LFI to RCE [NewStarCtf]Include

记录一个没见过的RCE类型题目。先看源码:点击查看代码 <?phperror_reporting(0);if(isset($_GET[file])) {$file = $_GET[file];if(preg_match(/flag|log|session|filter|input|data/i, $file)) {die(hacker!);}include($file.".php");# Something in phpinfo.p…

C语言扫雷游戏完整实现(下)

文章目录 前言一、排雷函数菜单二、排雷函数菜单的实现三、拓展棋盘功能四、源码1. test.c源文件2. game.h头文件3. game.c源文件 总结 前言 C语言实现扫雷游戏的排雷菜单&#xff0c;以及功能的实现&#xff0c;拓展棋盘功能&#xff0c;以及源码等。 上半部分的链接地址: C语…

echart 常用属性

echart 常用属性 基础属性 title 左上角标题 legend 每一项的列表 xAxis: x轴上的数据 yAxis: y轴上的数据提示框 tooltip: {trigger: axis},demo地址:https://echarts.apache.org/v4/examples/zh/editor.html?c=line-stack 文字转动 斜着摆放 axisLabel.rotate: 30滚动条 da…

VScode远程连接虚拟机提示: 无法建立连接:XHR failed.问题解决方案

一问题描述 在vscode下载插件Remote-SSH远程连接虚拟机时提示无法建立连接 二.最大嫌疑原因&#xff1a; 我也是在网上找了许久&#xff0c;发现就是网络原因&#xff0c;具体不知&#xff0c;明明访问别的网页没问题&#xff0c;就是连不上&#xff0c;然后发现下载vscode的…

.Net添加了引用,仍然提示找不到命名空间

如图&#xff0c;MyStudy控制台程序引用了一个C#类库MyClassLibrary 代码里也能敲出来using MyClassLibrary&#xff0c;但是build时始终提示找不到命名空间MyClassLibrary 我检查了MyClassLibrary的Assembly&#xff0c;命名空间名称无误 又检查了MyStudy里的引用信息&#x…

three.js实现相机碰撞,相机不穿墙壁、物体

大家好,本文实现了相机碰撞检测,使相机不穿墙壁、物体,并给出了思路和代码,感谢大家~大家好,本文实现了相机碰撞检测,使相机不穿墙壁、物体,并给出了思路和代码,感谢大家~ 关键词:数字孪生、three.js、Web3D、WebGL、相机碰撞、游戏相机 我正在承接Web3D数字孪生项目,…

Windows服务器等保审核安全设置

1.开启账户锁定策略 进入Windows服务器,快捷键“WIN+R”打开运行窗口。输入“gpedit.msc”并点击确定,依次点击“计算机配置”>“Windows设置”>“安全设置”>“账户策略”>“账户锁定策略 示例: *多次登录锁定,可以设置次数多点 2、密码长度最小值建议设置为8…

20-vue组件传参(父传子,子传父)

父传子: 父组件向子组件传入一个参数,可以通过 props配置项,让组件接收外部传过来的数据 1)传递数据 这里需要注意,通过 age = "18"的方式,传递进去的数据是字符类型的,通过动态绑定 :age = "26" 的方式,传递进去的数据是整型类型<!--这里需要注…

状态模式和策略模式对比

状态模式和策略模式都是行为型设计模式&#xff0c;它们的主要目标都是将变化的行为封装起来&#xff0c;使得程序更加灵活和可维护。之所以将状态模式和策略模式进行比较&#xff0c;主要是因为两个设计模式的类图相似度较高。但是&#xff0c;从状态模式和策略模式的应用场景…

XV6源码阅读——进程地址空间

文章目录 前言页表实际情况 前言 一个本硕双非的小菜鸡&#xff0c;备战24年秋招。打算尝试6.S081&#xff0c;将它的Lab逐一实现&#xff0c;并记录期间心酸历程。 代码下载 官方网站&#xff1a;6.S081官方网站 页表 每个进程都有一个单独的页表&#xff0c;当xv6在进程之…

谁动了我的数据?如何防止数据偷偷溜走?

在数字化时代,数据成为了企业核心资产的重要组成部分。然而,随着数据量的不断增长和传输方式的多样化,数据泄露的风险也随之增加。那么,企业该如何保护自己的数据,确保数据安全呢?这里就为大家揭秘有效的数据监控策略。实施实时监控是保护数据的关键。通过安装专业的数据…

HTML+CSS热词设计

HTML+CSS的热词设计效果代码: `<head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initial-scale=1.0"><title>Document</title><style>a {display: block;width: 200px;h…

【漏洞复现】云时空社会化商业ERP系统slogin SQL注入漏洞

漏洞描述&#xff1a; 云时空社会化商业ERP系统slogin存在SQL注入漏洞&#xff0c;攻击者可以通过此漏洞获取数据库敏感信息。 搜索语法: Fofa-Query: app"云时空社会化商业ERP系统" 漏洞详情&#xff1a; 1.云时空社会化商业ERP系统。 2.漏洞POC&#xff1a; …

前端H5动态背景登录页面(下)

最近正好有点儿时间&#xff0c;把之前没整理完的前端动态背景登录页面给整理一下&#xff01;这是之前的连接前端H5动态背景登录页面&#xff08;上&#xff09;&#xff0c;这主要是两个登陆页面&#xff0c;一个彩色气泡&#xff0c;一个动态云朵&#xff0c;感兴趣的可以点…

使用Docker搭建Redis主从集群

文章目录 ☃️前言☃️搭建❄️❄️架构❄️❄️实例说明❄️❄️搭建第一个服务器上的两个实例❄️❄️搭建第二个服务器上的一个实例 ☃️开启主从❄️❄️改配置❄️❄️重启从节点 ☃️验证 欢迎来到 请回答1024 的博客 &#x1f353;&#x1f353;&#x1f353;欢迎来到 …

探索ChatGPT在提高人脸识别与软性生物识准确性的表现与可解释性

概述 从GPT-1到GPT-3&#xff0c;OpenAI的模型不断进步&#xff0c;推动了自然语言处理技术的发展。这些模型在处理语言任务方面展现出了强大的能力&#xff0c;包括文本生成、翻译、问答等。 然而&#xff0c;当涉及到面部识别和生物特征估计等任务时&#xff0c;这些基于文…

Mac 硬盘空间告急,你可以试试这几款免费清理工具 Mac第三方磁盘管理工具 MacBook磁盘工具下载 cleanmymac和appcleaner哪个好

在选购 Mac 时&#xff0c;昂贵的增加自带存储空间成本&#xff0c;往往是让很多购买用户肉痛的选择&#xff0c;因此不少用户在预算有限的情况下&#xff0c;选择配置更倾向于选择更大的运行内存而非存储空间。 这也让 macOS 存储空间捉襟见肘成为不少 Mac 用户头疼的问题&am…