文章
17
标签
13
分类
6
主页
博文
分类
标签
归档
生活
分享
相册
音乐
影视
友链
留言板
关于笔者
线粒体donut
第六节特征提取与无监督学习
返回首页
搜索
主页
博文
分类
标签
归档
生活
分享
相册
音乐
影视
友链
留言板
关于笔者
第六节特征提取与无监督学习
发表于
2026-01-03
|
更新于
2026-01-31
|
深度学习
|
总字数:
52
|
阅读时长:
1分钟
|
浏览量:
对于输入需要分词
输入的序列前面需要加上cls,,后面需要加上seq。
在这个基础上如果凑不够input的值,,则会填充两个padding。
Bert的参数
文章作者:
线粒体donut
文章链接:
http://example.com/2026/01/03/%E7%AC%AC%E5%85%AB%E8%8A%82Bert%E5%AE%9E%E6%88%98/
版权声明:
本博客所有文章除特别声明外,均采用
CC BY-NC-SA 4.0
许可协议。转载请注明来源
线粒体donut
!
Bert
赞助
微信
支付宝
上一篇
第五节分类任务_食物识别实战
随机种子123456789101112def seed_everything(seed): torch.manual_seed(seed) torch.cuda.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.benchmark = False torch.backends.cudnn.deterministic = True random.seed(seed) np.random.seed(seed) os.environ['PYTHONHASHSEED'] = str(seed)###############################################seed_everything(0)############################################### 数据部分在引用路径时,\被识别成转义字符怎么办?在前面加r 12path = r"C:\Users\a&...
下一篇
第六节特征提取与无监督学习
常见的输入每个词对应一个编码,中文中对应差不多两万多个编码 这就组成了RNNRNN需要考虑前后关系,故需要一个从头穿到尾的传家宝–记忆单元 但其弊端是,如果想要的信息之间距离过远,,RNN就会在传家宝里放一些没有帮助的东西。故引出了LSTM LSTM 但缺点是太慢了,还是需要一个一个读入。故引出了自注意力 自注意力 这样就解决了前两个模型需要查看每一个字导致时间过长的问题。自注意力是完全并行的! 而且自注意力在qkv处理过程中维度不变 自注意力机制在干嘛?自注意机制就是让句子里的每个词,都去 “看” 句子里的其他词,然后把有用的信息 “拿回来”,帮助自己变得更聪明。 QKV是干嘛的?“他告诉小明,他明天要去北京。” Q(Query):我要找谁?我想知道什么?我这个词在寻找和我相关的词时,用什么特征去匹配?是一个 “搜索条件”、一个 “问题”、一个 “需求描述” 比如 “他” 的 Q 可能是:“我是一个代词,我需要找到一个人来指代。” K(Key):我是谁?我能提供什么信息?我这个词能提供什么信息?别人可以用什么方式找到我?是一个 “标签”、一个 “索引”、一个 “联系方式”...
相关推荐
2026-01-31
第九节文字生成
线粒体donut
逆转时间的公式是珍惜当下
文章
17
标签
13
分类
6
后发而先至
公告
这家伙不懒,但依旧什么都没有留下
目录
1.
对于输入需要分词
2.
Bert的参数
最新文章
第九节文字生成
2026-01-31
错误总结
2026-01-16
Django web开发教程
2026-01-16
毕设项目文件介绍
2026-01-13
Matplotlib绘制图像异常
2026-01-09
搜索
数据加载中