我要提问
ARTICLE DETAIL

资讯详情

前沿编程新知与开发实战干货的深度解读。

如何用自己的语料验证「AI 味」:lieflat-less-ai-tone 三个 Python 测量脚本实战教程(含示例命令)

如何用自己的语料验证「AI 味」:lieflat-less-ai-tone 三个 Python 测量脚本实战教程(含示例命令) 如何用自己的语料验证「AI 味」lieflat-less-ai-tone 三个 Python 测量脚本实战教程含示例命令【免费下载链接】lieflat-less-ai-tone一个基于 283 万字语料统计的去 AI 味 skill · An AI-tone removal skill grounded in a 2.83-million-character corpus study项目地址: https://gitcode.com/gh_mirrors/li/lieflat-less-ai-tonelieflat-less-ai-tone是一个基于 283 万字语料统计的去 AI 味 skill它先用量化的方式回答什么是 AI 味再把 AI 痕迹从中文写作里去掉。项目里附带了 3 个 Python 测量脚本你可以把它们换成自己的文章语料亲手复算破折号、不是…而是、提示性冒号这些 AI 味特征在人类文本和 AI 文本中的频率差——无需任何依赖python3直接跑。一、准备工作3 分钟搭好自己的对照语料三个脚本的设计思路一致你提供语料目录脚本负责数。语料要求很简单准备两个目录一个放人类写的文章人类侧一个放 AI 生成的文章AI 侧每个目录下放若干Markdown 文件.md即可脚本会递归读取目录下所有.md目录里如有_meta文件夹会被自动跳过脚本只读文件、不联网、不写任何内容语料留在本地拿到仓库只需要 clone 一份仓库是只读的直接跑git clone https://gitcode.com/gh_mirrors/li/lieflat-less-ai-tone cd lieflat-less-ai-tone⚠️一个决定成败的前提两侧语料的话题与文体要对齐。如果人类侧是博客随笔、AI 侧是技术文档测出来的差异分不清是AI 味还是文体差。这正是项目研究设计里强调的控制项见 README.md 第 1 节。二、脚本 1句层频率对比 scripts/compare-human-ai.py这是最常用的一个把 SKILL.md 规则集里的 12 条触发标记破折号、不是…而是、顿号罗列、提示性冒号、序数词小标题、5 种译文句式等同时跑在人类侧和 AI 侧输出每千汉字频率 倍率 判读结论。示例命令python3 scripts/compare-human-ai.py --human ./corpus/human --ai ./corpus/ai参数说明参数含义说明--human 目录...人类侧语料可传多个目录每个目录独立计算稳定性--ai 目录...AI 侧语料可传多个目录运行后你会得到一张排序表按倍率从小到大每行长这样规则 人类 AI 倍率 稳定性 判读 4 破折号 0.80 2.38 0.33 稳定 AI 明显更多 → 值得改 2 翻案腔 0.22 0.73 0.30 稳定 AI 明显更多 → 值得改 (已删)就字 6.45 2.93 2.20 稳定 人类更多关键看两列倍率 人类频率 ÷ AI 频率。小于 1 说明 AI 用得多越小说明这条AI 味越实稳定性人类侧多个目录内部极差超过 5 倍会标波动大提示差异可能来自个别作者的文体而非人类共性 如果某条规则倍率落在 0.81.25 之间脚本会直接判无差异 → 不该作为规则——这意味着AI 味流行清单里的这一条在你的语料里站不住。三、脚本 2段落层结构检查 scripts/check-structure.py前一个脚本按每千字计频率但有些特征依附于段落结构用字数当分母会被带偏典型反例AI 平均每篇 10 个小标题、人类 12 个按字数算问句小标题会虚高 30 倍。所以段落层特征单独拆了一个脚本分母是段数python3 scripts/check-structure.py --human ./corpus/human --ai ./corpus/ai它测三项指标指标含义连续两句/三句同构每百段段内相邻句子结构指纹逗号数、有无冒号、长度档相同是 AI 常见的排比感来源段首零主语评论占非首段 %新段落直接开评值得注意的是问题在于不指回上文读者要自己翻——这是原研究区分力最强的特征4.4 倍比喻起段每百段对照项实测人类反而更多用来防止删比喻这种方向性错误四、脚本 3译文腔扫描 scripts/check-translationese.py这个脚本只跑单侧通常是 AI 侧统计 20 个英文句法直接移植标记的每千字频率并按文件名自动分模型统计文件名去掉-T数字后缀视为模型名如claude-T001.md→claudepython3 scripts/check-translationese.py ./corpus/ai# 多个模型的语料目录可以一次传入 python3 scripts/check-translationese.py ./corpus/claude ./corpus/deepseek ./corpus/gpt输出表中除了 20 个候选标记还带了 4 条**[基准] 规则**破折号、不是…而是等已确认有区分力的特征。基准行的作用是当收录门槛如果某个译文腔标记在 AI 文本里的频率比基准还低它就不可能是有效的判别特征。五、怎么读结果倍率判读速查表三个脚本共用同一套判定逻辑拿到结果后对照这张表即可倍率人类÷AI判读你能做什么 0.5AI 明显更多 →值得改对应规则可信可加入改写清单0.5 0.8AI 略多保留观察0.8 1.25无差异 →不该作为规则流行清单里的这一条不成立0.8 以下反向 / 3人类更多方向是补不是删注意删掉它反而更像 AI两点提醒都来自 RESEARCH.md 的真实教训先看稳定性列人类侧组间极差超过 5 倍的指标差异多半反映个别作者风格或文体惯例不宜直接采信算子可能过宽正则只匹配字面形态不解析语义。采信任何一条结果前建议抽查 20 条命中实例——原研究正是因此公开记录了 6 次测量失误其中 2 条方向相反六、常见疑问Q结果和 README 里的数字不一样是脚本有问题吗大概率是语料不同。结论具有时效性模型在持续迭代且原研究明确提示若结论不一致先检查两侧话题与文体是否对齐、分母是否与被测单位匹配。Q支持非 Markdown 语料吗目前只读取.md文件。把 txt/网页内容转成 Markdown 再放进目录即可注意保留自然段落空行分段因为段落层指标依赖空行切分。Q需要装依赖吗不需要。三个脚本都只用 Python 标准库re、pathlib等python3直接运行。七、延伸阅读仓库里的关键文件文件内容scripts/compare-human-ai.py句层规则命中率对比算子定义在文件首部可自行增删规则scripts/check-structure.py段落层结构特征同构句、段首零回指评论scripts/check-translationese.py译文腔标记扫描 基准门槛按模型分列SKILL.md去 AI 味改写规则集全文白名单 信息守恒约束RESEARCH.md完整研究方法、26 项特征检验结果与 6 次测量失误记录README.md项目总览与复算说明测完自己的语料之后下一步就是改写把命中规则的句子按 SKILL.md 的白名单清理一遍未命中的文字逐字保留——先量再改AI 味才真正可验、可删。【免费下载链接】lieflat-less-ai-tone一个基于 283 万字语料统计的去 AI 味 skill · An AI-tone removal skill grounded in a 2.83-million-character corpus study项目地址: https://gitcode.com/gh_mirrors/li/lieflat-less-ai-tone创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表