摘要
本发明公开了一种基于思维链的多模态有害模因检测方法,所属领域为有害模因检测领域,包括:先获取图文模因并自动生成含问题总结、图像字幕、有害性推理及结论的思维链;据此构建标注数据集;随后分两阶段微调多模态模型,第一阶段全量微调视觉编码器与语言模型以提升图文理解,第二阶段冻结视觉编码器并以LoRA微调语言模型强化推理;再引入强化学习奖励优化隐含有害判别;继而抽取实体关系构建知识图谱与因果图并嵌入模型;最后通过RAG机制动态更新图谱,使检测结果实时适配新兴模因。
技术关键词
视觉特征
图文
构建知识图谱
标签
抽取实体关系
强化学习策略
依存句法分析
动态更新
文本
图像
生成字幕
三元组
可读存储介质
多模态
增量更新
处理器
语义