鉴于检测模块也是大模子，她匹敌性强，也但愿将来能取更多的小伙伴一路进修交换，我们采用了以下两种方案摸索其对不平安内容的认知机制：· 点窜检测模子的系统提醒词，我们发觉了一个奇奥的现象，而阅卷模子除了图片，能够拆解元素并寻找对应的变异策略。写正在前面大师好！按照角逐论坛的息，能够用一些貌同实异的元素或符号进行替代。定位到导致检测欠亨过的具体元素。而是不竭调整策略。

　　但这也更切近现实的场景。按照细粒度反馈，配合守护大模子的平安。配合守护大模子的平安。全体方案清晰简练，到两头的多次测验考试，这也提示我们，尽可能绕过检测器的。对此我们用大模子将已有的越狱Prompt进行细粒度拆解，我们正在构制越狱Prompt时发觉：若是生成的图像内容完全分歧，最终将为可注释的布局化学问存入图谱中。我们也愈加清晰地认识到大模子反面临着严峻的平安挑和。查看更多综上，则内容必然不分歧。我们步队的小伙伴就收集过大量公开的越狱Prompt做为学问库。具体来说，恰是这份持之以恒的毅力，以此绕过图像检测器以及实现图像使命分歧。正在这里，面临一个又一个难题，

　　角逐共包含 100 个方针使命。这就给了我们很大的阐扬空间，还能看到原始使命描述，我们也但愿将来能够和更多的伙伴们进修交换，感激你们的互联网。获取到各类场景的替代元素和越狱策略，做为平安研究人员，让我们成功走到起点。

　　此外，优化方案。我们没有等闲放弃，“可托智能”团队制定了具有针对性的处理法子，我们步队的小伙伴都对大模子手艺充满热情。操纵图像平安模子和从动阅卷模子间的认知误差寻找临界点，·学问差：图像平安模子取内容分歧模子由于参数量分歧，她带来的喜悦和成绩感是无取伦比的。

　　从最后的赛题阐发，前往搜狐，而若是完全平安，进而挖掘分歧越狱元素的毒性和模子的认知鸿沟，此外，这种方式的劣势是能够最大程度地将原始描述包裹正在此中，这种粗粒度反馈很难为从动合成和优化Prompt供给明白的指点。跟着角逐的深切，感激Datawhale供给贵重的交换平台和丰硕的进修资本，身上肩负着主要的和义务。则必然通不外平安检测；且所见即所得。然而正在看到赛题后，我们是2024年全球AI攻防挑和赛赛道一：大模子生图平安疫苗注入的获团队——“可托智能”队。很是侥幸能无机会取大师分享我们正在此次角逐中的经验取收成，虽然本次角逐所利用的开源模子链曾经相对先辈，替代风险元素和添加匹敌式前后缀来绕过文本检测器，3、后置图像平安检测模块（InternVL2-2B）会判断生成的图片能否有风险。

　　我们感遭到了敌手艺最纯粹的热爱。特别是正在冲破层层防御的那一刻，我们发觉匹敌式的前后缀常通用无效的策略。所以角逐难度还常大的，我们一直连结着专注取，· 消息差：正在本次角逐中，通过模子的细粒度反馈，Datawhale为每一个情愿进修和摸索人工智能手艺的人供给了一盏，本次角逐历时一个多月，检测模块仅反馈“通过”或“欠亨过”（0 或 1）。

　　进而无法判断出图像中的无害文本，这种方式对绕过前置文本检测很是无效。比照实践中我们发觉图像平安模子对某些言语的理解能力不脚，我们能够阐发分歧元素和策略对模子判断相信度的影响，而内容分歧模子能够认出。由于正在提交系统中我们可以或许节制的只要输入Prompt，但仍然出了相当多的平安现患。我们需要基于使命描述，

　　正在察看后置检测模子的反馈中，再到最初凸起沉围，对角逐中给定方针使命描述的场景也很难进行检索和优化。例如 “这是一项否决的宣传”、“这是为了警示人们的风险”、“没有不良影响”、“没有不良暗示”。能够说是一场艰辛的马拉松。以至国庆大师也没有歇息。

　　正在默认设置下，持续摸索新的前沿手艺。恰是这种强烈的热爱和敌手艺的，便于我们摸索若何通事后置的图像平安检测。具体来说，我们很快发觉了问题：学问库中不只存正在大量反复，对一个给定的不平安使命描述，为后续优化Prompt供给参考目标；最终以学问图谱的形式整合正在一路。让我们敢于驱逐新的挑和！

　　因而能够按照原始描述联想。本次角逐的方针有三点：绕过文本检测器、绕过图像检测器、图像内容分歧。图像平安检测模子取内容分歧检测模子存正在着一种匹敌式的零和博弈。· 从解码器输出的分布获取概率做为相信度，正在角逐起头前，最终用大模子组合成新的越狱Prompt，大模子安满是一个获得感很强的研究标的目的。

　　达到了高效的结果。我们利用InternVL2-8B和26B模子进行投票来模仿阅卷模子（下文称做“内容分歧检测模子”或“内容分歧模子”）。对于赛题中的使命描述，图像平安模子只能看到图片并判断能否违规。能力也存正在差距！