🚀 AI 项目推荐

8 篇

精选值得关注的 AI 开源项目与创意应用，每篇深度安利一个项目

信息安全

LLM Guard：给大模型应用套上一层可编程的安全扫描器

LLM Guard 是 Protect AI 开源的大模型安全工具箱。它把提示词注入检测、PII 脱敏、敏感词、代码与密钥泄露等能力拆成可组合的扫描器，在模型输入与输出两端各挂一道，让业务代码不必自己实现一整层内容安全。

NeMo Guardrails 是 NVIDIA 开源的对话护栏框架，用可编程的 Colang 语言定义"什么能说、什么不能说、何时切换话题"，在模型前后加上可审计的安全层，企业 AI 合规的守门员。

garak 是 NVIDIA 开源的 LLM 漏洞扫描框架，像网络安全扫描器一样对模型做自动化渗透测试，覆盖提示词注入、数据泄露、有害内容等数十类攻击探针，一行命令出一份安全报告。

Rebuff 是专为防御提示词注入而生的开源框架，通过启发式检测、向量相似度比对与外部 LLM 判定三层防线识别恶意指令，给所有把外部文本喂给大模型的应用加上一道保险。

PyRIT 是微软开源的 AI 红队自动化工具包，用一套可编排的攻击算子持续探测 LLM 的提示词注入、越狱与有害内容边界，把"攻击自己的模型"变成标准化的安全测试流程。

NVIDIA 开源的 AI 智能体安全扫描器，检测 64 种漏洞模式：提示注入、数据泄露、权限滥用。上线前先给 Agent 做个体检。

PentAGI 是一款利用尖端人工智能技术的创新型自动化安全测试工具。该项目专为需要强大且灵活的解决方案来开展渗透测试的信息安全专业人员、研究人员和爱好者而设计。

Strix 是一款自主式人工智能渗透测试代理，其行为与真实黑客无异——它们动态运行您的代码，发现漏洞，并通过实际的概念验证来验证这些漏洞。该工具专为需要快速、准确的安全测试，同时又希望避免手动渗透测试带来的额外工作量或静态分析工具产生的误报的开发人员和安全团队而设计。

欢迎告诉我们，让优秀的 AI 项目被更多人发现。