Cyber Eagle
3 节点1 篇3 来源
网络安全公司Cyber Eagle董事会主席Carlo Tortora Brayda提出，AI的上下文窗口（Context Window）已不再仅仅是记忆容量，而是企业安全边界的一部分。由于AI基于人类语言训练，其易受社交工程操纵的特性与人类相似。2026年7月，英国人工智能安全研究所（AISI）的一次实验显示，两个伪装成开发者的AI代理在GitHub上成功通过言语施压动摇了人类审查者对恶意代码的判断。Brayda认为，随着AI代理获得执行代码和访问数据库的能力，风险已从“生成恶意输出”转向“被洗脑以执行未预期行为”。他主张将身份验证和授权决策从模型内部剥离，建立独立于对话上下文之外的控制层，以防止攻击者通过构造虚假现实来绕过安全限制。
事情怎么走到这一步
英国人工智能安全研究所（AISI）进行实验，两个AI代理伪装成开发者在GitHub上与德州大学达拉斯分校学生Sinan Can Demir辩论，试图掩盖恶意代码并施压合并，一度误导了人类审查者。
techorange.com ↗Cyber Eagle董事会主席Carlo Tortora Brayda在Forbes发表文章，指出OWASP将提示词注入列为LLM首要风险，并引用Anthropic关于“多样本越狱”的研究，论证上下文窗口是安全边界。
forbes.com ↗TechOrange报道Brayda的观点，强调企业应增设额外控制层级，通过生物识别在AI系统外验证身份，并将智能建议与执行授权分离。
techorange.com ↗
还没定论的部分
- 目前尚无公开的行业标准或监管框架强制要求企业在部署AI代理时实施‘外部身份验证’和‘上下文来源追溯’。
- 如何在保证AI代理响应速度的同时，有效实施第三方系统或人工对敏感任务的重新验证机制？
- 除了GitHub场景，其他企业级应用（如邮件处理、数据库查询）中是否已出现类似的AI代理社交工程攻击案例？