近日，平安银行社招AI智能体评测工程师。

AI智能体评测工程师

岗位职责：

1.构建智能化全维评估体系

(1)体系设计：主导搭建面向多任务、多模态（文本/视觉/代码）的大模型及智能体自动化评估框架，定义标准化的性能指标（如准确性、鲁棒性、响应延迟、资源消耗）。

(2)场景覆盖：深度覆盖逻辑推理、长文本摘要、复杂指令遵循、多轮对话保持等核心场景，通过量化数据精准刻画模型能力边界。

2.深化安全合规与红蓝对抗(Security&Red Teaming)

(1)主动防御：建立金融级AI安全合规基线，实施全周期的内容风控测试，精准识别偏见歧视、幻觉生成、敏感数据泄露及隐私侵犯风险。

(2)对抗演练：主导红队演练（Red Teaming）与对抗样本攻击测试，模拟极端恶意输入，挖掘模型潜在漏洞，提升系统在复杂对抗环境下的鲁棒性与内容可控性。

3.研发AI效能引擎与自动化平台(AI Efficiency Engine)

包括平台构建等。

岗位要求：

1.教育背景与经验

（1）计算机、人工智能、软件工程、数学或相关专业本科及以上学历。

（2）3年以上软件测试/QA经验，其中至少1-2年专注于LLM、NLP或智能体（Agent）评测领域。

（3）有金融、风控、安全领域AI项目落地经验者优先，具备极强的合规意识。

2.硬核技术技能(Hard Skills)

（1）编程与自动化：精通Python，具备扎实的自动化测试框架开发能力（Pytest）；具备Java代码阅读能力，能与后端研发无缝协作。

（2）LLM原理与架构：深入理解Transformer架构、预训练/微调（Pre-training/Fine-tuning）、上下文学习（In-Context Learning）及推理优化机制；熟悉主流大模型API特性及局限性。

（3）智能体技术栈：深刻理解Agent工作流（ReAct,Chain-of-Thought），熟悉任务规划、工具调用（Tool Calling）、记忆机制及多步推理逻辑。

（4）安全攻防知识等。