（通讯员 胡一涛）大语言模型在众多领域展示了其广泛的应用前景和强大的能力，然而其在垂直领域的应用存在知识时效、数据隐私、模型幻觉等多方面的挑战。为了突破通用大模型的局限性，将大模型技术落地服务天大师生，天津大学网络与云计算实验室胡一涛老师团队开发了全国首个高校政策问答大模型“天问”（twen.ai）。作为首个专注于高校政策知识问答领域的大模型，“天问”于2024年4月在智能与计算学部开放内测，并于2024年6月在世界智能大会正式发布，未来有望成为天津大学的基础服务设施，为师生提供精准、智能的信息服务，成为每位天大人的智能助理。
“天问”大模型演示
能力方面，作为智能校园服务的先行者，“天问”致力于实现全方位知识和能力覆盖，无论是科研学术、奖学金申请，还是校内生活的各类需求，“天问”都能够及时、精准地为天大师生提供智能化解答。当前，“天问”已经实现了多主体服务场景支持，能够为学生、教师、职工、校友及校外人士提供多维度政策咨询服务。此外，“天问”拥有联网检索、文档理解与总结、智能问题联想、知识库动态更新等多项核心能力，让天大师生在信息获取和决策过程中更加快速和高效。
“天问”多主体应用场景
“天问”实时网络检索与文档理解演示
性能方面，“天问”大模型实现了模型性能、向量知识库、模块功能及推理引擎的多维性能优化。底层基于千亿参数基础模型结合千万token私有知识库的定制化调优，确保了在高校场景中提供准确的回答。通过向量数据库多级索引优化，“天问”能够高效理解各类政策文件，并借助图数据库构建多层次索引结构，实现高精度的语义理解和匹配。与此同时，语义重排和筛选机制通过对相关知识的二次过滤，进一步保证了出色的准确度与可靠性。
“天问”大模型应用层技术架构
效率方面，开发团队依靠技术优势集成了多项推理引擎优化技术，有效提升了模型服务效率。通过KV Cache多级复用，大幅降低长上下文问答与检索增强场景下的推理时延；采用抢占式细粒度作业调度策略，确保高并发场景中的模型响应速度；进一步设计了大小模型的协同推理部署，定制化小模型负责快速处理关键词提取与问题重写，“天问”大模型则专注于最终的回答生成与上下文压缩，充分利用模型性能优势，实现高效的端到端推理流程。
“天问”大模型推理流程示意
“天问”大模型目前已经实现在天大常识、学生手册、政策制度等方面的知识覆盖，范围涵盖智能与计算学部，微电子学院，化工学院，远程与继续教育学院等十余个学院和部门，总知识条目数超10万条。经过多轮技术迭代和模型升级，“天问”大模型开发团队已成功将技术推广落地于天津市多家政府部门和企业单位。
“天问”大模型开发团队
未来“天问”将持续推进其在政策问答领域的能力和应用，并逐步探索课程推荐、职业规划、学术指导等更多服务场景，实现智能化的校园服务生态，构建师范校园私域大模型先驱。
让“天问”成为你的智能助手，欢迎使用twen.ai，体验智能问答新体验！
