大模型Serving,接入模型只是第一步,还需要构建一个从大模型选择、私域数据供给向量数据库、大模型参数微调、强化学习、提示词工程、语义工程服务、模型部署发布、模型运行监控、模型管理、模型安全服务等全流程技复杂术栈,去支持大模型典型服务应用。这其中的每一个环节,服务云原生发布都需要依赖AI平台。
资料来源:美国知名创投Insight Partners(洞见创投)
入选中国信通院2023
《高质量数字化转型产品及服务全景图》
AI大模型领域
信通院大规模
运营标准参编单位
信通院2023
可信AI案例
2023全球数字经济大会
产业创新成果
国家电网签约的引擎层大模型专业企业头部企业
新华社国重实验室大模型领域战略合作企业
多个大模型项目进入上海资产管理协会合作名单
(天云数据MaaS平台)
天云数据提供国产化GPU异构算力调度、多算法框架兼容、数据标注、及大模型SFT微调(LoRA、P-tuning v2 、Freeze及Prompt-Tuning)等模型发布一体化管理平台、大模型服务(RAG自动化流程、plugin插件、prompt语义工程)、数字人(语音克隆、形象训练、视频生成)、数字空间生成,为AIGC企业提供强大的模型训练能力和应用开发能力。
ELpis基于天云数据多年积累的AI建模能力,为大模型开发者提供一站式模型训练和微调能力,支持对GPU的算力优化、支持大模型的预训练、指令微调、支持ColossalAI \ deepspeed \ Megatron等大模型训练框架。
大模型应用对话过程中会加入生成反馈功能,将用户对生成结果的返回保存并再用于大模型调优,通过这种方式实现大模型的持续优化。此外,Elpis会记录用户与大模型的对话记录,可通过平台对对话记录进行再次标注,从而用于大模型调优。
Elpis允许用户对大模型提示词进行编排和调试,通过预设变量灵活开发大模型应用。此外,使用知识库和插件能力作为大模型能力扩展,增加大模型生成能力。针对不会写提示词的客户推出一键提示词优化,提高提示词生成准确度。
通过将模型与向量数据库结合,可以让模型拥有外部知识能力,可以添加用户个性化数据,并根据策略检索返回,补充大模型知识能力,大模型在回答时可使用这些额外的向量数据做出更精确的判断和回答。
Elpis平台拥有完整的数据标注能力,支持从预处理文本切分到标注和质检的全流程智能数据处理。借助Elpis平台的智能标注能力,用户可以快速完成数据准备并建立向量知识库。
通过智能体特有的“观察-行动-反馈”自我强化机制,融合窄领域大模型的生成和理解能力,在对抗推演环境中进行多智能体的自动化交互,结合向量数据库的多模态智能体记忆流,可自主回溯历史数据并制定高阶行动。通过自主的任务生成、任务排序实现窄场景的开放式预知对抗推演。
使用由大模型驱动的任务生成模型和任务优先级模型对智能体的行为调度,自动对任务的时效性、重要性和相关性等属性进行推理排序执行。技术采用智能体使用记忆机制,基于向量数据对历史和环境内的数据进行存储和获取,整体流程模拟了人类的决策流程中的观察-回忆-计划-执行-记忆。