迎接AI大模型新时代——智能安防行业大模型的落地应用与未来发展探讨

2024-07-31 01:11 来源:中国安防协会

“无模型不AI”,当前AI赛道已经进入大模型时代。近两年大模型发展势头迅猛,国内已推出超过百余个大模型,整体生态呈现百花齐放之势。如果我们将国内众多厂商竞相推出大模型产品的阶段视为这场技术竞赛的“上半场”,那么“下半场”比拼的将是场景落地应用。而2024年被普遍认为是大模型应用落地的关键之年。

在过去十年中,人工智能技术一直是安防行业智能化发展的核心驱动力,为行业注入了新的活力和机遇。在深度学习的热潮中,安防是AI应用落地的先行者,当下大模型时代的开启,安防行业再次站在了技术应用的前沿。目前,众多安防企业正聚焦于多模态大模型等关键技术的研究,致力于推动这些技术的产业化应用,助力各行各业实现数字化和智能化的飞跃。本期,我们采访了四家推出大模型产品的行业领军企业的相关负责人,深入探讨智能安防行业中大模型的应用实践、现状,面临的挑战以及未来的发展趋势等,以飨读者。

大模型引领智能安防新未来

大模型被称之为当代人工智能技术的第二次革命,基于生成技术和Transformer网络结构的大模型具备了出色的自然语言处理和推理能力,不仅实现了机器与人类更加自然的交流和合作,而且展现出媲美人类智能的效率和执行效力。在通用人工智能领域,国内外已经形成了 “千模大战”的井喷式局面;而在当代人工智能规模化应用落地最为成熟的安防行业,大模型也已经展露头角,在业内表现出前所未有的活力与潜力。从去年开始,安防领域的头部企业纷纷推出了自家大模型,并开始探索各种可能的落地应用场景,可以预期,大模型将成为智能安防新一轮发展的主导驱动力。

需要强调的是,大模型在智能安防领域的导入,不仅仅是技术层面的简单进步,更是行业应用的一次深刻变革。几年前,基于深度学习的人工智能算法兴起,让机器真正具备像人一样的视觉、听觉、触觉等感知能力,让人工智能成为在安防领域最为成功的落地技术;但人们更希望机器能像人一样进行学习、思考和推理,具备像人一般的认知能力,这正是大模型技术能够带来的历史性变革,也即所谓AI 2.0革命。在智能安防领域,通过利用大模型的语言理解和推理能力,安防业务系统可以更准确地分析和理解人类意图,从而更好地响应和处理各种安全事件。大模型能够与人类进行更加自然和流畅的交互,这在人机对话和交互系统中尤为重要。随着大模型的发展,它们可以融合处理多种模态的安防数据(如文本、图像、声音等),并在解决复杂问题方面充分展现出对跨模态信息的利用潜力,大幅度提升了安防领域中决策制定、逻辑推理、数据治理和问题求解方面的能力。

不仅如此,大模型能够处理和学习海量数据(603138),这增强了它们的学习能力和泛化能力,使它们能够执行更复杂的任务;通过学习和迭代不断提升自身的性能,使得安防技术在适应不断变化的环境中保持高效和精度。大模型赋予了安防系统自我学习与持续优化的能力,使得系统能够根据新的数据和情境不断进化,提升识别准确率和适应性。因此,智能安防正经历一场由大模型驱动的技术革命,大模型的应用正在颠覆安防行业的底层逻辑,相信不远的将来,“无AI不安防”的口号,将会升级为“无大模型不安防”的事实。

三大类新兴大模型算法

具备较强落地潜质

目前在安防领域,我们认为有三大类新兴的大模型算法具备较强的落地潜质:

一是多模态大模型。在视觉大模型的基础上,多模态大模型能够处理和理解多种不同类型的数据,如文本、图像、音频、视频等。它们通过整合不同模态的信息来提高对复杂任务的处理能力;无论是在事前、事中还是事后的分析中,多模态信息的融合并得益于大模型的海量参数,将帮助安防人员获得对场景更全面和更准确的理解和深入洞察,进而帮助他们做出更明智的决策。不同角度的多模信息反馈也使得多模态大模型能够适应不同的环境和条件变化,从而提供更稳定的安防性能。不仅如此,大模型原生的对文本语言的理解能力,能够帮助模型更好地理解其它模态数据,如图像或视频之间的关联和上下文信息。可以相信,随着技术的不断成熟和市场的逐步验证,多模态大模型正在成为智能安防领域的关键技术,并在智能安防领域扮演越来越重要的角色。

二是行业语言大模型。有别于通用人工智能(AGI)中的语言大模型(LLM),行业语言大模型是典型的垂直领域大模型,专注于各安防相关行业应用。通过在特定行业的语言数据上进行训练,能够更准确地理解和处理行业术语和上下文。行业语言大模型在智能安防领域内通过提供更深层次的理解和分析,增强了安防系统的性能,同时也为安防行业带来了创新的解决方案和业务模式,从而提高了安防系统的智能化水平。

三是基于DiT技术的图像视频生成大模型。在通用人工智能领域,人们熟知的MidJourney和Sora,都是利用扩散模型生成极为逼真的图像和视频;在安防领域,我们可以充分利用这些生成类大模型,为我们生成各种各样比较稀缺的行业训练数据,从而有针对性的训练一些强烈依赖数据且精度要求极高的小模型。利用大模型的生成数据来训练小模型,将是在短期内解决安防智能应用中长尾效应的一个有效途径。

总的来看,智能安防领域的大模型应用还处于一个起步阶段,目前落地的主要是利用大模型的强大泛化能力、多模态的信息融合能力,用大模型去替代原来的小模型的应用场合,进一步提升算法的准确性和泛化性。更为重要的行业趋势,将是充分拓展大模型在认知方面的能力,将这种类似于人的理解能力应用到行业中,这里面有很大的想象空间。

大模型在云、端、边级的应用

大模型由于体量巨大,对算力和存储要求极高,因此率先在计算和存储资源较为丰富的云上得到实现与应用,这是因为云上的GPU和存储资源无论在硬件存算上,还是在软件框架上,都能为大模型提供很好的支撑,云端大模型的优势在于能够集中处理复杂任务,拥有几乎无限的算力资源,便于模型的持续训练和优化,适用于处理大规模数据和高并发请求的场景,目前云端上的大模型服务和API调用也是最为丰富的。另一方面,最近一段时间以来,随着大模型小型化技术的深入研究,边缘计算的兴起使得大模型能够在靠近数据产生的地方执行计算,减少了数据传输的延迟,提升了处理效率和隐私保护。在边侧出现了一些芯片、系统或是平台,可以支持到10B左右的大模型部署,不少公司推出了大模型安防一体机,集成了所需的硬件和软件,简化了大模型在边缘侧的部署和运维;而端侧大模型的进展使得AI能力进一步下沉至终端设备,如智能IPC设备等,可以支持5B以下的大模型部署,端侧大模型虽然在模型尺寸和计算能力上受限,但通过模型剪枝、量化等技术优化,已能在保持较高精度的同时实时运行在端侧设备上。因此,大模型在安防行业的应用,已经逐渐形成了云、端、边全面布局、深度整合、分级支持的多元化态势。

在完成这一布局的过程中,目前主要的困难来源于大模型对算力和存储的苛刻要求上。与传统的小模型相比,大模型的内存占用量多,算力需求大,因此在原来需要并行同时计算多路(如视频结构化)的安防应用场合下,多个大模型实例的部署,往往超出GPU算力能力和显存容量而无法实现;此外,之前的一些老旧云、边端设备,算力陈旧,不支持现有大模型的Transformer架构,导致虽有算力却无法供大模型使用,也是一个比较棘手的问题。

随着技术的不断进步和应用场景的拓展,大模型部署未来的趋势仍然是云、边、端的跨层级协同,根据不同的应用将大模型的部署灵活设计,从而获得最好的算力利用率。

行业大模型的落地应用挑战

安防行业大模型在场景的落地和应用过程中,目前面临以下一些挑战:

一是大模型所带来的短期收益与初期投入成本的不匹配。大模型对算力的需求,最终是设备成本的需求,在大模型研发初期,开发商不得不投入大量服务器,或是租用大量云上资源,而在安防行业没有找到新的商业模式之前,大模型在短期内不可能带来传统业务销售的爆发式增长。对于每一个安防企业,量入为出,循序渐进的投入大模型的研发才是持久可为的方式。

二是大模型应用模式与传统安防业务解决方案的不匹配。传统安防业务解决方案往往是供应商由多年经验人为设计的固定化流程,这与大模型的智能化与自动化本质上是格格不入的;因此,要充分利用大模型的优势,已有的安防软件、系统、平台不得不做大幅度修改,甚至我们不得不完全重写业务应用和解决方案。

三是用户期望、接受度与当前大模型能力的不匹配。大模型技术本身还处于高速发展和不断迭代的状态,而用户由于对大模型技术的不了解,对大模型进行类似于智慧大脑的拟人类比,对大模型的理解能力往往有过高预期,一旦出现问题,由于大模型缺乏透明和可解释性,用户缺乏合适的应对策略,甚至对大模型技术产生认知偏差,失去信心,进而影响大模型的推广使用。

四是大模型的安全性与合规性尚未标准化。大模型可能面临安全威胁,如对抗性攻击,这可能会影响安防系统的整体安全性,缺乏统一的合规性标准可能会影响大模型的推广和应用。目前,国家网信办已经提出了对互联网上的大模型进行备案的要求,在安防领域,如何对行业大模型进行符合性测试需要有对应的行业标准。

未来重点突破的方向

智能安防行业大模型接下来需要重点突破的是在应用侧的诸多创新,即如何用大模型的能力拓展之前不具备的、更加智能化、拟人化的应用。具体来说有以下几点:

一是让安防系统具备更高级的图像与视频分析能力。随着技术的进步,大模型将进一步提升在视频监控中的智能分析能力,包括但不限于更精细的行为识别、情绪识别、人群密度估计以及异常环境检测。这将使得安防系统能够更加精准地预警潜在安全威胁,提高响应速度和处理效率。

二是通过多模态融合实现更准确的安防服务。未来的大模型会更好地整合视频、音频、文本等多种安防数据,实现跨模态的信息处理和分析,从而在复杂场景下提供更为及时、全面和深入的安全评估。

三是通过对行业知识的分析理解,结合人工智能体技术为行业客户设计各种智能服务。例如:在事后分析阶段,大模型可以帮助快速整理公共安全案件相关数据,包括视频、音频记录和文字报告,提取关键信息,为案件调查和决策提供支持。

四是云边端结合与分布式处理。在大模型的部署和应用方面,继续优化云边端的多层次结合;根据行业的特点,大模型的部署将着重注重本地化和私有云化;同时,为了应对大规模监控网络产生的海量数据,在新的安防系统中,大模型将会更多地采用边缘计算技术,实现数据的本地化处理和即时分析,减少数据传输延迟,提高系统响应速度,并有效保护用户隐私。

苏州科达KD-GPT大模型的落地实践

在这轮AI浪潮下,苏州科达(603660)关注的是行业垂域大模型的落地,以及如何催生出新的应用,以造福我们的行业用户。苏州科达在2023年就发布了KD-GPT大模型,KD-GPT不是单一的大模型,而是包含了前文所说的多模态大模型、行业语言大模型和图像视频生成大模型等多个大模型的组合。目前,多模态大模型已经在多个视频和图像的异常检测、开集目标检测应用中发挥了重要作用,解决了过去小模型难以实现的问题。在图像/视频结构化的智能分析应用中,传统算法将结构化内容需要限制在特定标准或范围内,使用方式也较为固定,在复杂环境适应性、跨模态信息融合、通用语义理解方面存在不足,具备较大的提升空间,我们开发了基于多模态大模型的超级结构化智能分析系统,大幅度提升了视频内容和搜索效率,取得较为满意的效果。目前,多模态大模型已经成为苏州科达一个标准的算法服务。

在行业语言大模型方面,我们针对公安、交通、司法等行业的特点,开发了具备相关行业知识的大模型,可以用于行业知识FAQ、信息结构化、数据治理等多个方面的应用。这些垂直领域的大模型,由于专门针对特定领域的数据和任务进行训练,能够深入理解并熟练处理该领域的专业术语、概念和上下文,相比通用模型,在处理相关任务时可能更加高效,减少不必要的计算,从而大幅度降低成本。

除了上面所说的多模态大模型和行业语言大模型的若干应用场景之外,我们认为,基于人工智能体(AI Agents)和交互式访问的业务软件将成为一个趋势。人工智能体可以根据用户的行为、偏好和历史数据,识别用户的意图,提供个性化的服务和建议;通过聊天机器人和语音助手,安防企业能够提供全天候、自动化的客户支持,并处理常见问题提供即时反馈。人工智能体还可以作为智能助手,帮助安排日程、回复邮件、管理任务和提供决策支持。在安防应用的商业智能(BI)领域,人工智能体还可以帮助用户通过自然语言查询来获取数据洞察,交互式进行大数据分析。

长远来看,人工智能体能显著降低安防行业的人力成本,自动化处理大量重复性工作,使企业资源得以重新分配到更高价值的任务上。更为重要的是,人工智能体不仅可以用于前端客户服务,还能渗透到提供服务的企业内部,自动化处理供应链管理、商机管理、人力资源、财务分析等多方面的业务流程,提高安防企业整体运营效率。从这个角度说,基于大模型的人工智能体不仅仅是安防企业的最终产品,更是企业的运营工具。

多模态大模型落地 重塑智能安防新纪元

安防行业是应用AI和多模态大模型的先锋领域。安防从高清化走向智能化阶段,即AI安防1.0。这一阶段,人脸识别、人体ReID、视频结构化、车辆/非机动车结构化等技术是这个时期的重要创新成果。随着安防技术产品在各个领域的广泛应用,长尾算法的需求日益凸显。传统深度学习模型是基于监督学习方法训练出来的,在面临复杂场景时会有很多约束和限制,这导致了过去几年间尽管AI安防取得了一定进展,但在实际应用落地效果上并未完全达到预期效果。现在,随着大模型时代的到来,我们进入了AI安防2.0。基于Transformer架构的多模态大模型,颠覆了传统安防行业的碎片化特点,并展现出以下三个主要特征:

一是“会思考”。多模态大模型不再像过去一样只是某种算法、某种工具,而是呈现出助手、智能体的特征,让机器看一遍视频,它能够准确识别视频中的内容,将机器看视频的能力转化为直观的算法,为行业带来革命性的变革。

二是“可对话”。人们使用多模态大模型的过程更像与另外一个人交流。用户可以通过语义搜索和语音指令调取视频,例如仅需简单地说出“请调取有积水的点位视频”,系统便能迅速响应,展现所有相关的视频片段。这一功能极大地提升了指挥调度的效率,节省了宝贵的决策和调度时间。

三是“能进化”。不能根据用户和环境而进化的智能系统是工具,不是真智能。真正的智能系统能够根据用户需求和环境变化进行自我进化。以依图天问大模型为例,它支持现场算法训练,能够根据实际应用需求快速迭代和优化。一个新的算法需求可以在1分钟内实现0样本冷启动,1小时内完成在线标注训练,并在1天内快速上线,展现了前所未有的智能化和灵活性。

因此,多模态大模型使视觉和语言的模型归一,统一了物理世界和认知世界的底层框架,让多模态的信息之间可以无差别表示和无缝转换,为大模型的人机交互模式、产品迭代模式、服务运营模式提供了更多的可能性。AI 2.0走向安全生产、走向基于数据和算力驱动的智慧运营,是未来安防行业发展的方向。

数据、算法、算力的挑战与解决方案

“数据、算法、算力”构成了人工智能的三大要素,大模型在安防行业落地过程中,首先,数据是AI的基础,但目前大量数据沉睡在硬盘中未能得到有效利用。现有的视频结构化技术对数据的挖掘能力有限,无法满足精细管理的识别需求。为了解决这个问题,多模态大模型的引入成为了关键。多模态大模型能够识别视频中的内容,不管是小猫大狗塑料袋,还是公园天桥菜市场,不管是刀具横幅行李箱,还是电瓶车带煤气罐,都可以精准识别,从而唤醒沉睡的数据,为安防领域带来更丰富的信息。

其次,算法是AI的大脑,其需求本质上来源于业务需求,而非厂商实验室的设想。因此,算法的开发和应用天然就需要与实际业务环境紧密结合。依图天问大模型提供了算法现场训练的能力,可以快速响应精细化管理需求,一个新的算法需求可以实现快速上线。这不仅符合数据合法保护的要求,同时也满足了业务对算法时效性的需求,确保算法能够快速响应并适应变化。

第三,算力成本是决定 AI 大模型应用规模的关键因素。当前高昂的算力成本限制了大模型的广泛应用。在模型调优上,依图基于视频监控场景做语义调优,同时行业首款xPU融合架构的服务器把低成本的内存虚拟化为显存统一寻址,从而在整体上达到了万倍性能提升、百倍成本下降。

综上所述,面对大模型落地应用过程中“数据、算法、算力”的挑战,多模态大模型、算法现场训练以及超融合架构的软硬件优化是目前较为有效的解决策略。这些方案有助于推动安防大模型的落地应用,提高人工智能在安防领域的实用性和效率。

除了数据、算法、算力这三大核心要素外,大模型在场景落地和应用过程中还存在一些挑战和困境:一是技术与现有安防系统的兼容性问题,需要确保新技术能够无缝集成到现有的基础设施中;二是用户接受度问题,特别是对于新兴技术的适应和信任;三是法规和标准滞后于技术发展,可能导致应用上的不确定性和合规风险。还有跨领域技术整合的复杂性,这需要多学科知识和技术的融合;四是商业化落地难题,尤其是在高度定制化和成本控制方面,需要找到平衡点以实现可持续的商业模式。解决这些问题需要行业内外的共同努力,包括政策支持、行业协作、技术研发和市场教育等。

大模型落地应用正迅速推进

得益于大模型的深度内容理解、广泛的适应性与场景泛化能力,以及更自然的人机交互体验,智能安防领域的大模型落地应用正迅速推进。作为人工智能领域的资深从业者,依图在2023年7月首个发布“天问”多模态大模型,这一创新成果目前已在全国几十个项目中部署实战,它在视频语义搜索、万物识别、AI智能体编排以及算法零样本冷启动等方面展现出巨大潜力。在具体场景中,公共安全、智慧城市建设、智慧交通、内容审核和智慧园区、智慧应急等方向的应用进展显著,这些领域对视频分析、行为识别和实时反应的需求不断增长。以2023年下半年西部某省份发生的烈性犬伤人事件为例,城运中心的工作人员面临快速生成烈性犬检测算法并布控到城市公共区域的挑战。如果采用常规深度学习的算法训练方法,要求数据搜集、标注、训练,一个新算法的产生至少需要半个月,这严重影响了管理的时效性。而基于多模态大模型的算法训练方法大大简化了这一过程。预训练的大模型基座带来近70%的准确性,工作人员在预警处置的过程中仅需简单点击预警的对错,不到5天的时间就可以完成超过90%的算法准确率。现场生产新算法的能力展现了惊人的速度和灵活性,有效保障了公共安全。这种以用户需求为核心,以技术创新为驱动的策略,是推动AI 2.0发展的关键动力。随着技术的不断进步,预计未来智能安防的大模型将在更多细分市场和复杂场景中发挥关键作用,特别是在需要高度个性化和动态适应性的场景中,大模型的应用将更具潜力。

智能安防行业大模型发展前景可期

智能安防行业的大模型正处在突破性发展的前夜,其发展趋势和前景十分广阔。随着大模型技术的进一步发展,特别是多模态大模型的应用,促使安防系统正从传统的视觉监控向更深层次的内容理解、场景适应性和人机交互发展。未来的智能安防将更加注重数据和算力的结合,推动传统安全防范到安全生产管理的转变,以及智慧运营的实现。在这样的趋势指引下,依图在当前新一轮AI浪潮下将聚焦技术创新和产品落地的深度融合,加强多模态大模型技术与领域知识深度结合的产品与方案,打造更懂行业、更懂客户、更懂场景、更易使用的产品,助力“AI+”能更快地在各行业落地,拓展人工智能新疆界,开启视频情境理解的新纪元!

大模型落地 为行业带来变革与机遇

随着新一轮人工智能应用热潮的掀起,在智能安防领域,大模型的发展被视为实现更高效、精准和自动化安防系统的关键驱动力。这主要基于以下几个方面的进步:

一是数据处理能力提升。大模型能够处理和理解海量的多模态数据(如图像、视频、音频等),从而提供更全面、准确的安全分析和预测。

二是跨场景应用。大模型具有泛化能力,可以在不同的环境和场景中通用,减少了针对特定应用开发模型的需求,节省了时间和成本。这对于安防系统来说尤其重要,因为它意味着一个模型可以同时适用于住宅、商业区、公共交通等多种不同场所。

三是自适应性和自主性增强。借助大模型,安防系统能够自我调整和优化,以适应不断变化的环境。例如,通过持续学习,系统可以逐渐了解用户的习惯和生活模式,并自动调整警报阈值,避免误报或漏报。

四是人机协同与决策支持。大模型可以为安全人员提供辅助决策的信息,帮助他们更快地做出反应。

大模型落地给行业带来的变化

当前新一轮AI应用的核心是“小模型+大模型”,小模型实现预警,大模型实现认知与决策。目前大模型技术已经成功应用于多个场景,包括安防监控、门禁系统、人脸识别、车辆识别等,涵盖了对人员、车辆和物品的全面智能化管理和控制。大模型的应用给行业带来了重要的影响与变化。

大模型技术的引入极大提升了安防效率。这一技术的核心优势在于其强大的实时响应能力。以往的安防系统预警后往往需要人工干预才能发现和解决问题,而大模型技术则允许系统自动分析数据流,并在第一时间作出适当的反应。这种快速的响应能力对于应对突发事件至关重要,有效提高了安防系统的整体效率。

大模型技术的应用还带来了另一个显著的变化——个性化定制服务。基于用户的独特需求和偏好,智能安防系统能够提供量身打造的服务,比如根据用户的历史行为数据进行智能推荐,或者通过行为分析来识别异常活动。这样的个性化服务不仅提升了用户的满意度,还有助于优化安防资源的使用效率。

此外,大模型技术推动了安防行业的创新步伐,为行业发展开辟了新的赛道。它促使安防企业探索更多的技术融合发展可能性,创造出更加智能、灵活和高效的解决方案。同时大模型技术的应用还促进了安防行业与其他行业的跨界融合。例如,智能交通、智慧城市、智慧应急等领域的发展为安防系统提供了更广阔的应用空间,而安防技术也在这些领域中发挥着日益重要的作用。这种交叉融合不仅有利于各行业自身的发展,也有利于整个社会向数字化、网络化转型的目标迈进。

从技术到落地,不容忽视的问题

大模型技术在智能安防领域具有广阔的应用前景,带来了新的机遇和商业模式,如基于大模型的安防云服务、个性化安全定制服务等。但其在发展过程中也面临不少挑战。比如标准化和定制化之间的平衡。安防行业具有多样化的应用场景和需求,每个场景都有其独特的特点和要求。大模型在追求泛化能力的同时,也需要针对具体场景进行定制化优化。然而,过度定制化可能导致模型失去泛化能力,而过度泛化又可能无法满足特定场景的需求。因此,如何在标准化和定制化之间找到平衡点,是大模型在安防行业落地过程中需要解决的一个重要问题。

再如法律法规和伦理道德的约束。安防应用数据涉及到个人隐私、公共安全等敏感问题,因此在应用大模型时需要遵守严格的法律法规和伦理道德标准。例如,在收集和使用个人数据时,需要遵循数据保护法等相关法律法规;在人脸识别等应用中,需要遵守隐私权和肖像权等相关规定。此外,还需要考虑模型决策的公正性和透明度等伦理道德问题。这些都需要进一步研究和解决。

从容大模型为云从释放新机遇

当前, AI大模型成为了“必争之地”。作为大模型人机协同操作系统和人工智能解决方案提供商,云从科技高度重视大模型技术研发与行业落地,2023年5月云从发布从容大模型与建立西部智算中心,并布局了数十个行业大模型,研发了DataGPT、智能客服、AI鼠标等多个泛AI智能应用,成为云从科技布局AI智能体(AI-agent)的重要抓手。

同时,从容大模型在视觉、跨模态领域10次刷新世界纪录,应用上与昇腾合作推出大模型应用底座——从容大模型训推一体机,并与天津港(600717)集团、首链科技、今世缘(603369)、国网山东、中国电信(601728)等合作伙伴一起,成功帮助港口、医药、制造、电力、银行等行业客户落地生成式AI应用场景。

云从大模型产品分为L0-基础大模型、L1-行业大模型及适配、L2-各类应用,目前均已销售,并已打造了一定的标杆项目。目前以B端和G端为主,后期将开放面向C端的API接口。

在实践中我们发现,近一两年来安防领域的客户需求呈现多维度演进,主要体现在智能化集成、数据安全强化、远程管理普及、定制化方案需求增长,以及对可持续性的关注上。用户愈发倾向融合人工智能的综合安防方案,以实现人脸识别、行为分析等高级功能,并期待系统能无缝接入物联网生态。数据保护意识的觉醒促使用户对信息安全有了更高期待,要求严格的数据加密与隐私保护措施。此外,远程工作模式的兴起推动了对移动监控应用的需求,使管理者能随时随地掌控安全状况。各行业对安防的特定需求催生了定制化服务的旺盛需求,同时经济性和环保也成为重要考量因素。

针对用户的这些变化与需求,云从科技致力于将大模型技术与行业需求紧密结合,推动多模态大模型上的应用实践,包括语言、视觉、语音、代码生成以及图像生成等多个领域。通过“从容大模型”系列,云从科技实现了在金融、交通、安防等行业的深度应用,解决行业痛点,提升行业的智能化水平。

大模型下半场 落地才是赛点

安防行业作为AI最先得到广泛应用的领域,近年来实现了快速发展,但随之而来的是市场同质化竞争的加剧,行业逐渐步入了存量市场的激烈博弈。这两年大模型的快速进步和日渐普及,为行业带来了新的活力与动力。如今,大模型已成为推动各行各业智能化升级和实现差异化竞争的关键驱动力。

大模型落地才有生命力

从最初声势浩大的“百模大战”,到当前“业务价值回归首位”渐成共识,大模型的落地主线逐步明晰:行业大模型的落地应用不应当是在参数上简单的做加法、秀肌肉,而是对企业市场洞察水平、业务理解深度以及大模型微调能力的综合考验,孤立于业务应用体系、缺乏专业深度的大模型将是无根之木、无源之水。人工智能下半场,“卷”的不是AI,而是AI+。

解决大模型“裸”奔,最终还是要把产品落脚到特定应用场景、解决行业具体问题上。尤其是针对专业领域、长尾场景中的低频事件,唯有与细分场景紧密结合,才能释放大模型的实战价值。因此,必须要着眼于用户业务场景的全流程,将场景、数据、服务紧密地连接在一起,去完成精细化的架构设计,确保“大模型+解决方案”对业务场景、流程的全覆盖。

以萨数智八斗大模型实践

近两年,随着大模型的横空出世,客户侧对数字化智能化的要求及相关考核与日俱增,也随之迸发出越来越多定制化、差异化、精细化的业务需求,这对企业的技术硬实力、产品先进性、服务水平无疑都是不小的挑战;同时用户对产品的理解认知、对技术的敏感度随着实践积累水涨船高,专业水平得到大幅度提升,大模型企业必须更先一步洞察用户需求、更进一步打磨产品专业度。

依托多年数字城市领域技术沉淀以及对公安垂直领域业务场景的深入研究,以萨技术率先推出了专业级垂域大模型——数智八斗。数智八斗大模型的最大特点是它专注于智慧交通、智慧警务、社会治理等特定领域,深耕细作,注重复杂业务与人工智能的逻辑深度融合,将人类智能与机器智能无缝衔接,共生互补,打造极致的专业度。

通过模块化嵌入,八斗大模型能够有序衔接起以萨数智万象、数智矩阵等全场景数智应用,将“通用工具链+垂域数据+业务场景”串联起来,并深度集成到用户的 IM 和工作流中,为用户提供智能化、专业化、可微调、易部署的管家式服务。这种模式将给予用户更高的自由度,支持用户以装配式建筑模式,根据业务需求灵活配置业务流、工作流,快速高效响应业务需求,大幅压缩开发时长,摆脱“交付即落伍”的困境,推动大模型与具体业务双向奔赴,带来看得见的价值增量。

大模型的开发运用需要获取大规模、高质量、多样性的数据,当前数据生态存在先天不足,缺乏数据治理标准及治理工具,对于数据的接入、清洗、存储和共享缺乏流程机制保障,数据质量参差不齐,难以形成高质量的样本。对于多维数据的深度精细化治理,是以萨之所长。以全栈自研、自主可控的“AI+大数据”核心技术体系为基底,结合多年领域深耕的行业沉淀,以萨构建了集数据深度治理、实战应用为一体的全链条服务能力链,可以为用户提供数据从采集、汇聚、清洗到分析、服务的数据全生命周期管理能力,为大模型部署训练以及实战化业务拓展提供了稳健的支撑保障。

另外,超大模型训练、推理需要消耗密集和昂贵的算力等资源,成为规模化的产业应用瓶颈。为此,数智八斗采用了微服务架构设计,支持私有化部署、离线部署等多种灵活部署模式,能够因地制宜、快速解决各种复杂部署环境集成问题,通过AI算法的容器化编排方式调度,有效地利用系统资源,提高系统的性能和吞吐量,支持根据业务需要进行动态扩容和缩容调整,建设专属的特色领域模型。

而针对数据安全、隐私安全等大模型应用过程不可忽视的重中之重,围绕身份认证、集中授权、过程审计各个环节,数智八斗融合运用数据加密、访问控制、统一身份管理IAM等技术,有针对性地设计了一体化的技术防护体系,同时嵌入大模型独立监督者这一角色,构建起从检测到治理到防御的全链路壁垒,全方位、最大限度守护内容、权限、隐私安全。与此同时,数智八斗支持在国产服务器、国产芯片、国产云平台及国产基础大模型上进行预训练和精准微调,可提供跨平台应用能力,灵活扩展接入平台,支撑各生态厂商基于大模型进行业务应用开发,解决多平台操作繁琐问题,为构筑协同进化的大模型生态奠定基础。

目前数智八斗大模型在智慧交通、社会治理、数字政务、智慧安防等领域场景中得到有效应用。未来还将赋能包括金融、医疗、教育等在内的更多行业,满足更多专业领域的需求,向更广阔的产业领域延伸。

布局垂域大模型 助力全域数字化发展

随着数字中国战略的全面实施,数字城市建设、数据资产运营相关产业的规模化发展,将为大模型的落地应用、突破创新提供超大量级的“试验场”,大模型服务在社会治理、数字政务、数据要素+等领域的应用场景也将随之更为丰富,无论是覆盖的广度还是下沉深度,均会得到大幅拓展。

大模型的终局,不可能是一颗孤零零的“超级大脑”,注定是在不断地演进中成长为一个枝繁叶茂的生态。下一步以萨将重点布局应急指挥、生产安全、社会治理等领域的垂域大模型,同时加速探索企业服务、智慧医疗、智慧办公等专业级场景,持续为用户打造可信赖、易落地、可持续的轻量化行业专用模型体系,刷新千行百业生产效率,助力全域数字化转型,为数字中国建设贡献力量。

责任编辑:石旭