昆仑万维发布全球首个支持4090推理的2千亿参数稀疏大模型Skywork-MoE

昆仑万维发布全球首个支持4090推理

2024年6月3日,昆仑万维正式宣布开源其最新的2千亿参数稀疏大模型Skywork-MoE。该模型在性能和成本效益方面都有显著提升,是全球首个支持单台4090服务器推理的开源千亿参数MoE大模型。 开源地址及资源 Skywork-MoE的模型权重、技术报告完全开源,免费供商业使用,无需申请: 模型权重下载: Skywork-MoE-base Skywork-MoE-Base-FP8 模型开源仓库: GitHub 仓库 模型技术报告: 技术报告 PDF 模型推理代码(支持8×4090服务器上的8 bit量化加载推理): 推理代码 模型架构 此次开源的Skywork-MoE模型属于天工3.0研发系列,模型总参数量为146B,激活参数量22B,拥有16个Expert,每个Expert大小为13B,每次激活2个Expert。相比其他大模型,Skywork-MoE在推理成本上有显著下降,在相同的激活参数量20B情况下,其性能接近70B的密集模型。 技术创新 为了提升MoE模型的训练效果和泛化性能,Skywork-MoE在训练优化算法上做了两项创新: Gating Logits归一化操作:在Gating Layer的token分发逻辑中新增了normalization操作,增强模型对top-2 experts的置信度。 自适应Aux Loss:在MoE训练的不同阶段,模型自适应选择合适的aux loss超参数系数,以平衡Drop Token Rate和expert分发的均衡性。 训练基础设施 Skywork-MoE提出了两个重要的并行优化设计,使其在大规模分布式训练中的性能大幅提升: Expert Data Parallel:相较于现有的EP和ETP设计,EDP在Expert数量较少时依然能高效地切分模型,并优化all2all通信。 非均匀切分流水并行:通过非均匀的流水并行切分和重计算Layer分配方式,使计算/显存负载更均衡,训练吞吐量提升约10%。 推理性能 Skywork-MoE是目前唯一能在8×4090服务器上推理的开源MoE模型。在FP8量化下,Skywork-MoE可以在合适的batch size内达到2200 tokens/s的吞吐量。相关推理框架代码和安装环境已完整开源,详情见GitHub。 总结 Skywork-MoE的开源不仅为社区带来了一个高效的MoE模型,还提供了大量关于模型结构、超参数选择、训练技巧和推理加速的宝贵经验。在成本控制和性能提升的双重优势下,Skywork-MoE为通往更强大、更高效的AI模型探索了新的路径。 作为一名新闻从业者,我认为昆仑万维的这一举措不仅展示了中国科技企业在AI领域的创新实力,也为全球AI研究和应用提供了重要的技术支持。Skywork-MoE的开源将激发更多的科研和商业应用,推动AI技术的进一步发展。这不仅是昆仑万维的成就,也是全球科技进步的一大步。

北京多区域率先体验5G-A:6G到来前的技术飞跃

北京多区域率先体验5G-A:6G到来前的技术飞跃

在5月17日世界电信日之际,北京移动和北京电信等运营商纷纷发布了其在5G-A方面的进展。北京移动将在全市的18个区域上线5G-A服务,用户的手机图标将会在连接5G-A后有所变化。北京电信也完成了Redcap规模开通,有望在物联网领域实现人、机、物的全面互联。 2024年被称为5G-A商用元年。5G-A是5G的增强版本,具有部分6G的特性,标志着从5G到6G的演进。根据预测,2030年6G将会到来,各大运营商正加速升级5G-A的软硬件体验,未来“通感车联”“无人机通感一体基站”“元宇宙”等技术将离我们越来越近。 5G-A:从5G到6G的过渡 5G-A,即5.5G,是5G和6G之间的过渡阶段。国际标准组织3GPP定义了5G-6G之间的技术标准,其中5G-A包含了Release18-Release20。随着2022年6月5G R17版本的冻结,5G技术正式进入下半场,5G-A时代登场,拉近了我们与6G的距离。 回顾移动通信的发展,从“大哥大”到智能手机,从2G的语音通话到5G的高速上网,每一代技术都在改变我们的生活方式。如今,5G-A在速度、时延、连接规模和能耗方面全面超越现有5G,正在逐步改变我们的生活和生产方式。 5G-A速度更快、体验更好 5G-A在速度上有显著提升。据运营商预测,5G-A将实现下行万兆和上行千兆的峰值速率、毫秒级时延和低成本千亿物联。根据最新的5G-A三载波聚合测试数据,下行峰值速率可超4Gbps,是现有单载波网络下行峰值速率的2.6倍。 例如,近日在通州区绿心森林公园举行的2024北京无限音乐节,场地部署了5G-A网络,观众们上网没有受到影响,峰值速率达到1.63Gbps,人员高峰时平均速率也保持在300Mbps以上。 5G-A的智能应用 5G-A不仅提升了速度,还带来了更多智能应用。例如,“通感车联”技术可以在恶劣天气下,通过5G-A基站和路侧传感器为车辆提供超视距和车道级精度的导航能力,帮助司机实现安全驾驶。此外,5G-A与无人机结合,可以实时监控无人机的飞行轨迹,为低空经济带来巨大的发展机会。 未来,5G-A将与AI结合,进一步提升无人车的行驶安全性和稳定性。北京移动在亦庄高级别自动驾驶示范区部署了5G-A车联专网,通过灵活频谱接入和稳定时延技术,实现了无人车日常AI训练数据的实时传输和模型快速迭代。 结语 5G-A技术的广泛应用,将为各行各业带来前所未有的变革。从万物互联到智慧城市建设,5G-A为未来的数字社会提供了源源不断的动力。在6G时代到来之前,我们将在5G-A中不断接近6G的速度与体验。通过技术的不断进步和应用,我们的生活将变得更加便捷和智能。 北美头条

京东与小米深化战略合作:未来三年全渠道销售目标2000亿

京东与小米深化战略合作

近日,京东与小米达成全新战略合作,京东集团 CEO 许冉,小米集团合伙人、总裁及国际业务部总裁卢伟冰出席仪式并见证战略签约。双方明确了未来三年小米在京东全渠道销售额 2000 亿的目标,同时将共同推动多品类小米智能硬件产品销售增长,让更多用户享受到小米全场景智能化体验,助力小米「人车家全生态」战略加速落地。 根据协议,京东与小米在持续深化零售、物流、科技、金融领域合作的同时,也将进一步拓宽工业、产发、健康、保险等领域的合作,实现多产业深度融合与协同发展,探索更广阔的市场增长空间。 在零售领域,京东将在 3C 数码、家电家居、汽车等品类上携手小米深度共建,通过“人、货、场”精准匹配将小米全品类产品带给消费者,让更多小米产品走进千家万户,完成智能硬件互联互通。 产品层面,小米将积极参与京东 3C 数码新品“先人一步计划”、趋势品“AI 换新加速计划”,加快产品推陈出新速度,让消费者享受到新品先拿、权益先享、优惠先得的专属体验。同时,基于 C2M(反向定制)模式双方将共同打造符合市场趋势和消费者需求的定制产品。 营销层面,双方将加码资源投放与线上线下联动,通过精细化运营和用户联动推广,实现品牌形象与销售业绩的双增长。同时,京东通过“闪电新品”IP 为小米家电、家居产品提供核心曝光资源以及全链路营销与运营能力。 服务层面,双方将基于京东以旧换新专项扶持举措,加大补贴投入力度,共建服务产品,确保消费者全流程无忧焕新。 渠道层面,双方将整合京东 MALL、京东之家、京东家电专卖店在内的全国超 2 万家京东线下门店,以及超万家小米之家线下门店,为消费者带来全渠道全场景“多快好省”的购物体验。 此外,在企业采购方面,京东企业业务也将携手小米共同拓展企业级采购市场,以数智化能力提升企业客户的运营效率。 在物流领域,京东将针对国际物流、物流数智化等领域深化与小米的合作,提升小米物流效率,实现降本增效,优化服务体验。同时,京东科技将基于京东云在数字基础设施、数字人、智能服务等领域的技术优势以及京东在金融科技领域的积累,继续深化双方在技术服务、应用场景等多方面的合作,不断提升消费者的体验。此外,在生产环节,京东工业“太璞”数智供应链解决方案将助力小米在工业品采购和制造环节进一步降本增效,共同推进新型工业化进程。

开元大学国经所致聘余龙武博士为客座教授

开元大学国经所致聘余龙武博士为客座教授

余龙武博士在开元大学国际经济研究所进行了精彩的学术报告,主题为:中国银行业“走出去”的思考。报告吸引了众多师生,反响热烈。会上,开元大学国际经济研究所学术委员会主席冼国明教授向余龙武博士颁发了客座教授聘书。 根据联合国贸发会议的数据,去年全球国际直接投资(FDI)流量达1.8万亿美元,创历史新高。尽管各大地区均从中受益,但金融危机与经济衰退的背景下,事态已发生变化,这对今年及未来的FDI流量会产生哪些影响? 影响FDI的主要因素包括经济状况、监管机制和投资促进。首先,全球GDP在2009年不会缩减,尽管发达国家经济可能略有下滑,但新兴市场的增长将予以弥补。此外,随着商品市场繁荣期的过去,自然资源方面的FDI呈下降趋势,对非洲、拉丁美洲、俄罗斯及中亚的FDI流量影响明显。 经济增长是吸引投资的关键因素。发达国家在2007年接收了全球70%的FDI流量。然而,金融危机导致经济增长下滑,降低了主要市场的投资吸引力,从而减少了FDI流量。Jeffrey Sachs和George Soros在《金融时报》提出了避免全球性衰退的建议,值得重视。 金融危机和信贷紧缩加深了对FDI的负面影响,束缚了企业的海外投资和跨国并购融资能力。即使发生并购,由于股价下跌,公司价值下降,并购涉及的价值也会较之前低,导致FDI流量减少。当前经济困境迫使母公司选择汇回收益以平衡资产负债,这减少了FDI净流量。 不过,这一下跌趋势可能会缓和,特别是如果亚洲国家进一步刺激国内需求,将吸引跨国公司加大投资力度。中国目前已成为新兴市场中最大的FDI东道国,FDI流入量为840亿美元。如果中国企业受此次危机影响较小,外向FDI可能加快。例如,中国的外向FDI在2007年为230亿美元,2008年上半年达到260亿美元,今年预计增至500至600亿美元。 主权财富基金的FDI潜力也可能增长,但目前尚未显著增加。发达国家对新兴市场国有企业和主权财富基金的FDI持质疑态度,导致监管风险增加。 投资促进机构在此时尤为重要,它们有望付出更多努力说服政府保持友好的投资环境,吸引跨国公司、私募股权集团和主权财富基金的FDI。 尽管目前情况不确定,2008年和2009年的FDI流量肯定会减少。问题在于减少的幅度和持续时间。今年FDI流量可能下降至少20%,明年可能高达30%或更多,这将加剧本已艰难的经济环境。 总而言之,保持良好的投资环境尤为重要,FDI的下降趋势可能会鼓励各国更加重视这一点。