【微软发布三款顶级AI模型碾压GPT-4】 微软公司近日发布了 Ph
2024-11-17 【 字体:大 中 小 】
【微软发布三款顶级AI模型碾压GPT-4】
微软公司近日发布了 Phi-3.5 系列 AI 模型,其中最引人注目的是推出了首个混合专家模型(MoE)版本 Phi-3.5-MoE。该系列还包含 Phi-3.5-vision 和 Phi-3.5-mini 两款轻量级 AI 模型。
首先,我们来看 Phi-3.5-MoE 这个混合专家模型。它使用了16个3.8亿参数的专家和2个专门激活了66亿个参数的组件,并且使用了512个H100进行训练。微软研究团队从零开始设计这个模型以进一步提高其性能。在标准人工智能基准测试中,它的性能超过了Llama-3.1 8B、Gemma-2-9B和Gemini-1.5-Flash,甚至接近目前领先者 GPT-4omini。其次,我们来看 Phi-3.5-vision 这个增强型多帧图像理解模型。它拥有42亿参数,在256个A100 GPU上进行了500B标记下的训练,并且现在支持多帧图像理解和推理。与之前发布的MMBench相比,它在文档理解基准TextVQA上的性能提高了70.9%。
最后,我们来看 Phi-3.5-mini 这个轻量级、强功能模型。它拥有38亿参数,超过了Llama3.1 8B和Mistral 7B,甚至可以媲美 Mistral NeMo 12B。这个模型仅使用了512个H100进行训练,并且在多语言任务中具有很强的竞争力。
此外,值得一提的是, Phi -3 . 5 -mini 现在支持128K上下文窗口,而其主要竞争对手 Gemma -2 系列仅支持8K。
总结起来,在本次发布的产品中,微软展示出了其强大的AI技术实力,并且这些产品将有望应用于多个领域。
猜你喜欢
黎同明教授:消散结节的草药“陈皮”,结节包块逐个击破!
《紫川光明三杰》紫川三兄弟结局是怎样的?帝林是好还是坏?
事故原因公布!航运巨头CEO离世细节披露
住深全国政协委员杨长利:将核电纳入绿色电力体系
首都除夕 护卫健康丨get儿童健康小贴士,快快乐乐过大年
“跨境理财通20”开办!广东中行全新升级六大服务
异动快报:国盛金控(002670)7月19日10点48分触及涨停板
首次应用华为星闪技术!创维推出业界首款4K+星闪机顶盒
探讨AI运用场景!丘克军《弃犬历险记》新书分享会在穗举行
孙悦前妻陈露久违现身,CBA最美花魁,这身材绝了…
韩国一电池厂发生火灾致20多人死亡
大全能源(688303SH):回购期限已届满 已实际回购102935万股公司股份
震惊!科技公司CEO从6米高笼中坠落死亡,总裁也重伤!警方认为不是单纯的事故
【ETF动向】8月29日嘉实沪深300ETF基金跌043%,份额增加998999万份
规模最大!广州市“南粤春暖”省、市、区联动大型招聘会增城区分会场活动举行
联合化学(301209)2月7日主力资金净买入3626万元
孙悦前妻陈露久违现身,CBA最美花魁,这身材绝了…
恒烁股份(688416):5月6日北向资金减持544万股
外汇百晓生:黄金2390多单如期获利,注意减仓持有
10家上市公司盘后披露回购金额上限达1亿的计划公告
大厨教你5款凉拌菜技巧,5分钟就做好,清脆爽口不油腻,一学就会
异动快报:ST英飞拓(002528)7月18日13点21分触及涨停板
探访中国最大人造露天矿坑 摘掉贫镍国帽子它功不可没
上海期货配资公司:助您把握市场机遇,实现财富增值
上海举办留学经验分享汇 发布留学生实习信息对接平台
股票投资必备:基本条件详解
苏轼的《东栏梨花》:一枝雪魄傲春风,千载清名醉世人
新股消息 迈富时管理通过港交所聆讯 三年累计亏损超6亿
金荣中国美联储利率决议如期落地,金价冲高回落加剧顶部预期
注册空壳公司成本大揭秘:费用是多少?