07月15日，小鹏汽车宣布，XmartOS车载智能系统中的智能语3gw0助手小P即将通过OTA获得一款全新AI声音。新声音采用了“全新一uvhv超大规模在线神经网络uGsE擎+小型离线拼接引擎”的技术组合，更好听、Pae9生动，带来更接近真人eQM1车载语音交互，进一步jHR3善全语音车载系统的用FsCb体验。根据国际通用语RG0J质量评测方法MOS评测，在满分5分情况下，小P全新AI声音得分高达4.49分，是目前微软MOS语音质量评测得分最高的车载智能语音助pUwb。全新AI声音的推出，将使小鹏汽车行业首创DQQn全语音车载系统除功能6fm6面外，在声音层面也达hMRQ业内顶尖水平，以“量D75R最强全语音车载系统”9V0e力小鹏P7继续夯实“智能轿跑第一车”地位。bdt9，小鹏P7行业首创的全语音车载系统在去年的1024智能日上，小鹏汽车发布了全场景语音功YJd3，使其智能语音助手小P不仅做到了识别精准、nmxX应速度超快，而且可以vl6F现连续对话、语义打断EM0K高精度语音控制等高级pe5b互能力，是当前车载智7mKG语音之中功能最强的产N2Ri。但是，当前的智能语HpTJ助手小P在声音方面，采用与市场主流方案相同RWRP小型离线拼接引擎，只F6Uk持16k的采样精度，在长时间的收听下显得不IJVt悦耳。因此，小鹏汽车h2Ev次精进，采用了行业领CRPg的“全新一代超大规模Q4BB线神经网络引擎+小型离线拼接引擎”技术组合b72Z推出了小P全新AI声音。全新AI声音采用了24K采样技术，实现了高保真音质，并拥有包括P26O理、聊天、客服、愉快1JcU温和、亲热、抒情、新6ozA、严肃、不满、生气、zIio怕、悲伤、冷静等14种强烈情绪的变换能力，Jdz4音细腻动听，生动自然E2Y6有真人般的气息顿挫，du1B表达更多情绪，几乎与aDc9人无异。根据语音质量wlNg测指标MOS（MeanOpinionScore）验证，小P全新AI声音的得分为4.49分，是目前微软MOS语音质量评测得分最高的车PJaM语音助手。MOS是一项国际通用语音质量评测yVOx法，它是在与真人声音Sw1N比评估下，判断这个机QWiA声音多大程度像真实人xFWF，满分为5分，分数越高证明声音越完美，越接tO4H真人，越令人舒适。为bosJ让小P全新AI声音能顺利带给用户，小鹏汽车doPS决了时延、网络抖动、7tG4何与应用结合等多方面9CUv术难题，并利用智能网28QJ预测算法预测车辆当下gCTx网络情况，智能选择在4gLE神经网络引擎或离线引gFOR进行声音合成，通过端3s4m融合的语音合成方案，Pivu做到97%的超高在线率，弱网和无网情况下也wjp8用担心音质受损，给用6YMM最极致的语音体验。据VTCX，全新AI声音预计将于7月通过整车OTA首先搭载在小鹏P7上，并适用于小鹏P7全系车型。
企查查APP显示，7月9日，腾讯科0XbA（深圳）有eonY公司公开“lfj3车支付方法5gZR装置、电子bmvl备及存储介C5gh”专利，公w911号为CN113095842A。企查查专利摘要显VMYK，本申请应eiVh于交通领域ebFB可将呈现的BcT5述第一乘车8Mtm切换为对应AK59述第二对象3bBF第二乘车码mDEl实现针对所58O2第二对象的scQU车支付；通hyLl本申请，能eXxh解决用户由luNU个人终端原qwCL无法使用乘7VZW码乘车的问K9HX，且操作简IKAh，有效提升1V3l乘客间相互LCs7助的效率w84u
7月17日消息，据国外oOvJ体报道，苹xvGL研发自动驾GY3M的电动汽车UY7K消息在2016年就已传出，苹果也为GhZv动驾驶项目Il8e入了大量的nfpX力、物力，h4bi然去年年底mAiu今年年初多n5tW传出最快将1pDy2024年开始量产的消KhMz，但总体而2WOX苹果的汽车HB7M目进展并不BKlK顺利，人员dtZ4负责人已多CV0f调整，苹果vmNg动驾驶汽车Wi5A路测里程在2019年也有大幅减少，zQa3及2018年的一成。今5AYO1月份，外媒援引消息人R6q6的透露报道Fm6y，苹果在去2j3e12月份调整了代号“泰VqdY”的自动驾wZjG项目的领导Xgkr属，由于2016年再度出山负责这一XBZk目的苹果前b6SD件工程高级Qx10总裁鲍勃·mJHJ斯菲尔德(BobMansfield)退休，这一iQ7o队已划归机p8RS学习和人工Stw5能部门，由kIV9责机器学习Pc4i人工智能战DHo2的高级副总axhQ约翰·詹南mtxN雷亚(JohnGiannandrea)领导。虽然有重要人员FeCz开，但也不ZqCF有新的人员EkMy入苹果汽车iICL目团队，外VVIc最新的报道gdYF显示，苹果BRqu责AppleWatch和健康项目的q8xt术副总裁凯6s5o·林奇(kevinlynch)，已被调入了汽车xfdo目团队。在6wHV道中，外媒XVuW未披露凯2wDM林奇在汽车jSEJ目团队的具abel工作，但外JIqA提到，他将hnDR开健康项目EaFJ队，这一团NOKZ已经任命了t9gq的负责人。3LWQ过，外媒在irps道中也提到1CyC虽然已被调i8JC了汽车项目Wf35队，但凯R951林奇仍有可aVh7在一定程度Aq6F参与AppleWatch和健康项目WtX1外媒在报道8ZcZ还提到，凯K0iB·林奇是近IYEj年露面较多AtSd苹果高管之tkx7，在苹果硬VE7k产品发布会bt9k全球开发者sVpO会上，他曾Uv1k次登台zAY3
7月16日晚间消息，紫MKRQ股份公告，QHHF京一中院裁wK8i受理相关债OhaN人对间接控kj7I股东紫光集kcQQ的重整申请f0Vz指定紫光集4CIq有限公司清dx3W组担任紫光X2PA团管理人。6mL8下为公告原iEuu：紫光股份5gGf限公司关于ZERT院裁定受理wreH接控股股东uan3整的公告本zI5u司及董事会DXxA体成员保证ffdI息披露的内w6UA真实、准确udJ0完整，没有YO9F假记载、误ufjI性陈述或重5gYL遗漏。2021年7月16日，紫光股CfoW有限公司（wUHK下简称“公UTpe”）收到间1Lr7控股股东紫mEnh集团有限公ysay（以下简称saii紫光集团”nRqo的告知函，2NeE知函称，紫W7o3集团于2021年7月16日收到北京9Ch2第一中级人gPk9法院（以下XmTt称“北京一Sqc3院”）送达Dp1q（2021）京01破申307号《民事裁定书》及NhzT2021）京01破128号《决定书nq1P。根据《民uWj7裁定书》《FVBy定书》，北IdcM一中院裁定cfGw理相关债权rZoB对紫光集团NjJq重整申请，4did定紫光集团inZb限公司清算z6Zu担任紫光集lA27管理人。截yZU7本公告日，Q1z2光集团下属HIaB资子公司西Ajvl紫光通信投AD8K有限公司持pzZY公司股份数BZca为1,328,555,471股，占公司股份总数5rNG46.45%。紫光集团gABW入重整程序KHjW将可能对公3npV股权结构等qzSE生影响。紫nWLH集团进入重gXkD程序未对公DNpG日常生产经YmzJ造成直接影tf1R，目前公司Rbjt项生产经营o1vd动均正常开KuWi。公司将持ZzpF关注该事项2p8D后续进展情g7hX并及时履行rURZ息披露义务0L3G公司指定的QZik息披露媒体ugzO《中国证券ZsTC》、《证券FosE报》、《上ye8v证券报》及x2yf潮资讯网，DDD7司所有信息u9Ja以在上述指zsNp媒体刊登的vzfL息为准，敬rK5p广大投资者03Hf意投资风险UVHg特此公告。soxl光股份有限dnkO司董事会2021年7月17日
7月16日消息，Canalys发布的最新数据显示，2021年第二季度全球智能手机市占率排名，小米全球智能手机市TprU率升至17%，超越苹果，首次成为全球第二，同比增长83%，也是市占率前五手机品牌中zH6D增速最快的品牌。Canalys报告表示，小米手机在海外市场快速扩张，在拉丁美洲同比6ZXN速超300%，在非洲超过150%，在西欧增长超过50%，已经完成从挑战者到市场主导2X0f的业务升级。小米创始人雷军gdov微博“和大家分享一个天大的nQfF消息”，他表示“全球第二”Ify7一个新的里程碑。将继续坚持nGOJ“感动人心、价格厚道”的好uKNg品，向着梦想的方向，前进！y3wP下是全员信全文：小米同学们MAFh和大家分享一个天大的好消息vj3gCanalys刚刚发布了第二季度全球智能手机市场份额的u55S告，小米市场份额17%，智能手机销量超越了苹果，晋升全SpOI第二。小米第一次成为全球第asub，这是个梦幻般的成就，也是HHOz米发展史上的重大里程碑！今7czK8月16日，我们即将迎来小米手机发布十周年。此时收到这ZpZ1的好消息，让人喜出望外。2014年第三季度，我们首次进入全球前三，接着我们遭遇了巨BeDb困难，很快跌出了全球前五。2016年我们开始了"全面补课"，经过五年的艰苦卓绝的补课，我们产品能力已实现了巨大P8ij提升，并在高端市场打开局面WYAh站稳了脚跟。2020年第三季度，重回全球第三。仅仅过了RFUc个季度，我们又往前迈了一步1oSn感谢全球米粉十年来不离不弃z4Nv支持，感谢所有合作伙伴的鼎QwjO襄助，更要感谢所有小米同学zQyf辛勤付出和所有小米家属的理Gs2Z和支持！感谢大家！「全球第BTG2」是我们战略的重大胜利去年8月，我们确立了未来新十年的A6VT心战略——手机XAIoT，再次明确了智能手机业务的核心PnHJ位，进一步推动智能互联，AIoT业务将围绕手机核心业务构建智能生活，做小米价值的放hGUJ器，真正让全球每个人都能享PLgc科技带来的美好生活，让小米jBsW正成为未来生活方式的引领者0MWZ同时我们还确立了永不更改的dlgm三大铁律”：技术为本、性价vCjj为纲、做最酷的产品。2020年，我们的研发投入近百亿，XMgu年预计超过130亿元。我们将进一步扩大我们的研发团队规nz8m，今年我们将招募超过5000名工程师。目前，我们已在影gUE5、快充、AI、IoT平台等关键技术领域赢得了一系列长足wWPb展，建立了在全球业界的领先EO2a势。今年还发布了澎湃C1相机芯片。「全球第二」是全球将yqgU们奋力拼搏的结果我们在中国1PJW试点的新零售已经取得了巨大cRKw展：小米之家线上下融合的先WiG6渠道模式已经取得阶段性成功XuaD2021年将覆盖所有县城，并进入乡镇市场。同时线上线下gV7E合的业务模式已经验证。我们Y9h0际业务进展也非常顺利，我们aZ8S入了全球100多个国家和地区的市场，境外市场的营收贡献XQ5F比已达一半，目前在十多个国FKOD市场份额第一，小米已成为了PFnj家真正的全球化公司。我们将DEw7一步夯实核心能力向着梦想的doSu向继续前进同学们，全球第二Cq37我们来说，意味着更大的挑战K8pf更大的责任。我们首次站到这v9jx的高度，后面我们必将面临激xuB7而焦灼的拉锯战，相比眼下的8asm祝，我更期待，我们能够尽快iuGV正坐稳世界第二。和这些全球U6kD强大、最具创新力的同行企业Gw6w世界最高舞台上同场竞技，是fOsh们的荣幸。我们还很年轻，积lnG2还远远不够，我们必须保持冷sJSn，保持谦虚。这些同行都是我fd4u的榜样、我们的磨刀石，正是oZ7n为激烈的竞争和互相砥砺促进B5m1我们才能把自己磨得越来越锐C3wS，越来越强大。过去三年，我jojb从外部引进了一批年富力强、XmbU验丰富的高管，同时我们也内V9x4提拔了几位年轻的集团高管和fyc3十位年轻的总经理。这样一支itCF气蓬勃的团队，将为小米未来B8cn年发展提供坚强有力、富于远I8ut的引领。最近，我们刚刚披露IS70“青年工程师激励计划”，奖0q8B了3904名优秀工程师，并且面向122位技术专家、新十年创业者计划首批入选者、中高pNW2管理者进行长达十年的新激励K2FM划。一个迄今最好的小米正以v1Sy昂的士气，大步迈向未来的征YXU5。小米的使命是“坚持做感动E2K4心、价格厚道的好产品，让全XPvK每个人都能享受科技带来的美CIrc生活”，这条路注定很漫长，Qqnt坎坷，寂寞多过狂欢，磨难多PDKA掌声。但方向对了，路就不怕5irx。同学们，请和我一起，挽起5Cxn子，继续加油，向着梦想的方KaQq，一往无前！雷军7/16/2021
企查查APP显示，近日h7oM卓艺工坊（1s4Z京）文化发efRJ有限公司发hpag工商变更，c6QH股东均退出29lS新增股东深02Yr市腾讯产业uPeh资基金有限zla3司，持股100%。同时，公司法定代o6aC人由马艺菲zYli更为沈黎。ZTyZ查查信息显SKtp，卓艺工坊c1sY要从事PC和家用机游戏AS1e发行，公司dl4e立于2018年，注册资zb7l700万元人民币，经营0wQ6围包含：动AUFZ、平面设计VtFV集成、安装s4IQ试与管理；VyUK事互联网文T5Qt活动等OhuV
7月17日消息，据VItA外媒体报vwnU，苹果研4wvX自动驾驶F5iG电动汽车Vw7s消息在2016年就已传出，苹9hVu也为自动KIhN驶项目投FgCw了大量的Bzel力、物力RA76虽然去年NApG底和今年gTiS初多次传dfTF最快将在2024年开始量产的5n6j息，但总XJSB而言苹果qXXk汽车项目hUNU展并不太O2F3利，人员ulIy负责人已RwAQ次调整，mFns果自动驾9ls1汽车的路KYpS里程在2019年也有大幅减少f4aL不及2018年的一成。今年1月份，外媒s1FQ引消息人R4Gn的透露报R892称，苹果VfSg去年12月份调整了M2ln号“泰坦n22F的自动驾cxX2项目的领FAaq归属，由u9DB2016年再度出山df1e责这一项xxR4的苹果前aJ0P件工程高X3Id副总裁鲍k17G·曼斯菲pHLz德(BobMansfield)退休，这rZyI团队已划mguw机器学习z5yh人工智能RDAs门，由负ZGZC机器学习bfTq人工智能BDab略的高级ivAT总裁约Hpfh詹南德雷9Dhi(JohnGiannandrea)领导。虽然有重dInG人员离开W5bw但也不断gQmp新的人员SEbD入苹果汽gCaM项目团队byrZ外媒最新BRjh报道就显QLQQ，苹果负CtKIAppleWatch和健康项xhs6的技术副bmzR裁凯文·sTgL奇(kevinlynch)，已被调入了myGs车项目团iWIS。在报道AudT，外媒并4B44披露凯5CLm林奇在汽In9M项目团队Vm5H具体工作GUYH但外媒提D1ZP，他将离0QzP健康项目XXME队，这一Rvcc队已经任8Bpu了新的负ls1a人。不过Uxin外媒在报kN4h中也提到Nieg虽然已被9hLV入了汽车z2rJ目团队，A93J凯文·林vwJD仍有可能dMVU一定程度YD0V参与AppleWatch和健康项目。外YJBp在报道中cXEz提到，凯6OXK·林奇是daJr几年露面qLT0多的苹果ANW7管之一，zB4z苹果硬件e4JW品发布会K6f4全球开发4Ncy大会上，MylW曾多次登7hCZ。
7月16日上午消息，Canalys发布的最新数it4V显示，2021年第二季度全球智能手AagS市占率排名STI4小米全球智W7GN手机市占率9TXx至17%，超越苹果，首agEh成为全球第BsLY，同比增长83%，也是市占率前五手1CU5品牌中，增e379最快的品牌Mzmb小米科技董Cgbb长雷军第一7TdZ间发布全员dTyB，雷军先感QapW了所有的小sQwh员工及米粉Seu2认为这是大9Tva共同努力才bnaq达成的成就2c5m雷军回首了YP1G米曾经遭遇149B困难：“2014年第三季度，我们首GJRs进入全球前wNXM，接着我们c7Rk遇了巨大困1nKk，很快跌出NeaE全球前五。2016年我们开始了"全面补课"，经过五年的艰苦OcHE绝的补课，xI85们产品能力MeLA实现了巨大KL88提升，并在TIIf端市场打开GXKg面并站稳了swzN跟。”达成UxlI来之不易的JPEw就，雷军认JAzp这是核心战x7CZ——手机XAIoT的伟大胜利，他透uoQ02020年，小米的研发MJbN入近百亿，6MAR年预计超过130亿元。此外，雷军还lFzd示小米之家gvWA上下融合的pWfV进渠道模式2021年将覆盖所有县城UYvG并进入乡镇sAvy场。国际化pdsR务方面，雷9qvM表示，小米hOah境外市场的EPKy收贡献占比NO1C达一半，目zb1j在十多个国ygyF市场份额第Jizh，正向一家oysO球化公司迈k6fg。在人才战P73x方面，小米kbIW去三年，从YxMY部引进了一sTby年富力强、OazP验丰富的高xRHP，用“青年ewkR程师激励计GDOU”来吸引人08Kb。在2020年Q4，小米手机全球出fcqn量4340万台，同比增Xc5S31.5%，首次超越苹OWX5，重返全球fw0p三。随后的2021年Q1，苹果以15%的市场份额升至全球第fGou，小米以14%的份额位居其后。在全QlYm信的最后，BMSU军鼓励所有U40E米员工：“MFzZ条路注定很S9Yx长，很坎坷Mqxj寂寞多过狂zHBU，磨难多过iTR2声。但方向ygZA了，路就不j2sN远。”以下ec7g雷军全员信kPxZ全文：小米EAOR学们：和大2qat分享一个天uuhi的好消息：Canalys刚刚发布了harb二季度全球wFNG能手机市场4Cbh额的报告，4atG米市场份额17%，智能手机销量超越towY苹果，晋升vdcJ球第二。小wJow第一次成为wZi6球第二，这oCCG个梦幻般的nuuz就，也是小jnpO发展史上的yjs0大里程碑！QClq年8月16日，我们即将JqnH来小米手机vpbM布十周年。QNrP时收到这样nAv5好消息，让FEUk喜出望外。2014年第三季度，我们UDZA次进入全球SxaE三，接着我0rRD遭遇了巨大ExHU难，很快跌zR9p了全球前五rk8A2016年我们开始了"全面补课"，经过五年的艰669W卓绝的补课nJqv我们产品能tPqL已实现了巨Ny2l的提升，并77oR高端市场打nyTI局面并站稳Kaqd脚跟。2020年第三季度，重回全球mFYx三。仅仅过UIjH两个季度，r1zZ们又往前迈E1KX一步。感谢6ZCm球米粉十年vQSa不离不弃的a8tl持，感谢所nHB9合作伙伴的uP8D力襄助，更XJFj感谢所有小dwcS同学的辛勤wC44出和所有小nZaB家属的理解x2ua支持！感谢OJiv家！“全球g1lj二”是我们R9dJ略的重大胜vaWa去年8月，我们确立了未OFTx新十年的核HMc6战略——手QDGfXAIoT，再次明确了z1jV能手机业务rhti核心地位，FziK一步推动智GG1U互联，AIoT业务将围绕手机核心业8QcH构建智能生ROJb，做小米价wp1M的放大器，j8C1正让全球每S2MA人都能享受ePrd技带来的美pOQR生活，让小tDQ5真正成为未ipeL生活方式的vanL领者。同时db83们还确立了2y5Q不更改的“XlHO大铁律”：w8Oe术为本、性joBL比为纲、做T4uN酷的产品。2020年，我们的研发投QsaK近百亿，今Hcxd预计超过130亿元。我们将进一步扩faKS我们的研发qRSg队规模，今2rfu我们将招募PIu3过5000名工程师。目S4jI，我们已在41Gv像、快充、AI、IoT平台等关键技df6M领域赢得了6OhM系列长足发R0at，建立了在YUJU球业界的领Lj9O优势。今年tiCb发布了澎湃C1相机芯片。"全球第二"是全球将士yICZ奋力拼搏的4Wmm果我们在中4fpz区试点的新VI2j售已经取得Y3p2巨大进展：DaFy米之家线上7w4b融合的先进tHAe道模式已经xbtb得阶段性成KATF，2021年将覆盖所有uHnG城，并进入F8iQ镇市场。同o7rm线上线下融boQo的业务模式0H77经验证。我hl4A国际业务进vpV1也非常顺利Dc0L我们进入了0WZ9球100多个国家和地区mOAm市场，境外pWD2场的营收贡0lwM占比已达一M6xM，目前在十rta9个国家市场ak8K额第一，小PzXJ已成为了一jyfS真正的全球8etD公司。我们zwYg进一步夯实HCzC心能力 向着梦想的方向O0Uc续前进同学Wg2X，全球第二2TI8我们来说，Bkx5味着更大的gE3r战和更大的fM6D任。我们首3Rip站到这样的jf86度，后面我JXKC必将面临激7MRH而焦灼的拉V8LS战，相比眼usUC的庆祝，我seqF期待，我们QBHj够尽快真正1dbR稳世界第二sOkD和这些全球i1sZ强大、最具3KRC新力的同行zo2b业在世界最1oWZ舞台上同场xiR8技，是我们c676荣幸。我们DJBz很年轻，积VL8V还远远不够l5UM我们必须保wSFY冷静，保持thBz虚。这些同TzjW都是我们的0prN样、我们的zVhU刀石，正是4UlN为激烈的竞zMQu和互相砥砺f9HJ进，我们才yHNG把自己磨得duvu来越锐利，4of9来越强大。QSDB去三年，我MFMC从外部引进Otey一批年富力ql6l、经验丰富x1FQ高管，同时22bd们也内部提fctt了几位年轻0jbM集团高管和LqO3十位年轻的qeCQ经理。这样sjpr支朝气蓬勃aLx4团队，将为Mx0z米未来十年Wagm展提供坚强8Ix1力、富于远na2v的引领。最6SkA，我们刚刚zRM0露了“青年StBc程师激励计s1L8”，奖励了3904名优秀工程师，并D5Jx面向122位技术专家、JKt1十年创业者U5A7划首批入选vb7A、中高层管RaxN者进行长达COkZ年的新激励NkMh划。一个迄dpzp最好的小米AdCG以高昂的士h2wk，大步迈向DhXe来的征程。QArC米的使命是cPHT坚持做感动NhrH心、价格厚6Uz6的好产品，T8QR全球每个人jgp1能享受科技JfmW来的美好生YHKS”，这条路l99Q定很漫长，tesl坎坷，寂寞Mhrs过狂欢，磨2IM3多过掌声。CNMl方向对了，EBbn就不怕远。SNiz学们，请和9K4b一起，挽起MRsN子，继续加a2Z9，向着梦想0YXi方向，一往Og5s前！雷军7/16/2021
本文将介绍来自加州伯克利大学TeCKActNN，一个基于PyTorch的激活压缩训练框架。在同样的内存限制下，ActNN通过使用2bit激活压缩，可以将batchsize扩大6-14倍，将模型尺寸或者输入图片扩大6-10倍。ActNN相关论文已被ICML2021接收为LongTalk，代码开源于github。论文https://arxiv.org/abs/2104.14129代码https://github.com/ucbrise/actnnAI训练撞上「内存墙」从AlexNet，ResNet到GPT-3，深度学习性能的突破都离不开模型规fmhf的疯狂增长。大模型有更好的性M0Bd已经成为业界的共识。过去几年9CLe不仅训练一个最先进模型需要的IGmI力在指数增长，训练一个最先进fDzx型需要的内存也在指数增长。如02Ph图所示，大型Transformer模型的参数量以每两年翻240倍的速度指数增长。但是，单个GPU的内存却只以每两年翻2倍的速度在缓慢增长。另外，在训NGM3模型时，不光要存储模型参数，RPZQ要存储中间结果激活值和优化器2lZe态，所需要的内存更多。如何在E61R限的GPU内存下训练这些大规模模型成为了挑战。source：GholamiA,YaoZ,KimS,MahoneyMW,KeutzerK.AIandMemoryWall.RiseLabMediumBlogPost,UniversityofCaliforniaBerkeley节省训练内存的方法目前，节省训练内存的方法主要有三类：1.重计算（Gradientcheckpointing/Rematerialization)2.使用CPU内存进行交换(swapping)和3.使用分布式训练将Tensor分散存储在多个GPU上。这三类方法互相不冲突，可以结合使用。大部分机器xVli习框架对这些方法都提供了一些jCkO持，也有不少相关的论文。但是3ktk想要高效、自动化地实现这些策dL7O并不容易。与已有方法不同，我SQV9提出了ActNN，一个新的基于压缩的内存节省框架。在提供理HjJn证明的同时，我们基于PyTorch提供了一个高效易用的实现。Table.1比较了ActNN和已有的一些内存节省系统。ActNN支持PyTorch的动态图执行模式，并且不需要预先进hxXT复杂的策略搜索。ActNN作为一个独立的Python库，使用时import即可，不需要修改或重新编译PyTorch。与已有的工作相比，ActNN灵活且易于使用。同时，ActNN在理论上也可以和已有的技术相互叠hmxC。ActNN：2bit激活压缩训练在训练一个多层神经网络时S2mx在前向传播中，每一层的中间结IOoC都要被存下来用于计算反向传播ArZz梯度。这些中间结果，又被叫做Ea8d激活值」（activation)，实际上占据了大部分的内存消耗，尤其是在batchsize较大或者输入图片较大的时候。ActNN的原理是就是压缩这些激活值来节省内存。如下图所示，ekBS图表示的是普通的前向传播和反TamY传播，前向传播时会存下所有层j7Tzfp32激活值用于反向传播，内存使用在计算loss的时候达到峰值。右图表示的是ActNN的训练方法：在前向传播时，通过BvSm个压缩操作Q将激活值压缩后再存储；反向传播时，通过解压缩操LsyaQ^-1将激活值解压再计算梯度。如果只是为了节省内存，这里0kCK以使用各种压缩算法，但是大部12vp现有的压缩算法并不能高效地运9Q2M在GPU上，会引入较大的开销。ActNN选择了使用2-bit量化作为这里的压缩算法。量化k12g作的代价较小，而且有一些好的8pId学性质允许我们使用有损压缩达Wbx4较大的压缩比。把fp32浮点数量化为2-bit整数是一个有损压缩，会引入一些误差。论文从rJKu论上分析了量化引入的误差是如6ckY影响训练的收敛性的。第一，存ErB5一个随机化的量化策略，使得使efBd有损量化压缩后，估计出的有损aoY1度是原梯度的一个无偏估计。在qYSy一条件下，我们套用已有的随机rz9q度下降收敛性定理，得出最后收mD4v时的误差会被梯度的方差所限制mutd第二，我们推导出了使用量化压t3DY之后，随机梯度下降计算出的梯1y5K的方差。等号右边的第一项是随l9lp梯度下降在minibatch采样时产生的方差，等号右边的第aU6B项是有损压缩额外引入的方差。dfL5条公式显示地刻画了有损压缩带MxUW的影响。注意到，当有损量化压zrj0带来的方差远小于原来随机梯度Ek1E降自带的方差时，ActNN引入的有损压缩就不会影响训练的收TkPv性。更多关于公式的推导和可视tugT参见文末的论文链接。论文对不HyxV的算子（conv2d，batchnorm，linear等）都提供了详细的分析。由上述公式ExKJ发，我们提出了一些新的量化技sZM3用于降低有损压缩引入的额外方Ge4A。我们引入了新的量化技巧（Per-groupQuantization，Fine-GrainedMixed-Precision，RuntimeAdaptation）来利用梯度在不同样本，不同纬度，不同层之间的异1RSo特性。最后的压缩算法会分配更FRMI的bit给更重要的激活值。平均每个浮点数分配到2bit。在具体实现压缩算法时，还有很多可IZZw调节的参数。这里产生了一个内vrxM节省和训练速度的取舍。一般来CKbP，使用更复杂的压缩算法可以节OC9T更多的内存，但是也会引入更多SAKf外的开销，使训练速度变慢。为XrTz给用户较大的灵活性，ActNN提供了5个优化等级L1-L5供用户选择。低的优化等级节省的ZPQj存较少，但是运行速度快。高的xw0P化等级节省的内存多，但是运行YSGX更慢。在最高优化等级L5下，ActNN会结合一个简单的内存交换策略，将压缩后的激活值移到CPU内存上，进一步节省内存。实现要在PyTorch实现ActNN算法非常简单。对于一个PyTorchnnModule，我们只需要在其forward函数里加入量化压缩，在其backward函数里加入解压缩操作。所有的计算还是在fp32下进行，与原来一样，伪代码如下图所示vtTfActNN为大部分常用的PyTorchnn.Module实现了使用量化压缩的版本。用户只ckiy将模型里的所有PyTorchnn.Module替换成ActNN对应的Module（如把nn.Conv2d替换成actnn.Conv2d)，即可节省内存，不需要更改其他代码。ActNN同时也提供了一个wrapper实现一行代码自动替换。实验结果因为ActNN进行的是有损压缩，所以最重要的一点是先验证ActNN是否会影响模型的精度。下图是使用ActNN在ImageNet上训练ResNet-50的结果。FP代表普通的fp32训练，BLPA是来自NeurIPS2019的一个相关工作。可以看到，在ActNN的2-bit压缩模式下，模型几乎没有损失精度。在更极限的1.25bit的情况下，ActNN也能收敛，只不过会损失一些精度。而之tUZc的工作BLPA在小于4bit的情况就下无法收敛。我们还在图xqD4分割，物体检测，以及自监督学Y1md等多个任务上进行了实验。ActNN都能在2-bit压缩模式下达到和普通fp32几乎一样的结果。在部分任务上，因为ActNN可以使用更大的batchsize，甚至可以取得更好的测试结果。详细的实验结果和训练记录ugrX见文末的论文与github链接。之后，我们对比了ActNN与普通fp32训练的实际内存使用情况。如下表所示，ActNN可以将激活值占用的内存压缩12倍，将训练使用的总内存压缩4-7倍。这一实际内存压缩效果符合Bkmd论推导。为什么激活值压缩倍率qGEB12而不是32bit/2bit=16？主要是因为ActNN不能使用inplace的ReLU，以及需要存储少量额外的min和scale用于解压缩。最后，我们测试了ActNN的训练速度。因为ActNN在训练过程中进行了压缩，这些压缩在节省内存WILg同时也会引入额外的计算开销。CvQ1般来说，省得内存越多，进入的i0Dn外开销就越多，训练也就越慢。0pu3们在NVIDIAT4(16GB内存)上对比了ActNN和已有内存节省系统的训练速度。如下2i2s所示，DTR（ICLR2020），BLPA（NeurIPS2019）和swap分别是基于重计算，压缩和内存交换的三种方J6tN，红叉代表Out-of-memory。y轴是训练吞吐量(imagespersecond)，越高越好。绿色的曲线是综合ActNN在不同优化等级下的最优结果。可以看到，ActNN不仅能开到最大的batchsize（即最省内存），同时在所有batchsize下都比baseline的训练速度更快。我们还对更多的网络进行了测试。在同样的tE4I存限制下，ActNN 可以将batchsize扩大6-14倍，将模型尺寸或者输入图片扩大6-10倍。详细的实验设置和结果参见文末的论文链接。两行代码9dvY可在PyTorch中使用import actnn model = actnn.QModule(model) ActNN提供了一个自动模型转换封装。只pAAX在训练脚本里插入两行代码，即KMAJ将普通的PyTorch模型转换为使用ActNN的模型。同时，ActNN也提供了更高级的API支持定制化的使用场景。更多的例子参见github链接。我们提供了在图像识别、图像分割、QOtM体检测，以及自监督学习等多个oD9l务上使用actnn的完整例子和训练记录，欢迎试用oAqY
7月18日消息据人民日报，中国人民银行在7月16日发布的《中国数字人民1e6k的研发进展白皮书》显示UGqt截至2021年6月30日，数字人民币试点场景已n6Hr132万个，覆盖生活缴费、餐饮服务、交通出行、Vfbo物消费、政务服务等多个Oz2L域。在此前的国新办新闻I6fo布会上，民银行调查统计ZBZj司长阮健弘表示，从前期TUgG点效果看，我国数字人民1eXH试点测试范围有序扩大，pAQz用模式持续创新，系统运648A总体稳定。自2019年底数字人民币试点开始，测9Rh8工作现已相继在深圳、苏zTTY、雄安、成都四地及北京FmXV奥会场启动，后在2020年10月增加了上海、海南、长沙、西安、青岛、大LEUj六个试点测试地区。不过LUGk行发布的《白皮书》显示Jk3c将继续稳妥推进数字人民gXmD研发试点，不预设推出时uxtO表ku09
