上海AI lab什么来头，好厉害，挺高产?

二维码

刚接触自动化驾驶，阅读第一篇paper是ECCV2022 《BEVFormer》。被它Spatial Cross Attention采样方式折服，与传统spatial model(maxpool,avgpool,conv)来说是很大创新。后面一直关注上海ai lab，ECCV2022：《ST-P3 》，ECCV2022 《PersFormer: 3D Lane Detection via Perspective Transformer and the OpenLane Benchmark》，ICLR 2023：《PPGeo》列举不是很全，
arxiv产出更多了

原文地址：https://www.zhihu.com/question/583550980

大力水手

从一个本科实习生的视角，尝试回答一波:
1.  比较出色的工程能力:
大抵是源自古早openmmlab时代(mmcv，mmdetection，mmseg..)的技术积累和“独特”代码风格。pjlab有一大批工程师的日常工作是造各种轮子。
大模型时代，最重要莫过于基建问题，于是迫切需要一系列内部工具包来不断优化算法框架。期间的成果也部分开源出来，生态社区也在逐渐形成中:比如微调框架xtuner，大模型测评框架opencompass等等，封装严密，上手友好易用。
(代码好不好改，那又是另一个令人心碎的问题了。不过个人猜测，社区要求抛弃mmengine呼声还是蛮大的，代码变得更user friendly，乃至更researcher friendly是必然趋势)
这样做其实有很多潜在的好处:

• 代码的可维护性很好，更新迭代非常频繁。这点强于在学校小实验室里单打独斗，搞得代码只能去参考一些并不怎么高效的开源框架。
  
• Researcher乃至Intern都很容易借助这一条工具链，快速落地一些idea。当代码实现有困难时，也可以找对应的工程师团队对接，随时都可以问一些框架代码修改/实验超参经验/数据配比消融等等难得的工程经验。这个非常难得，若无有大量工程实践经验从何得知。于是发起paper来也是事半功倍。这样形成了一条正反馈闭环: 研究和工程互相反哺，携手互进。实际上，这也是最吸引我的一点，故而我没有选择去高校读博，而是来这里联培。
  
• 见贤思齐焉。能从一开始就培养比较成熟的代码实现能力。在学校里，我大三上写项目只会用什么pytorch lightning，llama factory哈哈哈哈(捂脸)。现在耳濡目染了不少分布式优化方法，看问题的视角也更加实际了，知道什么样的research是真需求，不再去沉迷于雕虫小技的"术"，而是更愿意追求时代发展的脉络，弃术重"道"了
  

2.  Research比较偏工程
显然，pjlab学术水平距离Openai，Anthropic，Deepmind，Meta FAIR还有不小差距，无需赘述。
国内大环境还是比较浮躁。希望有人能踏踏实实的，做有意思，有开创性的工作。老是去追赶别人的工作是比较无聊的事情
举例说明: 我一直很欣赏上面四家的可解释性工作，但在pjlab好像从来没见到该方向出色的工作(纯个人喜好问题)。此外，强化学习方向好像也是不温不火。
人数最多的最多的可能是数据侧(造各种benchmark，评测任务自然是非常重要且困难的)，训练基建侧的团队(各种算法框架，训练，数据合成，这个也是费心费力)。显然，一言以蔽之，还是比较工程导向的。
现实的引力还是比较大的，比较天马行空的想法可能还是难以孤注一掷的投入(当然，脚踏实地，也有其道理，天马行空的idea也要有其现实意义才行)
LLM团队的目标大抵是对标llama，继续做预训练的决心看上去很大。VLM团队此前internvl很出色，恐怕是pjlab的一张名片了。(要和Qwen2 vl对比又是另外一个故事了，总是长江后浪推前浪嘛)

• 上海ailab和大厂ailab的区别还是比较明显的，(deepseek技术一直比较潮，qwen家产品一向性能很好，pjlab可能不太主打卖模型? doge)。
  
• 和高校对比也是比较明显的。学校里实验室喜欢玩lora微调，各种幻觉，无论是乍一看还是再一看都很水水的agent，我实在提不起兴趣。(还有各种XPO，这个更有意义一点，但感觉已经卷麻了，用起来伯仲之间，算法的提升远小于更高质量的数据)
  

3. 实习体验杂谈

• 显卡超级多。好棒，真棒，太棒了。(美中不足是集群管理略微混乱，建议给新入职朋友搞点集群操作课，总有人糊里糊涂的搞错)
  
• 外界学术交流还算比较多。会不定期邀请外面的学者来访谈。希望未来可以加大交流频率和力度
  
• 忍不住对比一下MSRA。有一说一，想念微软的茶水间和食堂，懂得都懂(流泪)，MSRA浓浓的人文关怀味，非常怀念。不过ailab在生活上也做的越来越好了，开始有各种实习生娱乐活动小群，不过和微软多年的沉淀还是比较难比的啦。做科研卷起来的时候，自然也不太在意这些，毕竟，"以中有足乐者，不知口体之奉不若人也"。
  
• 一个很好的趋势是，原本组间界限分明的情况正在逐渐被打破。各组各自为战的情况在过去比较普遍，现在开始类似业务的部门开始合并了? 如果所有做大模型研究的人都能被放在一起，无论是VLM还是LLM，应该都能互相有所裨益。
  

希望上海ailab越来越好

同花顺

这个问题下的回答有点 negative，不过千人千面，哪怕在一家公司，不同的组也是千差万别，别的不了解，不妄加评论，只说说我了解的。
我和 Shanghai AI Lab 的 LMDeploy 团队比较熟悉，在公司内外也参与过 LMDeploy  的二次开发工作。
https://github.com/InternLM/lmdeployLMDeploy 大概率是最适合国内的开源 LLM 推理框架，易用性好、性能强。TurboMind Attention 2.1 支持 sm70 sm75，性能超过 Flash Attention 2，并且调度十分高效。AWQ 等 quant kernel 在开源实现中目测最强，近期还增加了 GPTQ 支持和小 batch 的优化，同时引入了 NPU 支持。VLMs 已成为国内的事实标准，ModelScope 的 Swift 默认采用 LMDeploy 作为 VLMs 的推理引擎。
关于性能 benchmark，可以参考 BentoML 之前的 blog：
Benchmarking LLM Inference Backends 简而言之，性能遥遥领先。坦率地讲，目前还存在不少优化空间，比如功能上支持 FP8，TurboMind 上支持 MOE（目前在 PyTorch Engine 上支持 MOE），针对 H100 做优化等等。后续如果能在可扩展性上发力，让新增模型变得和 vLLM 一样简单，几乎就没有任何短板了，我非常看好 LMDeploy 未来的发展！
和 LMDeploy 团队接触下来发现，他们团队人员精简，每个人都很强，技术热情 max，因为我关注了 LMDeploy 的 repo，经常后半夜还能收到 PR 的 email  通知，这种完全不是被 push 着干，而是出自技术热情，是非常令人敬佩的，当然工作生活平衡也是非常重要的。关注高性能 CUDA 编程的可以关注 lzhangzz
https://github.com/lzhangzz力神几乎是我见过国内写 CUDA 最厉害的人之一，我当初了解到这个项目，也是因为有人和我说，「Shanghai AI Lab 写的 AWQ kernel 比 NVIDIA 还快」，后来发现确实强。
https://github.com/grimoireqiao 则是国内对 Triton 最熟悉的一批开发者了，也推荐大家关注。

队长是我

最近收到截屏版本和一点小道消息，这里做下更正。
回忆版内容就删除了，仅保留之前帖子评论
1.PKVD 论文的作者的文章不要看，基本复现不出来。应该是这篇文章，Point-to-Voxel Knowledge Distillation for LiDAR Semantic Segmentation (CVPR 2022)。刚看了下，作者已经把issue关了，https://github.com/cardwing/Codes-for-PVKD。
2.SCPNet 被法国的一个组给锤了。SCPNet 应该是这篇文章，SCPNet: Semantic Scene Completion on Point Cloud (CVPR 2023, Highlight)。同样，作者已经把issue关了，GitHub - SCPNet/Codes-for-SCPNet: SCPNet: Semantic Scene Completion on Point Cloud (CVPR 2023, Highlight)。
另外，锤他们的法国论文应该是这一篇，PaSCo: Urban 3D Panoptic Scene Completion with Uncertainty Awareness，https://arxiv.org/pdf/2312.02158.pdf。在论文第10页的“6. Implementation Details”章节的最后一小段有这么一段话，“For SCPNet, despite many email exchanges with the authors we were unable to reproduce their reported performance using their official code as also mentioned by other users”。
根据帖子内容和帖子里面的评论，有问题的组应该是ADLab组ADG@PJLab，他们的其它github repos 包括但不限于，
GitHub - PJLab-ADG/neuralsim: neuralsim: 3D surface reconstruction and simulation based on 3D neural rendering.
GitHub - PJLab-ADG/3DTrans: An open-source codebase for exploring autonomous driving pre-training
GitHub - PJLab-ADG/OpenPCSeg: OpenPCSeg: Open Source Point Cloud Segmentation Toolbox and Benchmark
附带躺枪的组
1.OpenDriveLab, GitHub - OpenDriveLab/UniAD: [CVPR 2023 Best Paper] Planning-oriented Autonomous Driving 主要还是论文中没写明细节问题。至于是不是学术不端，参考上面提到的第二条。
历史不良记录
1.根据下面知友的帖子和评论，2019年CVPR有哪些糟糕的论文?，里面提到的论文应该是这一篇，Finding Task-Relevant Features for Few-Shot Learning by Category Traversal (CVPR 2019 Oral)，https://arxiv.org/abs/1905.11116v1。一作的名字叫 H. Y. Li。不知道是不是那位李姓老师。
下面是原帖子内容












另外，商汤财报和hugging face的大模型消息，


截图上面的是商汤财报里面的内容
https://oss.sensetime.com/20240425/90d4a76b9f63491dd400a0dc99586919/2024042502572_c.pdf截图下面是 hugging face 里面的说明
https://huggingface.co/internlm/internlm-20b那么，有多少商汤的人给ai lab打白工？ 我旷视，地平线也想给ai lab打白工

检验医师

我就问一句，全国有哪个实验室和上海AI Lab一样钱多事少的？
钱比他们多的P事也多，事比他们少的钱给不够。他们的研究员工作很自由，没啥KPI考核，正常上下班，同时钱和计算资源拉满，不让人用爱发电。我听说的是普通博士研究员给的是80w+。
现在他们和复旦一起做的MOSS，他们自己的openMMLab，internGPT都是中国人工智能领域非常重要的组件，最近还拿了cvpr2023最佳论文奖。我没记错应该是继kaiming在2015年以后第二次颁给国内机构。
现在看人工智能领域像上海AI Lab这样集中力量办大事才是正解。未来产业升级肯定和AI脱不开关系，如果要和美国掰手腕靠的得是创造力、资源整合能力、团队协作能力，靠996卷毫无意义的OKR是没用的。
不知不觉我身边已经有很多人在上海AI Lab工作/实习了，感觉那里就像是AI的黄埔军校一样。唯一的疑惑就是上海这样大成本的投入能维持多久？会不会新来一个书记觉得这玩意没有产生收入就砍经费呢？
考虑到现在这个问题下大部分的回答都是“AI lab不赚钱，是商汤的不良资产”。我觉得AI lab未来可能危险。其实AI lab已经做出了很多有高价值的东西，就是不体现在公司账本上而已。唯变现论的短视思潮已经让我们失去了openAI，现在我们养出了一个最接近openAI的机构，还是要担心被自己人阉割掉——甚至不用美国出手。

感恩由您

来头是指？人才的来头很明显（从你列的paper的author list里）哈，消化了一些商汤系的优秀青年学者；制度上的来头… 不搞行政描述不准确，反正就是一个级别挺高的国家实验室就是了 ；前年找faculty position的时候大概social打听过一些，那时候给人的感觉是不对外招聘，大朋友们不同信源略有差异但大差不差，x年有x个phd hc云云，和其他国家实验室规模听起来是互相印证的，这两年也听到很多小朋友的描述，大多是心向往之，想去那读书，想分流去那云云…