开发者
资源
【学术顶会·技术洞察】CGO/CC/HPCA/PPoPP 2023
【学术顶会·技术洞察】CGO/CC/HPCA/PPoPP 2023
发表于2023/04/12
2902

2023年的CGO、HPCA、PPoPP、CC会议已于2月25日-3月1日在加拿大蒙特利尔举办。为期五天的会议议程非常紧凑,总共有20多个session,4个Keynote。工业界参与议题的友商有:Apple、Meta、Microsoft、Google、NVIDIA、AMD、intel等。学术界有来自全球的多所高校:多伦多大学、苏黎世联邦理工学院、罗切斯特大学、乔治亚理工学院、麦吉尔大学、伊利诺伊大学厄巴纳-香槟分校、华盛顿州立大学、上海交通大学、中科院计算所、浙江大学等。

从会议内容来看,工业界当前最关注的热点方向是云计算及边缘计算、微架构及内存系统、加速器、GPUs 、新型计算架构及编译领域的PyTorch compiler、PIM、C4ML、vectorization、MLIR dialect等,涵盖了编译器与编程语言、操作系统、分布式计算等多个领域的研究。

01 Keynotes

CGO Keynote: Compilers for PyTorch

PyTorch1.0到2.0经历了四年半,这次演讲Peng Wu分享了PyTorch寻找正确编译器解决方案的5年经历总结:为什么花了这么长时间?为PyTorch设计编译器的最大挑战是什么?如何与PyTorch团队共同设计编译器的?在TorchDynamo和TorchInductor的设计中有哪些创新?编译前端

捕获部分图,而不是尝试完整图。

编译后端

  • Pytorch原生IR

  • Fast lowering by simpler decompositions, symbolic expressions, ...

商业价值与经营理念

  • 与最终用户更接近,满足客户需求;这将使其他提供商效仿这个做法。

  • 提供一个ML框架编译器,它可以在大多数(不一定是所有)情况下工作,并提供更高级别的潜在优化,然后更低级别的编译器(即加速编译器,如Davinci-compiler)将找到更多的机会。

HPCA Keynote: 微架构研究面临的挑战

关于uArch研究问题的几个有趣的观察:

  • 分支预测、代码大小、非常大的应用程序

  • 在多核上做了多年的工作之后,单线程性能又有了许多其他项目

  • 关于学术研究与工业适用性的问题

  • 在大学教学中,缺乏行业使用和依赖的模拟器

  • 现代编程语言的开销

  • 重生产力轻绩效

  • 更多公司设计自己的处理器

  • 呼吁工业界对于学术的支持

02 Panel at CC2023

Panel_CC2023.png

此次的Panel at CC2023 由来自学术界和工业界的大咖Mary Hallt (University of Utah)、Saman Amarasinghe (MIT CASIL)、Albert Cohen (Google)、Chen Ding (Univ. of Rochester) 和 Sebastian Hack (Saarland University) 带来了关于未来10年编译器领域的变化预测分享,专家们的意见主要集中在以下几个方向:

  • 如何通过自动化带来的更通用更简便的编译器构建

  • 随着AI技术的深入,一个很重要的方向就是如何通过编译来自动收集获取更多的数据

  • 编程范式,硬件架构模型是个很复杂的载体,如何在编译上消除硬件架构的障碍

  • 内存、数据局部性、安全隐私

  • 生产力

  • 人工智能的使用

目前,编译器引入了一些软件漏洞。一个可以是认证的编译器,另一个可以是源代码和二进制级别的代码优化项目,这将需要良好的指令级别表示技术(比如基于深度学习的编译器)以减少编译和运行时间,寻找MLIR,为嵌入式设备定制编译器等等。这些设备可在不同类型的单处理器或多处理器设备及其体系结构中扩展。问题从改变编程语言(传统的→函数→逻辑)开始,未来会大力研究人工智能和基于推理的设计的编译器。

篇幅有限,更多精彩内容请点击 CGO/CC/HPCA/PPoPP 2023 技术洞察 查阅~

收藏举报
Level 1
0
帖子
0
粉丝
0
获赞