微信号

功能介绍

本来想用一个标题党的标题《有头有脸的AI从业者，都去参加NeurIPS了》，但是考虑到这不符合TechVerse一贯的风格，就算了吧：）但是，如果你最近听说周围的创业者投资人去美国出差了，那么很有可能，ta正在参加NeurIPS。

NeurIPS (Conference on Neural Information Processing Systems) 在人工智能（AI）领域中占有极其重要的地位。它是世界上最著名和最有影响力的AI和机器学习会议之一。

NeurIPS 2023，即第37届神经信息处理系统年会，将于2023年12月10日至16日在新奥尔良的Ernest N. Morial会展中心举行。本次会议将包括多个环节，如行业博览会、虚拟通行证、教程、亲和力研讨会、会议环节以及在一周末尾的研讨会。

本次大会旨在汇集机器学习、神经科学、统计学、优化、计算机视觉、自然语言处理、生命科学、社会科学等领域的研究人员。会议内容广泛，包括概率方法（如变分推理、因果推理、高斯过程）、强化学习（包括决策与控制、规划、分层强化学习、机器人学）以及机器学习的社会经济方面（如公平性、可解释性、人工智能交互、隐私、安全、策略行为）。此外，还有包括控制理论、学习理论和算法博弈论在内的理论焦点。

会议的亮点之一是邀请领域内知名专家的演讲。例如，Linda Smith将介绍“一致性统计数据、自我生成的经验以及为什么年轻人比当前的人工智能更聪明”，而Jelani Nelson将讨论“草图：核心工具、学习增强和适应性鲁棒性”。另一个有趣的环节是由Alexander Rush主持的“超越规模化小组讨论会”，将有Aakanksha Chowdhery、Angela Fan、Percy Liang和Jie Tang等专家参与讨论。

NeurIPS 2023有着严格的论文提交流程，强调匿名化的重要性，以遵守双盲评审政策。会议鼓励使用大型语言模型（LLM），但要求完全透明地展示方法论。作者需要确保他们的提交符合组织者设定的特定格式指南和截止日期。

论文评选：

NeurIPS 2023 宣布了其论文奖项。本年度的获奖论文包括“时间测试奖”以及以下三个类别中各两篇杰出论文奖：

1. 杰出主轨道论文：

• “Privacy Auditing with One (1) Training Run”：提出了一种使用单次训练运行来审计具有差分隐私的机器学习系统的方案。

• “Are Emergent Abilities of Large Language Models a Mirage?”：提出了关于大型语言模型出现的新能力是否为幻觉的讨论。

2. 杰出主轨道亚军论文：

• “Scaling Data-Constrained Language Models”：探讨了在数据受限情况下扩展语言模型的方法。

• “Direct Preference Optimization: Your Language Model is Secretly a Reward Model”：介绍了一种新的优化方法，直接优化语言模型以符合人类偏好。

3. 杰出数据集和基准轨道论文：

• “ClimSim: A large multi-scale dataset for hybrid physics-ML climate emulation”：介绍了一个大型、多尺度的数据集，用于物理机器学习气候模拟。

• “DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models”：提出了一个全面评估GPT模型可信度的基准。

此外，"Distributed Representations of Words and Phrases and their Compositionality" 获得了“时间测试奖”，这是2013年NeurIPS论文，介绍了word2vec这一开创性的词嵌入技术。

主题分享：

NeurIPS 2023的组织委员会宣布了本年度的主题演讲嘉宾及日程安排。会议期间每天的主程序中都有两场邀请演讲，会议开幕日（周一）有一场。所有主题演讲都将在F厅进行，并计划于1月底向公众开放录像。

以下是一些亮点演讲及其简介：

1. 周一 - Björn Ommer:

• 主题：“NextGenAI: The Delusion of Scaling and the Future of Generative AI”，探讨了深度生成模型在计算机视觉和学习中的变革性作用及其对未来交互方式的影响。

2. 周二 - Lora Aroyo:

• 主题：“The Many Faces of Responsible AI”，讨论了在机器学习中将数据多样性和文化意识融入AI系统以提升其可信度和安全性。

3. 周二 - Linda Smith:

• 主题：“Coherence statistics, self-generated experience and why young humans are much smarter than current AI”，展示了婴幼儿日常生活经验的自然一致性结构如何促进从稀疏数据和一次性经验中快速学习和创新推广。

4. 周三 - Jelani Nelson:

• 主题：“Sketching: core tools, learning-augmentation, and adaptive robustness”，介绍了数据“草图”的核心工具和最新进展，以及如何增强草图算法的性能保证。

5. 周三 - 超越规模化小组讨论:

• 主持人：Alexander Rush，与Aakanksha Chowdhery、Angela Fan、Percy Liang和Jie Tang等人进行讨论。

6. 周四 - Christopher Ré:

• 主题：“Systems for Foundation Models, and Foundation Models for Systems”，探讨了基础模型如何改变我们构建的系统，并介绍了新型架构。

7. 周四 - Susan Murphy:

• 主题：“Online Reinforcement Learning in Digital Health Interventions”，讨论了在线强化学习算法在数字健康干预中的应用及挑战。

大厂的参与：

在NeurIPS 2023上，Google DeepMind将展示其180多篇论文和多项前沿AI模型演示，涉及全球天气预测、材料发现和AI生成内容水印等领域。他们还将展示最大且最强大的AI模型Gemini。研究重点包括跨模态学习、AI安全性、可解释性以及通用AI系统的发展。例如，UniSim是一个模拟现实世界互动的通用模拟器，而Tracr是一种新的解释性方法评估工具。此外，DeepMind还将展示其对全球AI社区的支持，包括支持多元化AI和机器学习社区的发展。

在NeurIPS 2023上，微软展示了8篇研究论文，涵盖从自动生成文本到机器翻译、文本图像生成、无监督机器翻译的理论，以及离线强化学习等多个领域。这些研究探讨了AI/ML技术的最新进展，包括如何提高模型的性能、可解释性和鲁棒性。其中一个重要的创新是AR-Diffusion模型，用于文本生成，还有针对长期模型编辑的GRACE方法，以及互动估计的新概念和度量标准。

在NeurIPS 2023，微软展示了以下8篇论文：

1. AR-Diffusion: 扩展扩散模型到文本生成，通过自回归扩散改进顺序结构处理。

2. Dissecting In-Context Learning of Translations in GPTs: 探索在GPT模型中通过上下文显示翻译的重要性。

3. TextDiffuser: 通过两步流程改进图像中的文本生成，使用扩散模型创建图像。

4. A Theory of Unsupervised Translation: 提出一种框架分析无监督机器翻译，尤其是在源语言和目标语言不相关时。

5. (S)GD over Diagonal Linear Networks: 研究梯度下降和随机梯度下降中的随机性和步长对对角线性网络的正则化影响。

6. Adversarial Model for Offline Reinforcement Learning: 引入ARMOR，一种新的离线强化学习框架，通过对抗性训练提高策略。

7. Aging with GRACE: 提出GRACE方法，作为一种长期模型编辑技术，通过在流错误中进行局部修正。

8. A Unified Model and Dimension for Interactive Estimation: 探索互动估计概念和新的不相似度维度度量，了解其学习框架中的易用性。

NeurIPS 2023 显著地表现出了AI研究领域的最新趋势和发展。与往年相比，这一届NeurIPS的一些关键特点和变化包括：

1. 论文数量和参与度的增加：2023年，NeurIPS接收了3,584篇论文，举办了14个教程和58个研讨会。与过去相比，这反映了AI领域的显著增长和研究活动的增加。

2. 作者数量的增长：2023年的平均论文作者数增加到了4.98，而2022年为4.66。过去十年中，每篇论文的作者数量持续增加，十年间增长超过50%

2024年，AI会走向何处呢？

路过