So-Large-LM-Task10: 大模型的环境影响
输入“/”快速插入
So-Large-LM-Task10: 大模型的环境影响
飞书用户68501月30日创建
Environmental Impact / 大模型的环境影响
我们已经讨论了 LLM 的技术、有害性、法律问题。最后，谈谈 LLM 的环境影响。那么，LLM 的环境影响是什么呢？
一个答案是“Climate Change”。
•
我们已经比工业革命前的水平高出 1.2°C
•
需要保持在 1.5°C 以下以避免 climate crisis
•
根据目前的 trajectory，在未来几十年内将达到 2.7°C
另一方面，我们看到训练 LLM 所需的计算量大幅增加（从而导致二氧化碳排放）。以下是一些数据：
•
•
本章将学习如何将大语言模型与环境影响联系起来。
学习目标：
•
获得 holistic understanding of 大语言模型对环境的影响。
•
能够计算训练特定语言模型产生的排放量。
•
获得监测和减轻（负面）环境影响的意识，甚至个人责任感。
Caveats:
•
本章的重点是了解（环境）costs。LLM 也有 benefits，需要在 tradeoff 中加以考虑。如何做到这一点非常具有挑战性。
•
与此同时，世界人口的 benefits 和 costs 往往非常不均衡，costs "falling disproportionately on the poor and vulnerable" / “不成比例地落在穷人和弱势群体身上”。
•
所提供的所有数字都是估计，因为：
◦
缺乏对数据中心的监控和信息
◦
这些信息通常是私有的
◦
很难用 amortized costs / 摊余成本进行信用 / 责任分配（例如，建立数据中心 + 训练多个模型，训练一个模型 + 使其 adapt 许多 downstream tasks）。
Gloss:
amortized costs / 摊余成本 （就是分摊销售）
摊余成本，简单来说就是把理财产品在时间尺度上分为几个时间点，在每个时间点它实际上所值的钱。
例子：你用900元买了一张面值800元，名义利率（年）10%，为期3年的债券。考虑到通货膨胀（现在的钱没有未来的钱值钱），所以要计算实际利率r，即
（你是用
块钱挣了 1 年后的 80 块钱，用
块钱赚了 2 年后的 80 块钱，...）。经计算可得，3年内，你的（因为你实际上是花900买的800的债券）实际利率r为5.38%（名义利率10% - 你的实际利率5.38%
通货膨胀率）。那么，第0年末（购买时）该债券实际所值的钱，即摊余成本为900元；第1年末该债券实际所值的钱，即摊余成本为868.42元；第2年末该债券实际所值的钱，即摊余成本为835.14元；第3年末该债券实际所值的钱，即摊余成本为0元。
Life Cycle Assessment
Philosophy 角度
有关 AI 和 ML 对环境影响的大部分工作都集中在 Greenhouse Gas Emissions 上（导致 climate change），但采取系统方法来思考问题也很重要（尽管很难）：
IT 设备整个生命周期（如生产、使用、报废）的全部环境影响（排放、水足迹）。
Life cycle assessment
生命周期评估（LCA）（ISO 14040 和 14044）为此提供了一个框架。
需要 "从系统的角度 "来避免 "一个问题的解决方案会产生几个新的、往往被忽视的问题"。
Life cycle of IT equipment
•
生产：
◦
原材料提取：提取矿石以及转化为金属的所有过程
◦
制造：包括制造设备的所有过程