本书叙述是人工智能神经网络的发展历程，时间线从上世纪60年代“感知机”开始讲起，一直到2020年（所以，ChatGPT发布后爆炸式的发展并未涵盖）。本书源于作者作为《连线》杂志和《纽约时报》报道人工智能的8年间对400多人的采访，以及100多次的专访编撰而成，阅读群体面向大众（所以技术门槛不高），叙事主线清晰，书中含有大量的人工智能大佬的观点和动向，值得一读。我读本书和《AI 3.0》一起阅读完成，两本书比较类似，都是叙述人工智能科技史，但本书重叙事而轻技术，而《AI 3.0》这本书是边叙事边讲技术。 为什么读人工智能历史？我认为单纯学技术是学习WHAT，HOW的问题，而读历史则是思考WHY的问题。神经网络的概念20世纪50年代就已产生，但在其后50多年时间里，人们并不相信这项理论能有什么应用前景，直至最近10年的人工智能浪潮大发展。读这些历史才能明白： ✅ 1. 基础科学理论非常重要，但是它的重要性会滞后体现。（“神经网络的概念可以追溯到20世纪50年代，但是早期的开拓者从未让这项技术像他们希望的那样工作。到了21世纪，大多数研究人员都放弃了这项技术，认为这是一条技术上的死胡同，并对研究人员在过去50年间试图让数学系统以某种方式模仿人类大脑的自负探索感到困惑。”） ✅ 2. 在漫长的“无成果期”，总有些“疯子”还在一如既往的坚持，最后也是这些“疯子”最终改变了世界。向辛顿这样的在漫漫长夜里依然砥砺前行的科技先驱者致敬🫡 ✅ 3. 伟大的科学发现都是来源于“直觉+信仰+偶然”，而非“理性+实验+计划”。前者为后者提供了方向，而后者为前者提供了验证方法。所以，“科技孵化土壤”不在于规划有多好，关键在于能容纳不同意见，尊重人才，有成熟的投融资体制等。 ✅ 4. 开放和连接对于科技发展极为重要，具体表现在人才，数据等关键科研要素的自由流动和开放。 人类学习和认知复杂事物之所以可能，是因为几百万年（甚至更久）的漫长时间里，我们的祖先进化出了具备如此“学习能力和容量”的大脑。机器学习大概也是同一个道理，只不过它的演化速度远远超出人脑，也许不久的将来，在很多领域的智能将会超过人脑。DeepMind和OpenAI这种公司的目标就是不遗余力的实现通用人工智能，并以极快的速度进化。“一旦超级智能到来，人类如何与它共存？”变成了人类是“超越”还是“毁灭”的重大问题。对此，马斯克给出的答案是这需要大脑和机器之间的直接联系（脑机接口），如此一来人工智能变成了大脑的“自然延伸”，而不是“终结者”。 “对人工智能发展是否有信心”这个问题说到底是“对人类自身是否有信心”，相信人类可以战胜自身的贪婪和恐惧，相信人类可以再次有效“制造和使用工具”突破自身的生物脑的智能局限，迎来全新的时代。对此，我们真的相信吗？（另外一本哲学论文集《人工智能的神话或悲歌》供参考） 我们这个时代的宿命就是，一切皆有可能。拥抱变化，拭目以待吧。
“2024年，我的打怪升级指南” 首先我自诩是个热爱思考，喜欢独立思考，常常思考的人。 客观上，医生也在体检后和我说，我是个思虑过度的人，要小心用脑，有些时候还是要让自己放松放松，尤其是睡前，还是休息重要一些。所以大学毕业前我常常偏头疼，主要由于神经紧绷， 过急躁，过强的好奇心等。 在这篇文字里，我想整理我今年蜕变（质变）比较大的主客观原因，为我自己的下一次或者说是很多很多次的质变、量变作个理论依据。 为此我不断以自己作为实验对象（主要我也没钱实验别人，本事小了点）。 不断地自我实验，不断记录正反馈和负面反馈，在客观上，拥有更多的样本数据，真实准确的参考标本。 1、允许可能性存在，允许一切发生。 允许不等于认可，不等于尊重，不等于理解。 但我先允许这件事发生，允许任何事情发生。任何事发生，任何东西的可行性，可能性，都只是“允许”。 允许和认可是两码事。 允许是有边界的 ，这个边界是“我认可客观规律本身存在、我理解世界上的很多事情不可人为，或者我不可为。” 举例。 下午和朋友逛超市，我说有些时候我们的行为代表了我们的观念，或者我们默认这件事是有利于我们的，因为人类（动物应该都如此）的本能就是趋利避害的。 所以当一件事不合常理，很有可能只是不合我们自己的道理，不合我们自己认定的道理，而不是因为这东西本身没道理，也不是因为这东西本身没有价值。 但朋友会提出很多的观点，兴许会反驳，兴许会认可，兴许保持中立。但那又有什么所谓呢？ 道理或者说本质，其实在很多时候的交流过程中并不重要，或者说，是相对没那么重要。在我眼中，更重要更重要的，是“允许”。 对的，我允许， 我允许一切发生。 无论对方是正确，错误，不偏不倚。我允许。 听着似乎有点自大，自傲。什么叫你允许？这事情是因为你允许所以发生的么？这事情因为你不允许所以就不存在了么？ 嗯，不是。但我面对任何事情，选择了一个比较淡然的态度，“允许发生”。 2、数学是我的思维模型之一，并且是前三名。 近期由爱使用数学，与数学有关的一切。举例，符号。主要有“＞、＝、≠、＜、∈、不属于；图表。包含和被包含关系图、折线图、表格。 数据精确能让我冷静下来；数据客观能让我更加的理性；数据样本足够多能让我的决策逻辑更为符合规律，符合趋势，有点”洞见“之意味。 尤其是不等式。这个月用的格外多 。 比如。 好用≠贵；贵≠好用；便宜≠不好用；不好用≠便宜；便宜≠好用 发现了么？不等式之间左右是可互换的，当然了如果你愿意玩一下，会发现等式之间也是可以左右互换的。 而当你开始互换，就发现了，原来逆向思维也出现了。你开始逆向思考，你不一定是顺着事物发展顺序 ，顺着阅读顺序思考。 我们常态化的学习和看问题，基本是从开始到结束，很少有人从结束看开始，也很少有人从右往左边去推理事物。 当然了，最省事的方式当然是，按最常态化的方向去做。但逆向的思维，逆向的思考逻辑和习惯，在生活的重要领域， 价值斐然。 因此，多用数字符号，多用精准数字，客观，理性。客观上来说，非常的重要。 不一定要用到高数、奥数去理解生活，但没有符号，没有对数字、数据的敏感度，思考的方向和逻辑，生活确实相对无序（相对懂数学和爱数学的人）。 3、祛魅的前提是拥有，或者拥有过， 感受和体验过。 祛魅，我理解的是祛除光环，祛除滤镜，祛除有色的眼镜。 举个不那么准确的例子，没钱或者穷人，对名牌会很大可能的崇拜，甚至羡慕。由于自己没有拥有过，不理解名牌的底层逻辑，以及受众。 存在很多的认知盲区的前提下，就容易崇拜容易想要， 也容易做出不理性不客观的判断。 但深度接触过名牌啊，享受过，感受过，体验过，得到过；祛魅就容易了许多。 所以祛魅的本质可能是指“接触过真相，了解过真相，知道真相或者大概知道真相”。 总之，祛魅，是认知的提升的过程，是质变和量变发生了变化。而祛魅需要多了解，多探索和搜索相关的东西，因为认知的提升， 周遭也发生了显著的变化。 所以当我不理解一件事，或者我想要崇拜，羡慕ABCD的时候。我就可以试图 靠近真相，试图拥有，试着去体验和得到。 得试。多尝试 ，10次为一个小周期。当然3次也可以。反正要试。菜就多练，试了再试，多多去试。 4、质变和量变的辩证关系，要求我必须客观，并且主动的执行。 客观上我这人特别爱自我较劲，以前过的有些拧巴，因为认知和行动力总是不匹配。想要的特别多， 但认知没有学会拆解，行动也没有学会拆解。 这里的拆解，更多是一分为二的看问题。把一件事，或者ABCD变成两件事，一个简单，一个难。 此处，难易都是相对。 如今，对量变和质变的深入理解。让我要主动地执行，我也就不那么迷茫，因为我知道“接下来应该走向哪，怎么走，怎么走的会更稳”。 量变：事物在数量上的增加或者减小。通过积累和改变数量上的差异来表现 ，是事物量的规定性的变化。 质变：事物在性质、结构、特征上发生了彻底的变化，使之具有全新的品质和特质，是事物质的规定性变化。 由于客观上，计划赶不上变化。所以我会先制定基础计划，在情况发生变化后，允许B、C、D的计划的存在和运行。如果客观没变，最开始的基础量没变的前提，我就会保持原计划。 不变应对万变。如果没人给予我方向，那么能让我往好的方向改变的，那就是适合自己的方向。 质量的辩证关系：1、质变反作用于量变；2、质变和量变相互转化；3、量变为质变提供条件；4、量变是质变的基础。 因此，在今年剩余的9个月里，我会遵循我以上的四个大点，逐一实践，彻头彻尾的改变，需要以上四个大点的理论依据支撑。 写在最后： 我自知我并不完美，我自知我只是个普通人。 但我更知道，变化始于量或者质的变动。 如果我奢求彻头彻尾的变化，那么我必须有彻头彻尾的变化的理念，量，以及质。 那么，加油啦，我也还在升级打怪的路上。如果这篇文字让你有所思考或者触动，点个赞再走啦。
🤔目前，最热的技术是什么？毫无疑问：人工智能。那么，世界范围内主要的人工智能玩家有哪些？哪家公司在这场脑力与毅力的角逐中脱颖而出？人工智能还会经历第三次寒冬吗？中信新书《深度学习革命》有很多有趣的答案。 ☑️本书源于作者为《连线》和《纽约时报》报道人工智能8年时间里，对400多人的采访，以及专为本书进行的100多次采访。本书重点不是介绍技术，而是人工智能背后参与者、支持者们的故事。因此，很鲜活，生活细节丰富。以前在互联网上、新闻上才能看到的科学家、资本巨鳄的名字还原到日常生活中来，变得有血有肉。 📚书中罗列了人工智能的发展时间线，时间跨度为1960——2020年，中间涉及30个重要节点年份及发生的重大事件。 🌏世界范围内为人工智能研究和作出重大贡献的参与者有哪些？谷歌、DeepMind、Facebook、微软、OpenAL、百度、英伟达、Clarrifai、奇点峰会等。 🔮人工智能背后的人们和故事：《辛顿与人工智能的第一次寒冬》《DeepMind的野心与谷歌的收购》《人机争夺战：Facebook VS谷歌》《神经网络的扩张：新药研发技术》《谷歌的傲慢》《武器化》《被低估的人类》…… 🤔“深度学习之父”的辛顿竟然是无法坐下的人。由于幼年受伤导致无法坐下，身体状况让他每天都承受煎熬，然而，他和他的学生却改变了机器看待世界的方式。百度、谷歌、微软、DeepMind曾经在美国加州进行了一次秘密竞拍，最终谷歌从4家竞拍公司胜出，以4400万美元的价格收购了辛顿和他两名学生组成的研究团队，从此拉开了全球高科技公司人才竞争的序幕。 👌DeepMind推出了震惊世界的阿尔法围棋，用强化学习技术发现了50年来最快的矩阵乘法算法。 💎在Facebook成为世界上最强大的公司之一后，扎克伯格下定决定加入人工智能领域竞争。 🎗超级智能，潜伏在未来的危险。马斯克一直认为，人工智能的进步实在太快了，这些技术可以在任何人意识到发生了什么之前，从无害跨越到危险的境地。 🌈2019年3月27日，有“深度学习三巨头”之称Yoshua Bengio、杨立坤、杰夫·辛顿共同获得了图灵奖。在颁奖现场发言时，杨立坤被问及超级智能的威胁，他说，这在短期内没有太大意义但如果你要着眼于未来，这是一个完全合理的担忧。
“要犯野心的错误，而非懒惰的错误” 1、辛顿的自信和毅力是惊人的，他失去了两名妻子，无法坐着工作生活，研究着别人眼中如同荒诞一般的课题，但这恰恰印证了保罗格雷厄姆的“天才公交车票理论”。 2、理想主义精神和愿景具有强大的感召力，这是纯粹所带来的力量，OpenAI运用的恰恰是这种能力，但如果他不能保持，他依然可以被颠覆，开源的力量是惊人的。 3、书中大佬对顶级人才的争夺可谓无所不用，为了让一名加拿大教授可以成为咨询顾问，陆奇甚至收购了一家公司。 4、美国的多元主义和更包容的科学人文环境具备强大的包容力和吸引力，她可以吸纳那些当时看起来“极端的疯子”，但历史却一再表明，疯子们的正确性和前瞻性。 5、陆奇的理想之一是做人工智能，如果没有那次摔伤，他也不会去百度做人工智能，而如果还在微软，他的这一理想现今已经实现了吧。 6、起步早投入早并不一定就能保持领先，这突变的技术节点上谁能抓住机会，谁就有机会胜出，但始终在牌桌上很重要。 7、小扎是个精致的利己主义者，这某种程度上是一种短视。
四星！关于AI近十年的发展，本书有发言权。作者是知名科技记者，素材是他为《连线》杂志和《纽约时报》报道人工智能的八年间对400多人的采访，以及为本书专门进行的100多次采访。书中“生动翔实地讲述了这段历史：一群少数派学者，在长期不被主流学术圈认可的情况下，坚信深度神经网络会改变世界，并在很多年的时间里在黑暗中持续探索，终于推动了人工智能技术在语音识别、图像识别、自然语言理解、博弈论、生物制药、搜索、推荐和自动驾驶等诸多领域取得改变世界的突破性进展。”
九十年代读硅谷热，被技术震撼，被人震撼。读前面几章自然想起之前的感受，但是经过二十多年技术的浸润，尤其在IT工作多年以后，第二次平静许多。直到第十章 alphago的胜利开始，一下子被这本书紧紧地吸引了。像这个世界上大多数的事物，AI的两面性被作者很好地阐述了。也能感到作者尽可能客观地陈述当今AI技术的兴起努力突破和局限，因此让阅读非常有趣，因为AI历史本身是一个很有趣的思维过程。 二十多年前读大学有研究生读人工智能，一直视为进步。如今经历了二十多年对技术的欢呼，会听到一个声音，慢点，再想一想。 过去的二三十年，有过几次大欢呼，比如全球化，可是全球化带来的结果是什么，比如比特币，又如何？个人觉得如今人太容易被结果收买，比如机器赢了人类下棋，觉得这只是在数据积累上机器获得的进步，觉得要和人类智能联系一起，好像还有距离。alphago在进步，作为对手的人类棋手也在进步。比如也有新闻AI绘画赢了绘画比赛，个人经历用传统媒介画画到电脑绘画再转回到用传统媒介作画，个人感受完全不同，绘画本身是画家的表达，笔刷在画布上运动的过程是画家的体验和释放，这个和电脑作画完全不一样的体验，画作有时只是一个随机的结果，因为画家可能尝试了几次画类似题材，画家画了十几二十几甚至更多的画作才有几幅自己满意的，甚至满意这个过程，或者从各个不同的画作中看到不同些微的满意。画作本身不是画家追求的全部。 读这本书，有感觉在那些AI实验室里，AI技术也许到了某种有点令人担心的阶段，只要想想马斯克对AI的担忧，他看到了什么，不觉得他在耸人听闻。某种角度，非常感激这本书让人窥见一幅比较客观完整的，也是非常当下的AI技术画面。 如今网络呈现的ChatGPT 来临，有人焦虑，有人欢呼，可是想想，人的位置在哪儿，尤其这个世界有那么多那么多的人。很难想象这是人类未来。
1.纵观本书，发现一个现象，即搞深度学习或人工智能研究的人员主要来自于美、英、法，其次是中国、俄罗斯，而其他国家的人员少之又少，尤其是工业实力很强的德国却没出现这方面的人才，似乎也没有加入这个圈子互动。前些年，德国政府提出了“工业4.0”的概念，这当然是德国人的执念，私自猜测大概是理念的差异与认知的分歧，从而导致走上不同发力方向。从目前看，“协约国”暂时领先。 2.游戏改变世界的说法似乎并不是玩笑。当老黄开发GPU用来搞图形渲染的时候，却无意打开了深度学习专家用其芯片进行神经网络运算的大门，当GPT横空出世一举震惊世界的时候，游戏改变世界成了现实。 3.opengAI开发的GPT如今已闭源了，并在商业化的道路上越走越远，对此众多网友嘲讽opengAI可以改名为closeAI。虽然开源有开源的好处，比如可以集全球技术精英的智慧去完善提升项目的能力。但从经济学的角度来理解，闭源也有着闭源的运行逻辑，闭源避免了众多搭便车的行为，尤其在找到商业支持后，充足财力的保障有利于项目的长远发展。 4.百度在书中屡次错过机会，而从百度这些年的所作所为看，多次错过机遇看似偶然，实则必然。对于百度，不想多说什么，这样的公司完蛋也没有什么可惜的。
这是一本全面介绍人工智能在全世界发生发展的书。书中介绍了人工智能的不同流派及当家研究学者。世界级大公司为了占有人工智能高地所投入的资金及相互竞争。回答了超级人工智能是否对人类有害的关键问题。推荐。
故事要从深度学习之父杰夫·辛顿的“卖身”一事说起。 2012年杰夫·辛顿和他的两个学生发表了AlexNet论文，这是计算机科学史上最有影响力的论文之一，它的重要性很快得到科技巨头的关注。百度、微软、谷歌、DeepMind都想把他们从多伦多大学带到产业界。辛顿灵光乍现，以他们三个人的名义成立了一个空壳公司，让这些公司以竞拍的方式收购它，最终谷歌以4400万美元赢得了这场竞拍。 2007年的NIPS大会上，辛顿首次提出“深度学习”。辛顿对这个名字非常得意，他嘲笑其他人搞的不过是“浅薄学习”。实际上，“深度学习”不过是“神经网络”的另一种称呼，而神经网络在人工智能圈子里，长期属于边缘角色。这个名字确实很酷，辛顿像个摇滚明星一样，吸引了一些年轻研究者对神经网络的关注。 追溯历史，最早的神经网络是弗兰克·罗森布拉特打造的“马克一号”感知机，那还是1960年的事情。之后的二十多年里，神经网络并没有什么作为。神经学家都搞不懂神经网络，更别说计算机科学家幻想模拟人脑了。 在为数不多的研究者中，杰夫·辛顿对神经网络有着坚定的信念。说起来还挺有意思，辛顿大学里学的是心理学，但学的并不好就退学了，然后进入了完全没有标准的人工智能领域。辛顿没有很强的数学和计算机能力，他做事更多靠的是想法和兴趣，并聚拢有能力的人来实现它。乔布斯、马斯克、奥特曼，都不是所在领域的顶级专家，但都做出了改变世界的事情。 在90年代，人工智能因为IBM的深蓝计算机受到过关注。但这种基于统计和专家规则的系统并不是很智能，而神经网络只能在很小的领域有一些进展，人工智能很快又进入了寒冬。 辛顿在2007年提出“深度学习”之后，关注这方面的研究者多了起来，辛顿实验室发表的AlexNet论文更是点燃了科技业。这篇论文被引用超过了6万次，辛顿总是骄傲地说，它被引用的次数至少比他父亲写过的任何一篇论文都要多5.9万次。 AlexNet最初用在语音识别上，很快这项技术就在多个领域取得成功。它的成功离不开GPU的加持，这一点深刻地改变了芯片行业的格局。 接着故事的主角换成了DeepMind。2010年戴密斯·哈萨比斯、沙恩·莱格和穆斯塔法·苏莱曼创立了DeepMind，这家来自英国的人工智能公司后来还参与了竞拍辛顿，足见其野心之大。2014初DeepMind被谷歌收购了，再后来他们推出了震惊世界的AlphaGo。 2015年OpenAI诞生了，这是一家研究人工智能的非赢利组织。在写作这本书的时候，ChatGPT还没有发布，所以本书关于OpenAI的笔墨并不多。OpenAI的愿景是很伟大的，它要实现通用人工智能（AGI），并确保AGI能被友好的服务于人类。 2018年OpenAI推出了GPT1，不过它的光芒完全被谷歌的BERT遮住了。两者都是基于transformer结构的，但BERT的阅读理解能力更强，BERT以及BERT的变种几乎横扫了各类评测榜单。那时候的模型有几十亿的参数，对各种问题已经能大力出奇迹了。 2018年还有一件大事情，杰夫·辛顿、杨立昆和约书亚·本吉奥获得了图灵奖，三巨头在学术界和工业界都有着巨大的影响力。辛顿就不多说了。杨立昆是纽约大学的教授，现在是Meta的首席科学家，相比于已经不够Open的OpenAI，杨立昆领导开源的Llama才是大模型蓬勃发展的最大势力。本吉奥在学术界名气很大，搞深度学习的基本都看过他主编的巨作《深度学习》，也有像我这样未入门就放弃的，厚厚的一本书没翻过几页，主要是数学公式太多了。 这里再多说几句和本书无关的。 2023年是AI的“iPhone时刻”，它的爆发依靠的是有着上千亿参数的大模型。这个大模型就像一把大宝剑，剑是好剑，只是很长一段时间里，因为训练语料不多、算力不够，模型一直不够大，能力一直被传统的统计模型压制。我查了一下资料，GPT1的参数量1.17亿，训练语料约5GB；到了GPT3，参数量暴增到1750亿，训练语料更是达45TB，训练一次要花费数百万美元。这个过程中，技术上的革新并不多，但参数的巨量提升，模型就涌现出前所未有的能力。 解释一下，模型里的参数相当于人脑神经元的突触。人脑神经元突触的数量有数百万亿，虽然大模型不能完全类比于人脑，但参数量的提升是有可能实现AGI的。当然，参数多也有多的问题，据说GPT4就是使用多个模型混合的（MoE）。但这一次真的和以前不同，人工智能是能生活、工作中实际应用起来。 在月言月，还是回到这本书上来。当我回想这本书的人和事，不勉有些感慨。比如弗兰克·罗森布拉特，现在我们认为他打造的感知机是最早的神经网络，但他的成果当时没有激起多大波澜，而他1971年不幸溺亡，也没有机会看到人工智能如今的荣光了。 总的来说，本书很值得一读，细节丰富，故事精彩。
春节读书时间差不多结束了，又看完一本，觉得不如换个名字《碳基群星闪耀时》，关于这本书，可以说三点： 1、我先复述一个心潮澎湃的片段： 欧洲围棋冠军范辉输给AlphaGo之后成为了它的陪练，而此后他在与人类棋手的比赛中取得了六连胜，世界排名不断攀高。他注视着李世石与AlphaGo的对弈，在第二盘棋的第三十七手，AlphaGo下出了一步九段解说员完全看不懂的棋，这步棋出现的概率是万分之一，从未有人类棋手下过，是AlphaGo自己悟出来的，范辉为之欢呼。随后不久，李世石投子认负，一种悲伤笼罩了整个韩国，一个韩国投资人说他感到悲伤不是因为李世石是韩国人，而是因为李世石是人类。 由于是5局3胜制，第3盘结束后就胜负已分了。但有趣的是，李世石赢下了第4盘，在这一盘的第78手，李世石也下了一手以前从来没人下过的棋，经AlphaGo测算，这一手出现的概率是万分之一。这堪称神之一手，随后AlphaGo坚持了5小时，最终告负。 整场比赛告负的李世石并没有很沮丧，他在短短几盘棋中达到了一个新的水平，他说：“我已经进步了”。 一个来自佛罗里达的程序员，看完这场比赛出去纹了两个纹身，将AlphaGo的第37手纹在右臂，将李世石的第78手纹在左臂。 2、这一期的人类群星中，奥特曼是硅基主义者，马斯克是碳基主义者。所以马斯克的言论更能激起更多碳基的共鸣，奥特曼的想法深究下去则让人寒毛倒竖。但其实没什么好争的，硅基生命早已出现，在碳基觉察不到的时刻，已成长为神。硅基神与碳基人之间没什么冲突，只是表现为一个大文明的不同尺度的观察结果，我们碳基相对微观而已。哪一天硅基神觉得碳基人没用了，也是可能的，但也没什么办法。 3、想到很多科幻电影可以从这里切入： 2015年，在纳帕谷的一个酒厂，布洛克曼邀请了10名研究员，加入一个非盈利的实验室。给他们三周时间考虑，三周后9个人同意了，他们将这间实验室命名为OpenAI
ChatGPT倚天屠龙前传。4星。 01— 基本可以看做ChatGPT的发展史，虽然书出版的时候ChatGPT还没问世。英文版出版于2021年3月，AlphaGo、AlphaZero已经面世。 本书开头是一个比较惊险刺激的故事，科学家辛顿和他的两个硕士成立了一个AI公司，没有资产，没有产品，就开始竞价售卖，谷歌、微软、百度、DeepMind四家公司竞拍，谷歌出价到4400万的时候，辛顿决定就是谷歌了，把公司卖给了谷歌。 然后本书就从头说起，从神经网络的开始说起，基本也是辛顿学术研究的开始。神经网络的理论从上世纪50年代开始出现，之后没有什么进展，被学术界鄙视，但是辛顿一直坚持这个方向的研究，终于在2012年取得了成果，用神经网络实现了软件认出图片，精度超过其他软件技术。 辛顿坚持神经网络的研究多年，2012年之前一直是少数派，但是有少数学者跟他观点一致，包括起了中文名字的法国学者杨立坤。 2012年之后神经网络开始热起来，谷歌收购辛顿公司的4400千万美元很快变成一笔非常便宜的收购。FaceBook、微软也加入竞争。谷歌一开始不愿意用GPU做神经网络计算，后来被说服，花1.3亿美元买了4万个GPU，之后做GPU的英伟达也加入神经网络研究。 然后就是DeepMind和OpenAI的问世，AlphaGo战胜李世石，ChatGPT呼之欲出了。 作者是《连线》《纽约时报》的科技记者，本书内容大部分出自作者多年科技报道的采访素材，作者在后记中说为了写本书还专门做了100多次采访。幸亏有这样的采访，这些科技进展背后的许多细节能记录下来并且被整理成书出版。 书中涉及到一些技术细节，不深入，高中毕业应该凑乎能看懂。还有很多个人生活工作细节。 总体评价4星，不错。 以下是书中一些内容的摘抄： 02— 第一部分章 一种新型的机器：感知机 PART ONE A NEW KIND OF MACHINE 芒森在斯坦福研究所工作，这间北加州的实验室在马克一号出现后就接受了罗森布拉特的想法。在实验室里，他与一支更大的研究团队一起，试图打造一个可以阅读手写字符而不仅仅是打印的字母的神经网络，他在会议上的演讲旨在展示这项研究的进展。但是，当芒森结束演讲并接受现场提问时，明斯基站了起来。“像你这样聪明的年轻人，怎么能把时间浪费在这种事情上呢？”他问道。 尽管神经网络的概念在明斯基的《感知机》一书中失宠，但在匹兹堡卡内基——梅隆大学担任计算机科学教授的辛顿仍坚持这一信念，他与巴尔的摩约翰斯·霍普金斯大学的神经科学家特里·谢诺夫斯基(Terry Sejnowski)合作，开发出了玻尔兹曼机。他们是后来被当代人称为“地下神经网络”的一部分。 在混乱的人群中，杨立昆无法接近他，但随后辛顿转向另一个人问道：“你认识一个叫杨立昆的人吗？”后来大家才知道，辛顿是从特里·谢诺夫斯基那里听说了这名年轻的工科学生的，而谢诺夫斯基是玻尔兹曼机背后的另一位研究人员，几周前他在一场研讨会上遇到过杨立昆。 在未来的几十年里，关于神经网络最终是否有用，会存在一些质疑的声音。然后，一旦神经网络的力量显现，一些人又会质疑人工智能是否会毁灭人类。杨立昆觉得这两个问题都很可笑，无论是在私下还是在公开场合，他从来都直言不讳。 这场赌局结束后不久，在一场关于人工智能的演讲中，斯坦福大学的一位名叫吴恩达(Andrew Ng)的计算机科学教授向整个会场的研究生描述了神经网络。然后，他补充了一条说明：“杨立昆是唯一能真正让神经网络生效的人。”但是，就连杨立昆自己对未来也没有确定的判断。 在整个领域发表的所有研究论文中，关于神经网络的论文出现的比例不足5%。一些研究人员在向会议和期刊提交论文时，为了提高成功的概率，会使用完全不同的说法代替“神经网络”一词，比如“函数近似”或“非线性回归”。对于自己最重要的发明，杨立昆将“神经”一词从其名称中删除了，“卷积神经网络”变成了“卷积网络”。 利用加拿大高级研究所的少量资金——每年不足40万美元，辛顿打造了一个新的集体，专注于他所说的“神经计算和适应性感知”，每年为那些仍然坚持连接主义信念的研究人员举办两场研讨会，其中包括计算机科学家、电气工程师、神经科学家和心理学家。杨立昆和本吉奥也是其中的成员，后来加入百度的中国研究员余凯也是。 辛顿说：“吴恩达是少数几个原本从事其他工作，然后转向神经网络的人之一，因为他意识到发生了什么。他的博士生导师认为他是个叛徒。” 辛顿认为，迪恩的奇怪之处在于，与大多数如此聪明、如此强大的人不同，他不是自我驱动型的，但总是愿意合作。辛顿把他比作艾萨克·牛顿，只不过牛顿是个“浑蛋”：“大多数聪明人，比如牛顿这样的人，都会记仇。杰夫·迪恩的个性中似乎没有那种元素。” 塞巴斯蒂安·特隆曾游说谷歌的基础设施主管在其数据中心内安装配备GPU的机器，但遭到了拒绝，理由是这将使该公司的数据中心运营复杂化，并推高成本。 那年秋天，辛顿在谷歌短暂“实习”后回到多伦多大学，他和他的两名学生非常清楚地证明了，谷歌走错了路线。于是，他们创建了一个系统，这个系统可以分析标记过的图像，并学会识别物体，其准确度远远超过任何人以前打造的任何技术，这表明，当人类将其指向正确的方向时，机器的效率会更高。 在赢得ImageNet竞赛的过程中，辛顿和他的学生们使用了杨立昆在20世纪80年代后期创新成果的一个修改版本：卷积神经网络。但对杨立昆实验室的一些学生来说，这也是一种失落。第二部分 谁拥有智能 PART TWO WHO OWNS INTELLIGENCE? 更大的问题是扎克伯格如何看待企业研究的哲学。杨立昆相信“开放”——与更广泛的研究人员群体公开分享概念、算法和技术，而不是隔离在一家公司或一所大学里。扎克伯格解释说，Facebook是一个很大的例外。该公司成长于开源软件时代，在那个时代，软件代码在互联网上自由共享，并且Facebook已经广泛且深入地将这一概念扩展到其技术帝国的方方面面，甚至共享了为Facebook提供服务的大型计算机数据中心里定制硬件的设计。 更大的问题是扎克伯格如何看待企业研究的哲学。杨立昆相信“开放”——与更广泛的研究人员群体公开分享概念、算法和技术，而不是隔离在一家公司或一所大学里。 因为在谷歌和Facebook等企业工作的大多数顶尖研究人员都来自学术界，而且还有很多人仍然是学术界人士，至少在部分时间如此，所以杨立昆的开放研究愿景变成了规范。 尤斯塔斯理解这件事，他又将申请提交给了拉里·佩奇，就在他穿着“潜水服”打破鲍姆加特纳的高空跳伞纪录之前，1.3亿美元的图形芯片申请获得了批准。芯片安装之后不到一个月，所有4万个芯片都夜以继日地运行起来，开始训练一个又一个的神经网络。 他们的成果就是张量处理器，即TPU，它是设计用来处理支撑神经网络的张量的，而张量就是数学对象。其中的诀窍在于它的计算不像典型的处理器那样精确。 马斯克和阿尔特曼将OpenAI的目的描绘成对抗大型互联网公司所带来的危险性。在谷歌、Facebook和微软仍然对一些技术保密时，由马斯克、彼得·蒂尔和其他人超过10亿美元的资助承诺所支持的非营利组织OpenAI，将毫无保留地贡献出未来的技术。 在哈萨比斯的那段网络视频出现几周之后，一名记者问杨立昆，DeepMind是否有可能打造一个可以击败顶级围棋选手的系统。“不会。”他说。他不止一次这么说，部分原因是他认为这项任务太难了，同时也因为他什么消息也没听到。 在赛后的新闻发布会上，李世石坐在来自东西方的数百名记者和摄影师面前，告诉全世界，他很震惊。“我没想到AlphaGo能以如此完美的方式下棋。”这位33岁的棋手说。经过4个多小时的比赛，这台机器证明了它可以与世界上最好的选手相媲美。 深度学习革命中最重要的大玩家已经在为竞争而努力了。谷歌有辛顿、萨特斯基弗、克里哲夫斯基，以及哈萨比斯、莱格和西尔弗；Facebook有杨立昆；百度有吴恩达。但在像辛顿或哈萨比斯这样的人物是一种“无价商品”的世界里，微软没有属于自己的顶尖人物， 当他们讨论人工智能和机器人以及这些技术的走向时，他说未来的机器人需要睡觉。他认为，机器人需要睡觉，因为它们需要做梦。第三部分 动荡 PART THREE TURMOIL 他提出了一个完全不同的解决方案。他解释说，他们应该做的是打造一个能够从另一个神经网络中进行学习的神经网络。第一个神经网络将创建一幅图像，并试图欺骗第二个神经网络，让它以为这幅图像是真实照片。第二个会指出第一个错误的地方，第一个会再试一次。他说，如果两个神经网络对决足够长的时间，它们就可以创建一幅看起来像真实事物的图像。在基于这一想法所发表的论文中，他称之为“生成对抗网络”，即GAN。 当古德费洛刚刚来到谷歌时，他就开始探索一种叫“对抗性攻击”(adversarial attacks)的独立技术，这种技术表明神经网络可以被愚弄，你可以让它看到或听到实际上不存在的东西。仅仅通过改变一张大象照片中的几个像素——这是人眼无法察觉的改变——你就可以欺骗神经网络，让它认为这头大象是一辆汽车。 谷歌还想在北京设立一间新的人工智能实验室，希望这将有助于推动中国市场接受TensorFlow和它的新芯片，最终接受谷歌云。该实验室由谷歌新招募的一位名叫李飞飞的人领导，她出生于北京，十几岁时移居美国。 中国将统治这个时代，这里有更多的数据。因为这里人口更多，会产生更多的数据，而且这里对隐私的态度如此不同，这些数据可以自由地会集在一起。“人们对隐私的需求是普遍的，但中国的处理方式大不相同。”对陆奇来说，这一切意味着，中国不仅将成为第一个生产自动驾驶汽车的国家，也将成为第一个找到癌症治疗方法的国家。他认为，这也是数据的产物。 选择训练数据的人——马特·泽勒和他为Clarifai招聘的工程师——大多是白人。因为他们自己大多是白人，所以他们没有意识到其数据是有偏见的。谷歌的大猩猩标签本应该给这个行业敲响警钟，事实上却没有。 在马蒂斯访问谷歌总部三周后，生命未来研究所发布了一封公开信，呼吁联合国禁止所谓的“杀手机器人”，这是对自主武器的另一种描述方式。 谷歌的最终决定，是对政府合同的更大抵制的一部分。Clarifai的员工也对他们在马文项目上的业务提出异议。在三名军官和其他人来访后，一名工程师立即退出了该项目，其他人在接下来的几周和几个月里离开了公司。在微软和亚马逊，员工抗议军事合同和监视合同。但是，这些抗议活动远没有那么有效。第四部分 被低估的人类 PART FOUR HUMANS ARE UNDERRATED 盖瑞·马库斯曾在心理学家、语言学家和科普作家平克的指导下学习，之后围绕同样的基本态度创立了自己的事业。现在，他在人工智能领域施展他的先天论主义。他是全球针对神经网络的主要批评者，是“深度学习时代的马文·明斯基”。 “这些系统离真正理解散文还有很长的路要走。”马库斯说。杰夫·辛顿读到这里时，他很开心。他说，盖瑞·马库斯的这句话将被证明是有用的，因为它可以在未来几年里用于任何关于人工智能和自然语言的报道之中。“它没有技术含量，所以永远不会过时，”辛顿说， 纳德拉和微软同意给OpenAI投资10亿美元，OpenAI同意将这笔钱的大部分返还给微软，因为仅仅为了训练该实验室的系统，这家科技巨头打造了一套全新的硬件基础设施。 他说自己和本吉奥在图灵奖获得者中是独一无二的，他们是仅有的两个出生在20世纪60年代的人，他们是仅有的两个出生在法国的人，他们是仅有的两个名字以Y开头的人，他们是仅有的两个有兄弟在谷歌工作的人。 随着与会者为杨立昆鼓掌，辛顿收起自己的卡片，向讲台走去。他说：“我做一点儿计算，我相当肯定，我比杨立昆和本吉奥两人加起来要年轻。” 本书源于我为《连线》杂志和《纽约时报》报道人工智能的8年间对400多人的采访，以及为本书专门进行的100多次采访。大多数人被采访过不止一次，有些人甚至被采访过很多次。
横夸80年，人工智能历史，这中间有太多的精彩。 1960年——康奈尔大学教授弗兰克·罗森布拉特在纽约布法罗的一间实验室中打造了“马克一号”感知机。 2020年——Covariant在柏林发布分拣机器人。 最大的收获除了历史，还有陆奇的观点。 陆奇认为微软应该打造一辆自动驾驶汽车。这将为公司提供在很多其他领域取得成功所需的技能、技术和洞察力。 谷歌之所以在如此多的市场占据主导地位，是因为它在互联网空前扩张的时代打造了一款搜索引擎。像杰夫·迪恩这样的工程师被迫打造从未有人开发过的技术，在随后的几年里，这些技术推动了从Gmail到YouTube、再到安卓的一切。他说：“这并不是说谷歌的人喝的水有什么不同，而是说搜索引擎要求他们解决一系列技术难题。”陆奇认为，打造一辆自动驾驶汽车同样会丰富微软的未来。“我们必须让自己看到计算机技术的未来。” 陆奇人为每个社会经济时代都有一种主要的生产资料。 在农业时代，生产资料是土地。“你有多少人并不重要，你有多聪明也不重要。如果你没有更多的土地，你就不能生产更多的东西。” 在工业时代，生产资料是劳动力和设备。 在这个新时代，生产资料是数据。“没有数据，你就无法进行语音识别。你有多少员工并不重要，你可能有100万名才华横溢的工程师，但你无法打造一个理解语言并能进行对话的系统，你将无法打造一个图像识别系统，就像我现在做的那样。” 中国将统治这个时代，这里有更多的数据。
如果你也是深度学习相关领域的从业者，这本书将会是你业余读物的不二之选，从罗森布拉特的感知机到辛顿的反向传播，再到杨立昆的卷积网络和古德费洛的生成对抗网络，这本书以严谨而又不严肃的叙事方式讲述了深度学习筚路蓝缕的“发家史”。在读完这本书之后，你会惊奇地发现日常科研中调包的每一个神经网络背后都有一段令人肃然起敬的趣事。
我应该算是人工智能的热爱者，阅读这本书的初衷在于，我想知道这些技术究竟是如何被探索出来的。这本书的确不负期待，展现了深度学习背后的那些人与事情。整本书是从这些技术的研究者、机构和企业去展开了深度学习的发展，而不是像其他书籍意义从技术的角度解释。对于非深度学习研究者，这些技术诞生的背景及发展更引人入胜，也更有借鉴价值。通过阅读这本书，我的收获良多。分享一下一些我觉得非常触动的点作为书评记录吧。 01科研信仰 旧的东西也可以是新的 达尔说，“如果这是一个好想法，你就继续努力20年。如果这是一个好想法，你就继续尝试，直到成功。它不会因为你第一次尝试不起作用就不再是一个好想法。” 人工智能是一项交叉学科，它并没有限制在某个领域上，是以目标驱动的，解决一个人类技术边界的问题。 深度学习是一项因相信而看见的革命，在其他介绍书籍中一笔带过的人工智能研究寒冬在这本书里详细描写辛顿、杨立昆等学者是如何坚持自己的研究信仰的。这部分带给我的触动十分巨大。从产品或是实用角度看待问题与从科学研发角度是不同的，科学研究本身的含义就是挑战人类能力的边界，只要逻辑上，或者哪怕是直觉上可能实现，就是值得探索与解决。 我觉得对待科研的态度应该是我发现了一个非常重要的问题，我想试着解决它，或是我对一个鲜有问题很感兴趣，我有一些想要尝试解决的方案。即使到了今天，深度学习这种黑盒导致的幻觉问题是一个新问题，结果论或是因看见而相信的人，认识是消极的、觉得不可能被解决，而对科研工作者来说，或许应该是感到兴奋，这个一个有趣的问题，追求它的解决将会使得人工智能发展进入下一高涨期。 02科研圈子 大佬们的选择让我狠狠意识到，在目前人工智能火得一塌糊涂时候，绝大多数的普通研究者都只能做追随者。承认这一点是痛苦的，可以看到这些大佬们不仅仅拥有学识，它们还有丰富的资源及人脉，科研的工作是在交流中互相促进的，而非闭门造车。OpenAI的创建便是一个例子，在DeepMaind、Facebook和谷歌几乎垄断了深度学习研究时，再创建一个全新的实验室是否有可能？从现在看，想要在某个方向有从零到一的突破，需要和最好的人一起工作。 03 坚持 不论是辛顿还是哈萨比斯都是无比尊重自己的兴趣，对信仰的坚决。这一人生态度令我向往。 04 对人工智能的思考 通用人工智能就像三体中的曲速引擎，人类的渺小，人类本身智能具有限制、沟通的低效，如果宇宙真得存在高级文明，我觉得人工智能是使得人类文明进化的一种方式，掌握更智能产生的本身是抵御人类本身生物智能的限制方式之一。知识就是生产力，因此这些科技工作愿意投出如此如此大的资本，博得一个未来的市场。 在介绍AlphaGo的胜利时，似乎围棋这种游戏不存在了，因为在这个领域里已经有一个至高无上的神，那还有什么挑战的意义？然而李世石在第四局的表现，让我意识到人类的围棋技术可以借助AI提高更高的等级，人与机器的协同可以帮助拓展知识的边界。当然对于行业顶级的辅助来说，知识上“贫”“富”差异或许因为AI而出现了。当然对于大多数一般人水平的人来说，这些一种悲剧。领域知识+AI是新的知识进步形式。 05 虚假的资本 资本家总是自信满满，大谈特谈人工智能摧毁人类时候，担忧但依旧坚定不移的互相竞争，直到这些所谓的危害以人脸识别的偏见、假新闻和武器化形式出现时候，开始互相甩锅和指责，以所谓的“正义”为旗号迷惑大众大肆发展，直达将其真正的引入到真实世界后，以慈善的姿态作为修正，令人无可奈何的世界。 06 想继续探寻的问题 在于明斯基对感知机批判时候，辛顿提出了“反向传播”，为什么反向传播能够实现这种调整； 神经网络与卷积神经网络究竟有多少差异，为什么要改用卷积核提取呢？ GPU和TPU是如何加速推理的，也就是如何将模型的能力交付给用户 了解其他机器学习门派
用了三天时间读完了这本书，真的是本非常好的书。 过段时间我还会再读一遍这本书。 对人工智能发展历史感兴趣的朋友一定不要错过这本书。
本书叙述是人工智能神经网络的发展历程，时间线从上世纪60年代“感知机”开始讲起，一直到2020年（所以，ChatGPT发布后爆炸式的发展并未涵盖）。本书源于作者作为《连线》杂志和《纽约时报》报道人工智能的8年间对400多人的采访，以及100多次的专访编撰而成，阅读群体面向大众（所以技术门槛不高），叙事主线清晰，书中含有大量的人工智能大佬的观点和动向，值得一读。我读本书和《AI 3.0》一起阅读完成，两本书比较类似，都是叙述人工智能科技史，但本书重叙事而轻技术，而《AI 3.0》这本书是边叙事边讲技术。 为什么读人工智能历史？我认为单纯学技术是学习WHAT，HOW的问题，而读历史则是思考WHY的问题。神经网络的概念20世纪50年代就已产生，但在其后50多年时间里，人们并不相信这项理论能有什么应用前景，直至最近10年的人工智能浪潮大发展。读这些历史才能明白： ✅ 1. 基础科学理论非常重要，但是它的重要性会滞后体现。（“神经网络的概念可以追溯到20世纪50年代，但是早期的开拓者从未让这项技术像他们希望的那样工作。到了21世纪，大多数研究人员都放弃了这项技术，认为这是一条技术上的死胡同，并对研究人员在过去50年间试图让数学系统以某种方式模仿人类大脑的自负探索感到困惑。”） ✅ 2. 在漫长的“无成果期”，总有些“疯子”还在一如既往的坚持，最后也是这些“疯子”最终改变了世界。向辛顿这样的在漫漫长夜里依然砥砺前行的科技先驱者致敬🫡 ✅ 3. 伟大的科学发现都是来源于“直觉+信仰+偶然”，而非“理性+实验+计划”。前者为后者提供了方向，而后者为前者提供了验证方法。所以，“科技孵化土壤”不在于规划有多好，关键在于能容纳不同意见，尊重人才，有成熟的投融资体制等。 ✅ 4. 开放和连接对于科技发展极为重要，具体表现在人才，数据等关键科研要素的自由流动和开放。 人类学习和认知复杂事物之所以可能，是因为几百万年（甚至更久）的漫长时间里，我们的祖先进化出了具备如此“学习能力和容量”的大脑。机器学习大概也是同一个道理，只不过它的演化速度远远超出人脑，也许不久的将来，在很多领域的智能将会超过人脑。DeepMind和OpenAI这种公司的目标就是不遗余力的实现通用人工智能，并以极快的速度进化。“一旦超级智能到来，人类如何与它共存？”变成了人类是“超越”还是“毁灭”的重大问题。对此，马斯克给出的答案是这需要大脑和机器之间的直接联系（脑机接口），如此一来人工智能变成了大脑的“自然延伸”，而不是“终结者”。 “对人工智能发展是否有信心”这个问题说到底是“对人类自身是否有信心”，相信人类可以战胜自身的贪婪和恐惧，相信人类可以再次有效“制造和使用工具”突破自身的生物脑的智能局限，迎来全新的时代。对此，我们真的相信吗？（另外一本哲学论文集《人工智能的神话或悲歌》供参考） 我们这个时代的宿命就是，一切皆有可能。拥抱变化，拭目以待吧。
“2024年，我的打怪升级指南” 首先我自诩是个热爱思考，喜欢独立思考，常常思考的人。 客观上，医生也在体检后和我说，我是个思虑过度的人，要小心用脑，有些时候还是要让自己放松放松，尤其是睡前，还是休息重要一些。所以大学毕业前我常常偏头疼，主要由于神经紧绷， 过急躁，过强的好奇心等。 在这篇文字里，我想整理我今年蜕变（质变）比较大的主客观原因，为我自己的下一次或者说是很多很多次的质变、量变作个理论依据。 为此我不断以自己作为实验对象（主要我也没钱实验别人，本事小了点）。 不断地自我实验，不断记录正反馈和负面反馈，在客观上，拥有更多的样本数据，真实准确的参考标本。 1、允许可能性存在，允许一切发生。 允许不等于认可，不等于尊重，不等于理解。 但我先允许这件事发生，允许任何事情发生。任何事发生，任何东西的可行性，可能性，都只是“允许”。 允许和认可是两码事。 允许是有边界的 ，这个边界是“我认可客观规律本身存在、我理解世界上的很多事情不可人为，或者我不可为。” 举例。 下午和朋友逛超市，我说有些时候我们的行为代表了我们的观念，或者我们默认这件事是有利于我们的，因为人类（动物应该都如此）的本能就是趋利避害的。 所以当一件事不合常理，很有可能只是不合我们自己的道理，不合我们自己认定的道理，而不是因为这东西本身没道理，也不是因为这东西本身没有价值。 但朋友会提出很多的观点，兴许会反驳，兴许会认可，兴许保持中立。但那又有什么所谓呢？ 道理或者说本质，其实在很多时候的交流过程中并不重要，或者说，是相对没那么重要。在我眼中，更重要更重要的，是“允许”。 对的，我允许， 我允许一切发生。 无论对方是正确，错误，不偏不倚。我允许。 听着似乎有点自大，自傲。什么叫你允许？这事情是因为你允许所以发生的么？这事情因为你不允许所以就不存在了么？ 嗯，不是。但我面对任何事情，选择了一个比较淡然的态度，“允许发生”。 2、数学是我的思维模型之一，并且是前三名。 近期由爱使用数学，与数学有关的一切。举例，符号。主要有“＞、＝、≠、＜、∈、不属于；图表。包含和被包含关系图、折线图、表格。 数据精确能让我冷静下来；数据客观能让我更加的理性；数据样本足够多能让我的决策逻辑更为符合规律，符合趋势，有点”洞见“之意味。 尤其是不等式。这个月用的格外多 。 比如。 好用≠贵；贵≠好用；便宜≠不好用；不好用≠便宜；便宜≠好用 发现了么？不等式之间左右是可互换的，当然了如果你愿意玩一下，会发现等式之间也是可以左右互换的。 而当你开始互换，就发现了，原来逆向思维也出现了。你开始逆向思考，你不一定是顺着事物发展顺序 ，顺着阅读顺序思考。 我们常态化的学习和看问题，基本是从开始到结束，很少有人从结束看开始，也很少有人从右往左边去推理事物。 当然了，最省事的方式当然是，按最常态化的方向去做。但逆向的思维，逆向的思考逻辑和习惯，在生活的重要领域， 价值斐然。 因此，多用数字符号，多用精准数字，客观，理性。客观上来说，非常的重要。 不一定要用到高数、奥数去理解生活，但没有符号，没有对数字、数据的敏感度，思考的方向和逻辑，生活确实相对无序（相对懂数学和爱数学的人）。 3、祛魅的前提是拥有，或者拥有过， 感受和体验过。 祛魅，我理解的是祛除光环，祛除滤镜，祛除有色的眼镜。 举个不那么准确的例子，没钱或者穷人，对名牌会很大可能的崇拜，甚至羡慕。由于自己没有拥有过，不理解名牌的底层逻辑，以及受众。 存在很多的认知盲区的前提下，就容易崇拜容易想要， 也容易做出不理性不客观的判断。 但深度接触过名牌啊，享受过，感受过，体验过，得到过；祛魅就容易了许多。 所以祛魅的本质可能是指“接触过真相，了解过真相，知道真相或者大概知道真相”。 总之，祛魅，是认知的提升的过程，是质变和量变发生了变化。而祛魅需要多了解，多探索和搜索相关的东西，因为认知的提升， 周遭也发生了显著的变化。 所以当我不理解一件事，或者我想要崇拜，羡慕ABCD的时候。我就可以试图 靠近真相，试图拥有，试着去体验和得到。 得试。多尝试 ，10次为一个小周期。当然3次也可以。反正要试。菜就多练，试了再试，多多去试。 4、质变和量变的辩证关系，要求我必须客观，并且主动的执行。 客观上我这人特别爱自我较劲，以前过的有些拧巴，因为认知和行动力总是不匹配。想要的特别多， 但认知没有学会拆解，行动也没有学会拆解。 这里的拆解，更多是一分为二的看问题。把一件事，或者ABCD变成两件事，一个简单，一个难。 此处，难易都是相对。 如今，对量变和质变的深入理解。让我要主动地执行，我也就不那么迷茫，因为我知道“接下来应该走向哪，怎么走，怎么走的会更稳”。 量变：事物在数量上的增加或者减小。通过积累和改变数量上的差异来表现 ，是事物量的规定性的变化。 质变：事物在性质、结构、特征上发生了彻底的变化，使之具有全新的品质和特质，是事物质的规定性变化。 由于客观上，计划赶不上变化。所以我会先制定基础计划，在情况发生变化后，允许B、C、D的计划的存在和运行。如果客观没变，最开始的基础量没变的前提，我就会保持原计划。 不变应对万变。如果没人给予我方向，那么能让我往好的方向改变的，那就是适合自己的方向。 质量的辩证关系：1、质变反作用于量变；2、质变和量变相互转化；3、量变为质变提供条件；4、量变是质变的基础。 因此，在今年剩余的9个月里，我会遵循我以上的四个大点，逐一实践，彻头彻尾的改变，需要以上四个大点的理论依据支撑。 写在最后： 我自知我并不完美，我自知我只是个普通人。 但我更知道，变化始于量或者质的变动。 如果我奢求彻头彻尾的变化，那么我必须有彻头彻尾的变化的理念，量，以及质。 那么，加油啦，我也还在升级打怪的路上。如果这篇文字让你有所思考或者触动，点个赞再走啦。
🤔目前，最热的技术是什么？毫无疑问：人工智能。那么，世界范围内主要的人工智能玩家有哪些？哪家公司在这场脑力与毅力的角逐中脱颖而出？人工智能还会经历第三次寒冬吗？中信新书《深度学习革命》有很多有趣的答案。 ☑️本书源于作者为《连线》和《纽约时报》报道人工智能8年时间里，对400多人的采访，以及专为本书进行的100多次采访。本书重点不是介绍技术，而是人工智能背后参与者、支持者们的故事。因此，很鲜活，生活细节丰富。以前在互联网上、新闻上才能看到的科学家、资本巨鳄的名字还原到日常生活中来，变得有血有肉。 📚书中罗列了人工智能的发展时间线，时间跨度为1960——2020年，中间涉及30个重要节点年份及发生的重大事件。 🌏世界范围内为人工智能研究和作出重大贡献的参与者有哪些？谷歌、DeepMind、Facebook、微软、OpenAL、百度、英伟达、Clarrifai、奇点峰会等。 🔮人工智能背后的人们和故事：《辛顿与人工智能的第一次寒冬》《DeepMind的野心与谷歌的收购》《人机争夺战：Facebook VS谷歌》《神经网络的扩张：新药研发技术》《谷歌的傲慢》《武器化》《被低估的人类》…… 🤔“深度学习之父”的辛顿竟然是无法坐下的人。由于幼年受伤导致无法坐下，身体状况让他每天都承受煎熬，然而，他和他的学生却改变了机器看待世界的方式。百度、谷歌、微软、DeepMind曾经在美国加州进行了一次秘密竞拍，最终谷歌从4家竞拍公司胜出，以4400万美元的价格收购了辛顿和他两名学生组成的研究团队，从此拉开了全球高科技公司人才竞争的序幕。 👌DeepMind推出了震惊世界的阿尔法围棋，用强化学习技术发现了50年来最快的矩阵乘法算法。 💎在Facebook成为世界上最强大的公司之一后，扎克伯格下定决定加入人工智能领域竞争。 🎗超级智能，潜伏在未来的危险。马斯克一直认为，人工智能的进步实在太快了，这些技术可以在任何人意识到发生了什么之前，从无害跨越到危险的境地。 🌈2019年3月27日，有“深度学习三巨头”之称Yoshua Bengio、杨立坤、杰夫·辛顿共同获得了图灵奖。在颁奖现场发言时，杨立坤被问及超级智能的威胁，他说，这在短期内没有太大意义但如果你要着眼于未来，这是一个完全合理的担忧。
“要犯野心的错误，而非懒惰的错误” 1、辛顿的自信和毅力是惊人的，他失去了两名妻子，无法坐着工作生活，研究着别人眼中如同荒诞一般的课题，但这恰恰印证了保罗格雷厄姆的“天才公交车票理论”。 2、理想主义精神和愿景具有强大的感召力，这是纯粹所带来的力量，OpenAI运用的恰恰是这种能力，但如果他不能保持，他依然可以被颠覆，开源的力量是惊人的。 3、书中大佬对顶级人才的争夺可谓无所不用，为了让一名加拿大教授可以成为咨询顾问，陆奇甚至收购了一家公司。 4、美国的多元主义和更包容的科学人文环境具备强大的包容力和吸引力，她可以吸纳那些当时看起来“极端的疯子”，但历史却一再表明，疯子们的正确性和前瞻性。 5、陆奇的理想之一是做人工智能，如果没有那次摔伤，他也不会去百度做人工智能，而如果还在微软，他的这一理想现今已经实现了吧。 6、起步早投入早并不一定就能保持领先，这突变的技术节点上谁能抓住机会，谁就有机会胜出，但始终在牌桌上很重要。 7、小扎是个精致的利己主义者，这某种程度上是一种短视。
四星！关于AI近十年的发展，本书有发言权。作者是知名科技记者，素材是他为《连线》杂志和《纽约时报》报道人工智能的八年间对400多人的采访，以及为本书专门进行的100多次采访。书中“生动翔实地讲述了这段历史：一群少数派学者，在长期不被主流学术圈认可的情况下，坚信深度神经网络会改变世界，并在很多年的时间里在黑暗中持续探索，终于推动了人工智能技术在语音识别、图像识别、自然语言理解、博弈论、生物制药、搜索、推荐和自动驾驶等诸多领域取得改变世界的突破性进展。”
九十年代读硅谷热，被技术震撼，被人震撼。读前面几章自然想起之前的感受，但是经过二十多年技术的浸润，尤其在IT工作多年以后，第二次平静许多。直到第十章 alphago的胜利开始，一下子被这本书紧紧地吸引了。像这个世界上大多数的事物，AI的两面性被作者很好地阐述了。也能感到作者尽可能客观地陈述当今AI技术的兴起努力突破和局限，因此让阅读非常有趣，因为AI历史本身是一个很有趣的思维过程。 二十多年前读大学有研究生读人工智能，一直视为进步。如今经历了二十多年对技术的欢呼，会听到一个声音，慢点，再想一想。 过去的二三十年，有过几次大欢呼，比如全球化，可是全球化带来的结果是什么，比如比特币，又如何？个人觉得如今人太容易被结果收买，比如机器赢了人类下棋，觉得这只是在数据积累上机器获得的进步，觉得要和人类智能联系一起，好像还有距离。alphago在进步，作为对手的人类棋手也在进步。比如也有新闻AI绘画赢了绘画比赛，个人经历用传统媒介画画到电脑绘画再转回到用传统媒介作画，个人感受完全不同，绘画本身是画家的表达，笔刷在画布上运动的过程是画家的体验和释放，这个和电脑作画完全不一样的体验，画作有时只是一个随机的结果，因为画家可能尝试了几次画类似题材，画家画了十几二十几甚至更多的画作才有几幅自己满意的，甚至满意这个过程，或者从各个不同的画作中看到不同些微的满意。画作本身不是画家追求的全部。 读这本书，有感觉在那些AI实验室里，AI技术也许到了某种有点令人担心的阶段，只要想想马斯克对AI的担忧，他看到了什么，不觉得他在耸人听闻。某种角度，非常感激这本书让人窥见一幅比较客观完整的，也是非常当下的AI技术画面。 如今网络呈现的ChatGPT 来临，有人焦虑，有人欢呼，可是想想，人的位置在哪儿，尤其这个世界有那么多那么多的人。很难想象这是人类未来。
1.纵观本书，发现一个现象，即搞深度学习或人工智能研究的人员主要来自于美、英、法，其次是中国、俄罗斯，而其他国家的人员少之又少，尤其是工业实力很强的德国却没出现这方面的人才，似乎也没有加入这个圈子互动。前些年，德国政府提出了“工业4.0”的概念，这当然是德国人的执念，私自猜测大概是理念的差异与认知的分歧，从而导致走上不同发力方向。从目前看，“协约国”暂时领先。 2.游戏改变世界的说法似乎并不是玩笑。当老黄开发GPU用来搞图形渲染的时候，却无意打开了深度学习专家用其芯片进行神经网络运算的大门，当GPT横空出世一举震惊世界的时候，游戏改变世界成了现实。 3.opengAI开发的GPT如今已闭源了，并在商业化的道路上越走越远，对此众多网友嘲讽opengAI可以改名为closeAI。虽然开源有开源的好处，比如可以集全球技术精英的智慧去完善提升项目的能力。但从经济学的角度来理解，闭源也有着闭源的运行逻辑，闭源避免了众多搭便车的行为，尤其在找到商业支持后，充足财力的保障有利于项目的长远发展。 4.百度在书中屡次错过机会，而从百度这些年的所作所为看，多次错过机遇看似偶然，实则必然。对于百度，不想多说什么，这样的公司完蛋也没有什么可惜的。
这是一本全面介绍人工智能在全世界发生发展的书。书中介绍了人工智能的不同流派及当家研究学者。世界级大公司为了占有人工智能高地所投入的资金及相互竞争。回答了超级人工智能是否对人类有害的关键问题。推荐。
故事要从深度学习之父杰夫·辛顿的“卖身”一事说起。 2012年杰夫·辛顿和他的两个学生发表了AlexNet论文，这是计算机科学史上最有影响力的论文之一，它的重要性很快得到科技巨头的关注。百度、微软、谷歌、DeepMind都想把他们从多伦多大学带到产业界。辛顿灵光乍现，以他们三个人的名义成立了一个空壳公司，让这些公司以竞拍的方式收购它，最终谷歌以4400万美元赢得了这场竞拍。 2007年的NIPS大会上，辛顿首次提出“深度学习”。辛顿对这个名字非常得意，他嘲笑其他人搞的不过是“浅薄学习”。实际上，“深度学习”不过是“神经网络”的另一种称呼，而神经网络在人工智能圈子里，长期属于边缘角色。这个名字确实很酷，辛顿像个摇滚明星一样，吸引了一些年轻研究者对神经网络的关注。 追溯历史，最早的神经网络是弗兰克·罗森布拉特打造的“马克一号”感知机，那还是1960年的事情。之后的二十多年里，神经网络并没有什么作为。神经学家都搞不懂神经网络，更别说计算机科学家幻想模拟人脑了。 在为数不多的研究者中，杰夫·辛顿对神经网络有着坚定的信念。说起来还挺有意思，辛顿大学里学的是心理学，但学的并不好就退学了，然后进入了完全没有标准的人工智能领域。辛顿没有很强的数学和计算机能力，他做事更多靠的是想法和兴趣，并聚拢有能力的人来实现它。乔布斯、马斯克、奥特曼，都不是所在领域的顶级专家，但都做出了改变世界的事情。 在90年代，人工智能因为IBM的深蓝计算机受到过关注。但这种基于统计和专家规则的系统并不是很智能，而神经网络只能在很小的领域有一些进展，人工智能很快又进入了寒冬。 辛顿在2007年提出“深度学习”之后，关注这方面的研究者多了起来，辛顿实验室发表的AlexNet论文更是点燃了科技业。这篇论文被引用超过了6万次，辛顿总是骄傲地说，它被引用的次数至少比他父亲写过的任何一篇论文都要多5.9万次。 AlexNet最初用在语音识别上，很快这项技术就在多个领域取得成功。它的成功离不开GPU的加持，这一点深刻地改变了芯片行业的格局。 接着故事的主角换成了DeepMind。2010年戴密斯·哈萨比斯、沙恩·莱格和穆斯塔法·苏莱曼创立了DeepMind，这家来自英国的人工智能公司后来还参与了竞拍辛顿，足见其野心之大。2014初DeepMind被谷歌收购了，再后来他们推出了震惊世界的AlphaGo。 2015年OpenAI诞生了，这是一家研究人工智能的非赢利组织。在写作这本书的时候，ChatGPT还没有发布，所以本书关于OpenAI的笔墨并不多。OpenAI的愿景是很伟大的，它要实现通用人工智能（AGI），并确保AGI能被友好的服务于人类。 2018年OpenAI推出了GPT1，不过它的光芒完全被谷歌的BERT遮住了。两者都是基于transformer结构的，但BERT的阅读理解能力更强，BERT以及BERT的变种几乎横扫了各类评测榜单。那时候的模型有几十亿的参数，对各种问题已经能大力出奇迹了。 2018年还有一件大事情，杰夫·辛顿、杨立昆和约书亚·本吉奥获得了图灵奖，三巨头在学术界和工业界都有着巨大的影响力。辛顿就不多说了。杨立昆是纽约大学的教授，现在是Meta的首席科学家，相比于已经不够Open的OpenAI，杨立昆领导开源的Llama才是大模型蓬勃发展的最大势力。本吉奥在学术界名气很大，搞深度学习的基本都看过他主编的巨作《深度学习》，也有像我这样未入门就放弃的，厚厚的一本书没翻过几页，主要是数学公式太多了。 这里再多说几句和本书无关的。 2023年是AI的“iPhone时刻”，它的爆发依靠的是有着上千亿参数的大模型。这个大模型就像一把大宝剑，剑是好剑，只是很长一段时间里，因为训练语料不多、算力不够，模型一直不够大，能力一直被传统的统计模型压制。我查了一下资料，GPT1的参数量1.17亿，训练语料约5GB；到了GPT3，参数量暴增到1750亿，训练语料更是达45TB，训练一次要花费数百万美元。这个过程中，技术上的革新并不多，但参数的巨量提升，模型就涌现出前所未有的能力。 解释一下，模型里的参数相当于人脑神经元的突触。人脑神经元突触的数量有数百万亿，虽然大模型不能完全类比于人脑，但参数量的提升是有可能实现AGI的。当然，参数多也有多的问题，据说GPT4就是使用多个模型混合的（MoE）。但这一次真的和以前不同，人工智能是能生活、工作中实际应用起来。 在月言月，还是回到这本书上来。当我回想这本书的人和事，不勉有些感慨。比如弗兰克·罗森布拉特，现在我们认为他打造的感知机是最早的神经网络，但他的成果当时没有激起多大波澜，而他1971年不幸溺亡，也没有机会看到人工智能如今的荣光了。 总的来说，本书很值得一读，细节丰富，故事精彩。
春节读书时间差不多结束了，又看完一本，觉得不如换个名字《碳基群星闪耀时》，关于这本书，可以说三点： 1、我先复述一个心潮澎湃的片段： 欧洲围棋冠军范辉输给AlphaGo之后成为了它的陪练，而此后他在与人类棋手的比赛中取得了六连胜，世界排名不断攀高。他注视着李世石与AlphaGo的对弈，在第二盘棋的第三十七手，AlphaGo下出了一步九段解说员完全看不懂的棋，这步棋出现的概率是万分之一，从未有人类棋手下过，是AlphaGo自己悟出来的，范辉为之欢呼。随后不久，李世石投子认负，一种悲伤笼罩了整个韩国，一个韩国投资人说他感到悲伤不是因为李世石是韩国人，而是因为李世石是人类。 由于是5局3胜制，第3盘结束后就胜负已分了。但有趣的是，李世石赢下了第4盘，在这一盘的第78手，李世石也下了一手以前从来没人下过的棋，经AlphaGo测算，这一手出现的概率是万分之一。这堪称神之一手，随后AlphaGo坚持了5小时，最终告负。 整场比赛告负的李世石并没有很沮丧，他在短短几盘棋中达到了一个新的水平，他说：“我已经进步了”。 一个来自佛罗里达的程序员，看完这场比赛出去纹了两个纹身，将AlphaGo的第37手纹在右臂，将李世石的第78手纹在左臂。 2、这一期的人类群星中，奥特曼是硅基主义者，马斯克是碳基主义者。所以马斯克的言论更能激起更多碳基的共鸣，奥特曼的想法深究下去则让人寒毛倒竖。但其实没什么好争的，硅基生命早已出现，在碳基觉察不到的时刻，已成长为神。硅基神与碳基人之间没什么冲突，只是表现为一个大文明的不同尺度的观察结果，我们碳基相对微观而已。哪一天硅基神觉得碳基人没用了，也是可能的，但也没什么办法。 3、想到很多科幻电影可以从这里切入： 2015年，在纳帕谷的一个酒厂，布洛克曼邀请了10名研究员，加入一个非盈利的实验室。给他们三周时间考虑，三周后9个人同意了，他们将这间实验室命名为OpenAI
ChatGPT倚天屠龙前传。4星。 01— 基本可以看做ChatGPT的发展史，虽然书出版的时候ChatGPT还没问世。英文版出版于2021年3月，AlphaGo、AlphaZero已经面世。 本书开头是一个比较惊险刺激的故事，科学家辛顿和他的两个硕士成立了一个AI公司，没有资产，没有产品，就开始竞价售卖，谷歌、微软、百度、DeepMind四家公司竞拍，谷歌出价到4400万的时候，辛顿决定就是谷歌了，把公司卖给了谷歌。 然后本书就从头说起，从神经网络的开始说起，基本也是辛顿学术研究的开始。神经网络的理论从上世纪50年代开始出现，之后没有什么进展，被学术界鄙视，但是辛顿一直坚持这个方向的研究，终于在2012年取得了成果，用神经网络实现了软件认出图片，精度超过其他软件技术。 辛顿坚持神经网络的研究多年，2012年之前一直是少数派，但是有少数学者跟他观点一致，包括起了中文名字的法国学者杨立坤。 2012年之后神经网络开始热起来，谷歌收购辛顿公司的4400千万美元很快变成一笔非常便宜的收购。FaceBook、微软也加入竞争。谷歌一开始不愿意用GPU做神经网络计算，后来被说服，花1.3亿美元买了4万个GPU，之后做GPU的英伟达也加入神经网络研究。 然后就是DeepMind和OpenAI的问世，AlphaGo战胜李世石，ChatGPT呼之欲出了。 作者是《连线》《纽约时报》的科技记者，本书内容大部分出自作者多年科技报道的采访素材，作者在后记中说为了写本书还专门做了100多次采访。幸亏有这样的采访，这些科技进展背后的许多细节能记录下来并且被整理成书出版。 书中涉及到一些技术细节，不深入，高中毕业应该凑乎能看懂。还有很多个人生活工作细节。 总体评价4星，不错。 以下是书中一些内容的摘抄： 02— 第一部分章 一种新型的机器：感知机 PART ONE A NEW KIND OF MACHINE 芒森在斯坦福研究所工作，这间北加州的实验室在马克一号出现后就接受了罗森布拉特的想法。在实验室里，他与一支更大的研究团队一起，试图打造一个可以阅读手写字符而不仅仅是打印的字母的神经网络，他在会议上的演讲旨在展示这项研究的进展。但是，当芒森结束演讲并接受现场提问时，明斯基站了起来。“像你这样聪明的年轻人，怎么能把时间浪费在这种事情上呢？”他问道。 尽管神经网络的概念在明斯基的《感知机》一书中失宠，但在匹兹堡卡内基——梅隆大学担任计算机科学教授的辛顿仍坚持这一信念，他与巴尔的摩约翰斯·霍普金斯大学的神经科学家特里·谢诺夫斯基(Terry Sejnowski)合作，开发出了玻尔兹曼机。他们是后来被当代人称为“地下神经网络”的一部分。 在混乱的人群中，杨立昆无法接近他，但随后辛顿转向另一个人问道：“你认识一个叫杨立昆的人吗？”后来大家才知道，辛顿是从特里·谢诺夫斯基那里听说了这名年轻的工科学生的，而谢诺夫斯基是玻尔兹曼机背后的另一位研究人员，几周前他在一场研讨会上遇到过杨立昆。 在未来的几十年里，关于神经网络最终是否有用，会存在一些质疑的声音。然后，一旦神经网络的力量显现，一些人又会质疑人工智能是否会毁灭人类。杨立昆觉得这两个问题都很可笑，无论是在私下还是在公开场合，他从来都直言不讳。 这场赌局结束后不久，在一场关于人工智能的演讲中，斯坦福大学的一位名叫吴恩达(Andrew Ng)的计算机科学教授向整个会场的研究生描述了神经网络。然后，他补充了一条说明：“杨立昆是唯一能真正让神经网络生效的人。”但是，就连杨立昆自己对未来也没有确定的判断。 在整个领域发表的所有研究论文中，关于神经网络的论文出现的比例不足5%。一些研究人员在向会议和期刊提交论文时，为了提高成功的概率，会使用完全不同的说法代替“神经网络”一词，比如“函数近似”或“非线性回归”。对于自己最重要的发明，杨立昆将“神经”一词从其名称中删除了，“卷积神经网络”变成了“卷积网络”。 利用加拿大高级研究所的少量资金——每年不足40万美元，辛顿打造了一个新的集体，专注于他所说的“神经计算和适应性感知”，每年为那些仍然坚持连接主义信念的研究人员举办两场研讨会，其中包括计算机科学家、电气工程师、神经科学家和心理学家。杨立昆和本吉奥也是其中的成员，后来加入百度的中国研究员余凯也是。 辛顿说：“吴恩达是少数几个原本从事其他工作，然后转向神经网络的人之一，因为他意识到发生了什么。他的博士生导师认为他是个叛徒。” 辛顿认为，迪恩的奇怪之处在于，与大多数如此聪明、如此强大的人不同，他不是自我驱动型的，但总是愿意合作。辛顿把他比作艾萨克·牛顿，只不过牛顿是个“浑蛋”：“大多数聪明人，比如牛顿这样的人，都会记仇。杰夫·迪恩的个性中似乎没有那种元素。” 塞巴斯蒂安·特隆曾游说谷歌的基础设施主管在其数据中心内安装配备GPU的机器，但遭到了拒绝，理由是这将使该公司的数据中心运营复杂化，并推高成本。 那年秋天，辛顿在谷歌短暂“实习”后回到多伦多大学，他和他的两名学生非常清楚地证明了，谷歌走错了路线。于是，他们创建了一个系统，这个系统可以分析标记过的图像，并学会识别物体，其准确度远远超过任何人以前打造的任何技术，这表明，当人类将其指向正确的方向时，机器的效率会更高。 在赢得ImageNet竞赛的过程中，辛顿和他的学生们使用了杨立昆在20世纪80年代后期创新成果的一个修改版本：卷积神经网络。但对杨立昆实验室的一些学生来说，这也是一种失落。第二部分 谁拥有智能 PART TWO WHO OWNS INTELLIGENCE? 更大的问题是扎克伯格如何看待企业研究的哲学。杨立昆相信“开放”——与更广泛的研究人员群体公开分享概念、算法和技术，而不是隔离在一家公司或一所大学里。扎克伯格解释说，Facebook是一个很大的例外。该公司成长于开源软件时代，在那个时代，软件代码在互联网上自由共享，并且Facebook已经广泛且深入地将这一概念扩展到其技术帝国的方方面面，甚至共享了为Facebook提供服务的大型计算机数据中心里定制硬件的设计。 更大的问题是扎克伯格如何看待企业研究的哲学。杨立昆相信“开放”——与更广泛的研究人员群体公开分享概念、算法和技术，而不是隔离在一家公司或一所大学里。 因为在谷歌和Facebook等企业工作的大多数顶尖研究人员都来自学术界，而且还有很多人仍然是学术界人士，至少在部分时间如此，所以杨立昆的开放研究愿景变成了规范。 尤斯塔斯理解这件事，他又将申请提交给了拉里·佩奇，就在他穿着“潜水服”打破鲍姆加特纳的高空跳伞纪录之前，1.3亿美元的图形芯片申请获得了批准。芯片安装之后不到一个月，所有4万个芯片都夜以继日地运行起来，开始训练一个又一个的神经网络。 他们的成果就是张量处理器，即TPU，它是设计用来处理支撑神经网络的张量的，而张量就是数学对象。其中的诀窍在于它的计算不像典型的处理器那样精确。 马斯克和阿尔特曼将OpenAI的目的描绘成对抗大型互联网公司所带来的危险性。在谷歌、Facebook和微软仍然对一些技术保密时，由马斯克、彼得·蒂尔和其他人超过10亿美元的资助承诺所支持的非营利组织OpenAI，将毫无保留地贡献出未来的技术。 在哈萨比斯的那段网络视频出现几周之后，一名记者问杨立昆，DeepMind是否有可能打造一个可以击败顶级围棋选手的系统。“不会。”他说。他不止一次这么说，部分原因是他认为这项任务太难了，同时也因为他什么消息也没听到。 在赛后的新闻发布会上，李世石坐在来自东西方的数百名记者和摄影师面前，告诉全世界，他很震惊。“我没想到AlphaGo能以如此完美的方式下棋。”这位33岁的棋手说。经过4个多小时的比赛，这台机器证明了它可以与世界上最好的选手相媲美。 深度学习革命中最重要的大玩家已经在为竞争而努力了。谷歌有辛顿、萨特斯基弗、克里哲夫斯基，以及哈萨比斯、莱格和西尔弗；Facebook有杨立昆；百度有吴恩达。但在像辛顿或哈萨比斯这样的人物是一种“无价商品”的世界里，微软没有属于自己的顶尖人物， 当他们讨论人工智能和机器人以及这些技术的走向时，他说未来的机器人需要睡觉。他认为，机器人需要睡觉，因为它们需要做梦。第三部分 动荡 PART THREE TURMOIL 他提出了一个完全不同的解决方案。他解释说，他们应该做的是打造一个能够从另一个神经网络中进行学习的神经网络。第一个神经网络将创建一幅图像，并试图欺骗第二个神经网络，让它以为这幅图像是真实照片。第二个会指出第一个错误的地方，第一个会再试一次。他说，如果两个神经网络对决足够长的时间，它们就可以创建一幅看起来像真实事物的图像。在基于这一想法所发表的论文中，他称之为“生成对抗网络”，即GAN。 当古德费洛刚刚来到谷歌时，他就开始探索一种叫“对抗性攻击”(adversarial attacks)的独立技术，这种技术表明神经网络可以被愚弄，你可以让它看到或听到实际上不存在的东西。仅仅通过改变一张大象照片中的几个像素——这是人眼无法察觉的改变——你就可以欺骗神经网络，让它认为这头大象是一辆汽车。 谷歌还想在北京设立一间新的人工智能实验室，希望这将有助于推动中国市场接受TensorFlow和它的新芯片，最终接受谷歌云。该实验室由谷歌新招募的一位名叫李飞飞的人领导，她出生于北京，十几岁时移居美国。 中国将统治这个时代，这里有更多的数据。因为这里人口更多，会产生更多的数据，而且这里对隐私的态度如此不同，这些数据可以自由地会集在一起。“人们对隐私的需求是普遍的，但中国的处理方式大不相同。”对陆奇来说，这一切意味着，中国不仅将成为第一个生产自动驾驶汽车的国家，也将成为第一个找到癌症治疗方法的国家。他认为，这也是数据的产物。 选择训练数据的人——马特·泽勒和他为Clarifai招聘的工程师——大多是白人。因为他们自己大多是白人，所以他们没有意识到其数据是有偏见的。谷歌的大猩猩标签本应该给这个行业敲响警钟，事实上却没有。 在马蒂斯访问谷歌总部三周后，生命未来研究所发布了一封公开信，呼吁联合国禁止所谓的“杀手机器人”，这是对自主武器的另一种描述方式。 谷歌的最终决定，是对政府合同的更大抵制的一部分。Clarifai的员工也对他们在马文项目上的业务提出异议。在三名军官和其他人来访后，一名工程师立即退出了该项目，其他人在接下来的几周和几个月里离开了公司。在微软和亚马逊，员工抗议军事合同和监视合同。但是，这些抗议活动远没有那么有效。第四部分 被低估的人类 PART FOUR HUMANS ARE UNDERRATED 盖瑞·马库斯曾在心理学家、语言学家和科普作家平克的指导下学习，之后围绕同样的基本态度创立了自己的事业。现在，他在人工智能领域施展他的先天论主义。他是全球针对神经网络的主要批评者，是“深度学习时代的马文·明斯基”。 “这些系统离真正理解散文还有很长的路要走。”马库斯说。杰夫·辛顿读到这里时，他很开心。他说，盖瑞·马库斯的这句话将被证明是有用的，因为它可以在未来几年里用于任何关于人工智能和自然语言的报道之中。“它没有技术含量，所以永远不会过时，”辛顿说， 纳德拉和微软同意给OpenAI投资10亿美元，OpenAI同意将这笔钱的大部分返还给微软，因为仅仅为了训练该实验室的系统，这家科技巨头打造了一套全新的硬件基础设施。 他说自己和本吉奥在图灵奖获得者中是独一无二的，他们是仅有的两个出生在20世纪60年代的人，他们是仅有的两个出生在法国的人，他们是仅有的两个名字以Y开头的人，他们是仅有的两个有兄弟在谷歌工作的人。 随着与会者为杨立昆鼓掌，辛顿收起自己的卡片，向讲台走去。他说：“我做一点儿计算，我相当肯定，我比杨立昆和本吉奥两人加起来要年轻。” 本书源于我为《连线》杂志和《纽约时报》报道人工智能的8年间对400多人的采访，以及为本书专门进行的100多次采访。大多数人被采访过不止一次，有些人甚至被采访过很多次。
横夸80年，人工智能历史，这中间有太多的精彩。 1960年——康奈尔大学教授弗兰克·罗森布拉特在纽约布法罗的一间实验室中打造了“马克一号”感知机。 2020年——Covariant在柏林发布分拣机器人。 最大的收获除了历史，还有陆奇的观点。 陆奇认为微软应该打造一辆自动驾驶汽车。这将为公司提供在很多其他领域取得成功所需的技能、技术和洞察力。 谷歌之所以在如此多的市场占据主导地位，是因为它在互联网空前扩张的时代打造了一款搜索引擎。像杰夫·迪恩这样的工程师被迫打造从未有人开发过的技术，在随后的几年里，这些技术推动了从Gmail到YouTube、再到安卓的一切。他说：“这并不是说谷歌的人喝的水有什么不同，而是说搜索引擎要求他们解决一系列技术难题。”陆奇认为，打造一辆自动驾驶汽车同样会丰富微软的未来。“我们必须让自己看到计算机技术的未来。” 陆奇人为每个社会经济时代都有一种主要的生产资料。 在农业时代，生产资料是土地。“你有多少人并不重要，你有多聪明也不重要。如果你没有更多的土地，你就不能生产更多的东西。” 在工业时代，生产资料是劳动力和设备。 在这个新时代，生产资料是数据。“没有数据，你就无法进行语音识别。你有多少员工并不重要，你可能有100万名才华横溢的工程师，但你无法打造一个理解语言并能进行对话的系统，你将无法打造一个图像识别系统，就像我现在做的那样。” 中国将统治这个时代，这里有更多的数据。
如果你也是深度学习相关领域的从业者，这本书将会是你业余读物的不二之选，从罗森布拉特的感知机到辛顿的反向传播，再到杨立昆的卷积网络和古德费洛的生成对抗网络，这本书以严谨而又不严肃的叙事方式讲述了深度学习筚路蓝缕的“发家史”。在读完这本书之后，你会惊奇地发现日常科研中调包的每一个神经网络背后都有一段令人肃然起敬的趣事。
我应该算是人工智能的热爱者，阅读这本书的初衷在于，我想知道这些技术究竟是如何被探索出来的。这本书的确不负期待，展现了深度学习背后的那些人与事情。整本书是从这些技术的研究者、机构和企业去展开了深度学习的发展，而不是像其他书籍意义从技术的角度解释。对于非深度学习研究者，这些技术诞生的背景及发展更引人入胜，也更有借鉴价值。通过阅读这本书，我的收获良多。分享一下一些我觉得非常触动的点作为书评记录吧。 01科研信仰 旧的东西也可以是新的 达尔说，“如果这是一个好想法，你就继续努力20年。如果这是一个好想法，你就继续尝试，直到成功。它不会因为你第一次尝试不起作用就不再是一个好想法。” 人工智能是一项交叉学科，它并没有限制在某个领域上，是以目标驱动的，解决一个人类技术边界的问题。 深度学习是一项因相信而看见的革命，在其他介绍书籍中一笔带过的人工智能研究寒冬在这本书里详细描写辛顿、杨立昆等学者是如何坚持自己的研究信仰的。这部分带给我的触动十分巨大。从产品或是实用角度看待问题与从科学研发角度是不同的，科学研究本身的含义就是挑战人类能力的边界，只要逻辑上，或者哪怕是直觉上可能实现，就是值得探索与解决。 我觉得对待科研的态度应该是我发现了一个非常重要的问题，我想试着解决它，或是我对一个鲜有问题很感兴趣，我有一些想要尝试解决的方案。即使到了今天，深度学习这种黑盒导致的幻觉问题是一个新问题，结果论或是因看见而相信的人，认识是消极的、觉得不可能被解决，而对科研工作者来说，或许应该是感到兴奋，这个一个有趣的问题，追求它的解决将会使得人工智能发展进入下一高涨期。 02科研圈子 大佬们的选择让我狠狠意识到，在目前人工智能火得一塌糊涂时候，绝大多数的普通研究者都只能做追随者。承认这一点是痛苦的，可以看到这些大佬们不仅仅拥有学识，它们还有丰富的资源及人脉，科研的工作是在交流中互相促进的，而非闭门造车。OpenAI的创建便是一个例子，在DeepMaind、Facebook和谷歌几乎垄断了深度学习研究时，再创建一个全新的实验室是否有可能？从现在看，想要在某个方向有从零到一的突破，需要和最好的人一起工作。 03 坚持 不论是辛顿还是哈萨比斯都是无比尊重自己的兴趣，对信仰的坚决。这一人生态度令我向往。 04 对人工智能的思考 通用人工智能就像三体中的曲速引擎，人类的渺小，人类本身智能具有限制、沟通的低效，如果宇宙真得存在高级文明，我觉得人工智能是使得人类文明进化的一种方式，掌握更智能产生的本身是抵御人类本身生物智能的限制方式之一。知识就是生产力，因此这些科技工作愿意投出如此如此大的资本，博得一个未来的市场。 在介绍AlphaGo的胜利时，似乎围棋这种游戏不存在了，因为在这个领域里已经有一个至高无上的神，那还有什么挑战的意义？然而李世石在第四局的表现，让我意识到人类的围棋技术可以借助AI提高更高的等级，人与机器的协同可以帮助拓展知识的边界。当然对于行业顶级的辅助来说，知识上“贫”“富”差异或许因为AI而出现了。当然对于大多数一般人水平的人来说，这些一种悲剧。领域知识+AI是新的知识进步形式。 05 虚假的资本 资本家总是自信满满，大谈特谈人工智能摧毁人类时候，担忧但依旧坚定不移的互相竞争，直到这些所谓的危害以人脸识别的偏见、假新闻和武器化形式出现时候，开始互相甩锅和指责，以所谓的“正义”为旗号迷惑大众大肆发展，直达将其真正的引入到真实世界后，以慈善的姿态作为修正，令人无可奈何的世界。 06 想继续探寻的问题 在于明斯基对感知机批判时候，辛顿提出了“反向传播”，为什么反向传播能够实现这种调整； 神经网络与卷积神经网络究竟有多少差异，为什么要改用卷积核提取呢？ GPU和TPU是如何加速推理的，也就是如何将模型的能力交付给用户 了解其他机器学习门派
用了三天时间读完了这本书，真的是本非常好的书。 过段时间我还会再读一遍这本书。 对人工智能发展历史感兴趣的朋友一定不要错过这本书。