为了获得上文第二部分所说的 ，也就是上文其他算法中的 ，我们使用了一个滑动加权平均的方式，其中参数 d 是为了控制历史值与当前值的权重分配。
为什么我们还要指定学习率 和衰减系数 d 呢？已经有很多算法可以免去这两个超参数了，我们可以把他们的思想拿过来，和上面的算法进行综合，得到一个真正免超参，同时又能降低梯度估计方差，提升学习率的算法，这就是我们后续提出的 SSVRG-v2 算法，关于这个算法以及数学上的一些证明我们下一篇再写。
Reference
[1] Cauchy, Augustin. “Méthode générale pour la résolution des systemes d’équations simultanées.” Comp. Rend. Sci. Paris 25.1847 (1847): 536-538.
[2] Robbins, Herbert, and Sutton Monro. “A stochastic approximation method.” The annals of mathematical statistics (1951): 400-407.
[3] Kiefer, Jack, and Jacob Wolfowitz. “Stochastic estimation of the maximum of a regression function.” The Annals of Mathematical Statistics 23.3 (1952): 462-466.
[4] Bottou, Léon, Frank E. Curtis, and Jorge Nocedal. "Optimization methods for large-scale machine learning." SIAM Review 60.2 (2018): 223-311.
[5] Johnson, Rie, and Tong Zhang. "Accelerating stochastic gradient descent using predictive variance reduction." Advances in Neural Information Processing Systems. 2013.
[6] Defazio, Aaron, Francis Bach, and Simon Lacoste-Julien. "Saga: A fast incremental gradient method with support for non-strongly convex composite objectives." Advances in Neural Information Processing Systems. 2014.
[7] Shalev-Shwartz, Shai, and Tong Zhang. "Accelerated mini-batch stochastic dual coordinate ascent." Advances in Neural Information Processing Systems. 2013.
[8] Lei, Lihua, and Michael Jordan. "Less than a Single Pass: Stochastically Controlled Stochastic Gradient." Artificial Intelligence and Statistics. 2017.
[9] Nitanda, Atsushi. “Stochastic proximal gradient descent with acceleration techniques.” Advances in Neural Information Processing Systems. 2014.
[10] Roux, Nicolas L., Mark Schmidt, and Francis R. Bach. "A stochastic gradient method with an exponential convergence _rate for finite training sets." Advances in Neural Information Processing Systems. 2012.
最近西部世界第二季开播了，等了一年，终于等到了。西部世界关于意识的理论用了所谓的二分心智理论，这个理论是美国心理学家朱利安·杰恩斯（Julian Jaynes）在他的神书《二分心智的崩塌：人类意识的起源（The Origin of Consciousness in the Breakdown of the Bicameral Mind）》里提出的，这是个神奇的理论，转发一篇介绍此人及此书的文章。
译者按：加拿大科幻小说之父Robert J. Sawyer在他的关于网络觉醒故事的全新三部曲《WWW》之《Wake》中讨论了意识起源，其中， 故事主人公 Caitlin花了大量时间去思索Julian Jaynes的著作《The Origin of Consciousness in the Breakdown of the Bicameral Mind》。本文正好对这部神作做了一番介绍，著作主要研究人类意识的起源。该书作者Julian Jaynes认为，直到史诗描述的时代为止，人类思维与现代人的思维大相径庭，当时的人类，缺乏自知、自我意识。他认为，人类服从他们认定为神祗的声音，直到人类思维产生了自我意识为止。其中，《伊利亚特》提供了非常重要的证据：几乎所有行为，都是神灵推动，早期译文中人物也明显缺乏内省。与主流将意识视为生物现象（比如，行为主义）不同，Julian Jaynes将意识起源归于文化（特别是语言的兴起）。如今，他的「奇谈怪论」却成了神经科学家们、哲学家们的热议话题甚至是灵感来源。
当《二分心智的崩塌：人类意识的起源（The Origin of Consciousness in the Breakdown of the Bicameral Mind）》终于在1976年出版时，看上去并不像是一本畅销书，然而，它的确十分好卖。书评见于各类科学杂志和心理学期刊、《时代周刊》、《纽约时报》和《洛杉矶时报》。1978年，该书获得国家图书奖的提名。不断再版发行过程中，杰恩斯也在各地进行巡回演讲。1997年，杰恩斯死于中风，而他的书留传于世。2000年，另一新版上市，销售至今。
在书的开头，杰恩斯问：「意识是自我本身，无所不包，但又什么都不是。——它到底是什么？它来自哪里？它的意义何在？」杰恩斯从历史视角来回答这个问题：人类直到大约3000年前才具有完全的自我意识，在此之前，人类依赖二分心智（bicameral mind）——每当遭遇到困境，一个半脑会听见来自另一半脑的指引，这种指引被视为神的声音。人类社会日趋复杂，这种二分心智也最终坍塌，人类现代自我意识被唤醒，最终具有了内在叙事（ an internal narrative）的能力，杰恩斯认为，一切变化源于语言。
这个非同寻常的观点也与当时主流想法格格不入。「古希腊人没有自我意识（ ancient Greeks were not self-aware）」的观点让不少人反感。艾伦脑科学研究所（ Allen Institute for Brain Science）的首席科学主任Christof Koch谈到：「通过把意识的来源归结于文化，杰恩斯否认了意识是一种生物现象。」
但是，koch和其他神经科学学者和哲学家们都承认，这本狂放不羁的书有它独特的力量。哲学家Daniel Dennett如此评论道，「他是一位传统的、有着思想深度和雄心壮志的业余学者，始终追随着内心的好奇」。杰恩斯试图描述和解释『内在声音（ a inner voice）』——我们栖居于斯的内在世界，他的研究引发广泛共鸣。世界各地神经科学实验室间纷纷兴起意识研究，不过，当时科学界还无法深入涉足主观体验研究。但是，杰恩斯在这一课题上表现出色，开启了一扇通往有关什么是「活着」、如何感受「活着」的大门。
杰恩斯写道，本能和声音的结合（即所谓的二分意识），只要人类社会等级森严，人类能够自我管理相当长一段时间。但是，大约3000年前，人口过剩，自然灾害、战争的压力大大超过警告之声的极限。二分心智分崩离析，之前能够听到的警告之声完全消失，自我意识开始零零碎碎地回到人们的意识当中。一个更灵活却更艰巨的应对日常生活的方式由此诞生——当神沉默之后混乱接踵而至之时，这种新的应对方式再适合不过了。他说，《奥德赛》中的人物会有内在思维活动（不过，他认为，这是由于后来译者添加上去的，反应的是现代心智。——译者）。伴随着内在叙述以及对来自更高权力指引的渴望，现代心智（ modern mind）出现了。
这本书全面深刻而且古怪。但是，《二分心智的崩塌：人类意识的起源（The Origin of Consciousness in the Breakdown of the Bicameral Mind） 》非常具有吸引力。部分原因可能在于，许多读者以前从未想过意识是什么。或许这是许多人第一次伸手触碰自己的意识，发现它们并不像自己所期望的那样。杰恩斯的书在特殊的时代确实带来了震撼，此时，这种震撼可能产生独特的强大效力。20世纪70年代，越来越多的人开始对意识的问题感兴趣。鲍迈斯特（Baumeister）非常欣赏杰恩斯，他在这本书出版之前就阅读了它，他说杰恩斯掀起了「精神阶段」的新时代运动。
这本书的语言运用非常好。它具有纳博科夫式的丰富性。他的散文优雅、有力量且具有可信度。它听起来像预言，但感觉却十分真实，并且具有令人难以置信的重量。真理与美丽以一种人类难以分开的方式交织在一起。负责 Storycollider故事系列（springer出品的一个科学主题的故事系列——译者）物理学家本·莉莉（ Ben Lillie）回忆他发现杰恩斯书的情景时说：「那时我身处一群喜欢黑色着装、在年鉴和报纸办公室闲逛谈论知识的人当中」莉莉说，「有人在读这本书，我不记得谁是最先读它的人，反正不是我。突然之间我们都认为它听起来不错，就都开始阅读。因为书中的观点是在挑战通识，读者会感觉自己像个反抗者。」
在此期间，过去四十年里，风向变了，科学研究者都寻找最好的问题去发问。诸如艾伦脑科学研究所（Allen Institute for Brain Science）和瑞士联邦理工大学的大脑与心智学院（Brain-Mind Institute of the Swiss Federal Institute of Technology）的一些重大项目，都试图理解脑部结构和功能，试图解开许多疑问，包括何为意识、它是如何生成并直达神经元的。行为经济学已经兴起，作为一个完整的研究领域，它描述和使用了我们对自己行为毫无意识的这些行为方式——这正是杰恩斯这本书的主题——以及这门学科创始人的一些洞见，学科创始人丹尼尔•卡尼曼(Daniel Kahneman)和弗农 •史密斯(Vernon L. Smith)，均为诺奖得主。
Eric Schwitzgebel，一位加州大学的哲学教授做了项实验，调查我们如何意识到那些我们并未关注的事情，实验回应了杰恩斯的观点：意识本质上是察知（ consciousness is essentially awareness）。 Schwitzgebel 说，「你意识到的唯一的事情就是你刚才打算去做的事情，这种说法不是不合理。但是，我们也能合理的认为，（与此同时）许多事情正在背景里和意识周边上演着。在关注的背后，你正经验着所有这些。」正是这些问题使杰恩斯成为哲学和神经科学的焦点话题。但是，与此同时，杰恩斯的书依然处在科学边缘。 Schwitzgebel 说，「古希腊人没有自我意识，这个观点仍远在主流之外。」
丹尼特（Dennett）称《二分心智的崩塌：人类意识的起源（The Origin of Consciousness in the Breakdown of the Bicameral Mind）》是本「非凡而奇异的书」，他向杰恩斯释放出了最大的善意。他说，「有很多确实好的想法蛰伏于无用的垃圾之中」。他尤其认为杰恩斯的这个观点让他深为叹服：动物与人类的心智是不同的，这一差异源于语言。
那些无时无刻不被研究意识的神经系统科学家提及的问题，也要归功于杰恩斯的疯狂想法。Antonio Damasio是一位神经科学的教授，南加州大学大脑与创造研究所的主任（the director of the Brain and Creativity Institute at the University of Southern California）。他在2010年的新书《忆起自我（Self Comes to Mind）》中，支持杰恩斯关于发生在人类意识中的相对较近的过去事情的看法。他写道，「随着关于人类和宇宙知识的积累，持续反思能很好的改变自我结构，促使意识过程中相对独立层面产生更为紧密的缝合；大脑活动的协调——首先是被价值所驱动，接着是被理性（reason）——正在对我们有利。」但是，这种支持实属罕见。更为常见的反响是，比如加州大学的荣誉教授、神经思想家 Patricia S. Churchland认为，「他的书是空想。我认为，它并未实质增进我们对意识性质的理解，也未帮助我们理解意识如何从大脑活动中得以产生。」
Kuijsten 认为，许多攻击杰恩斯的人根本不愿花气力去理解讨论的观点，他也承认杰恩斯的论述很难让人转过弯来（ hard to get one’s mind around）。他说，「人们带着根深蒂固、先入为主的有关意识的观念来理解杰恩斯。也许，他们只是读了书的背面」。但是，Kuijsten考虑长远。他说，「我不打算在这里改变其他人的想法，这无疑是在浪费时间。我想给那些读过书的和想讨论的人们提供最好信息和资源。」
