我从头到尾读完了整本书,做了每一个(非编程)练习,作为涉及强化学习的博士学位的一部分。我也熟悉1998年版本。
II版(2018)已绝大部分被重新设计;它更长了,结构发生了变化,符号也发生了变化,讨论了许多新主题。与I版一样,II版既是一本参考书,又是一本教学手册。主要区别是:
(1) I部分在简化的背景下处理强化学习的基础知识,措辞谨慎,以便以与I版相同的易于理解、直观的方式传达理解,但也更加关注数学的严谨性和系统性。
(2) II部分涉及函数逼近的强化学习,与I版相比,有时会涉及到一些数学知识,反映了机器学习领域的总体演变。困难的部分已明确标记,可以跳过。但后来,直面困难总是会带来(积极的)回报。
(3) 第三部分涉及心理学和神经科学的相关发展,这是对跨学科分支领域的一个受欢迎的补充。这对于神经科学家和计算神经科学家以及实验/认知心理学家应该有用。
包括许多练习。我不是数学爱好者,但我发现我可以自己完成其中的每一项,不幸的是,在其他人工智能中通常情况并非如此。图书。这些练习旨在帮助读者在指导下自行解决关键问题,从而理解关键问题。它们使自学成为可能并且令人愉快。
对于任何从事强化学习工作的人来说,这都是一本不可或缺的书。我只有一个问题是,我来得太晚了,无法在其中被提及,但我并没有放弃在第三版中完成它的希望,预计将于 2038 年出版。——高分点评