【阅】本周阅读摘选2023-03-27 → 2023-04-02

Posted by Cao Zihang on April 3, 2023 Word Count:
本周阅读摘选
2023-03-27 → 2023-04-02
目录

学术相关

陆铭丨给搞实证研究学者的经验建议

现代经济学实证研究的功能:

  • 检验理论
  • 挑战理论
  • 发现净效应
    • 辅助制定政策
  • 比较效应强度
    • 分析政策优劣
  • 识别机制

作者认为目前经济学发展的理论架构已经基本完善,在理论的进展上难以出现重大突破,因此实证研究成为世界研究的潮流。在一些研究领域中,如产业经济学、人事管理经济学,存在很多理论,但经验证据不足,这些领域的前沿需要由实证研究所推动。此外,应用的微观和政策评估也是实证研究的重要话题。

很多经济学的初学者在学习和考试中都是考察微观和宏观理论,就以为做理论才是高大上的,教科书上的诺贝尔奖得主代表了经济学的前沿方向,但事实不是这样的,我们应该更关注实证和克拉克奖。

如何给模型加入先验知识

基于预训练模型添加先验知识

经过预训练的模型通常具备基本的识别先验知识模式的能力,因此将网络的权重替换成预训练模型的权重能够引入一定的先验知识。

基于输入添加先验知识

通过调整输入,让模型更加关注输入的局部特征。例如欲令网络关注鸮鹦鹉的头部,则将整体图像与头部图像作为网络的两路输入,在网络后端再把两路输入的信息融合。图片

基于模型重现添加先验知识

通过添加辅助分枝,让模型为局部赋予更多的关注,使模型主动发现先验知识。

图片

基于CAM图激活限制添加先验知识

CAM激活图是基于分类网络倒数第二层卷积层输出的feature map的线性加权生成的,其中断种为最后一层分类层的权重。由于分类层的权重编码了类别的信息,所以加权后的响应图拥有不同类别的对应区域。

图片图片

之后需要结合先验知识与激活图区域进行分析,设置满足先验知识的激活图限制。具体设置可以通过调整损失函数实现目的。

基于辅助学习添加先验知识

有点类似于模型重现的方式,让模型关注更多的特征。辅助学习与多任务学习相类似,但不要求辅助任务的精度提升。

图片

图片

这类方法的主要问题是容易缺少对应标注。一种基于meta-learning,maxl方案的方法可以通过label generator自动生成标签,label generator的优化目标是让主网络在主任务的task上降低loss,但缺陷是训练时间会极大增长,且难以优化。

Wolfram:AI 会抢走所有工作并终结人类历史吗?

从长远的历史视角看,一个不断的趋势是曾经需要人类努力完成的东西最终变成了自动化和技术“免费完成”的事情。思想领域类比为:随着时间的推移,越来越高级的抽象水平被开发出来,这些水平消除了以前的繁琐细节和具体问题。

人们越来越迫切地想知道:我们最终会自动化一切吗?

作者给出的答案是不会。因为计算不可约性现象的一个后果是总要有更多的计算需要完成,它们不能被有限数量的自动化、发现或发明减少。

计算不可约性computational irreducibility

计算不可约性理论认为不是所有复杂的计算都允许一个简化的公式存在,这意味获取计算不可约问题答案的唯一方式是执行或模拟计算。

然而,最终的结果可能更加微妙。虽然总是有更多的计算需要完成,但人类并不关心它们,有可能我们关心的东西都被自动化实现,而导致人类丧失工作。

我们现有的关于机械和自动化的大部分知觉都源自工程观点:通过专门组件化地构建系统,以实现所需的目标。然而,自然界表明即使按照简单程序规则运行,也可以产生极其巨大的复杂性。像ChatGPT这样的系统的特点是它不以传统的“了解每一步”的工程方式构造的,它从一个“原始计算程序”开始,逐步调整,直至与目标行为相一致,最终使得系统对人类而言具有技术意义上的“用途”。这就意味着,从底层看,这些工具仍然是一个计算系统,具有产生巨大复杂性的潜在“野蛮性”。

由于计算不可约性,我们无论如何都永远无法找到描述系统即将发生情况的捷径,这代表了对科学和一般知识的限制。同时,这也意味着一旦系统的行为在计算上是不可约的,我们永远无法跳到行为的前面去预测系统的行为,进而我们就永远无法保证系统中即将发生的事情,无法对其行为施加限制,使系统始终可能产生惊喜或惊吓。

作者认为:在基本计算层面上,人类本质上不存在独特性——在计算方面,人类与自然界中许多系统甚至是简单程序基本等价。

作者认为目前为止存在一个根本的事情,定义我们认为应该做的目的是人类可以但AI不可以的,因为目前计算系统的指向必须源自系统外部,直至形成其独特的历史网络AI文明。

截止至目前,人类历史上,自动化总是淘汰了一些工作,但也催生了其他工作,迄今似乎总是有许多未被自动化的工作被创造出来。然而,人类无法为技术的发展踩下刹车,因为计算不可约性,人类不可能设置可预测的舒适区间。

未来,我们与AI进行交流的方式很可能是使用自然语言,通过给出例子引导AI去遵循某种约定,而不是精确的描述规则,因为那将使我们再次陷入计算不可约性,虽然这样的方式使我们不能了解计算的细节。

技术技巧

GIS软件与Python包

之前看过一个研究的大纲,里面有一个很精美的地理可视化配图,所以我一致在想他们是怎么做的。这次看到了一些相关信息,就按图索骥,找到了一些GIS的信息。

  • 卫星数据

    • “遥感”一直是我只在新闻中听过的词汇,初次接触
    • 欧洲航天局哥白尼计划“Sentinel哨兵”系列卫星
      • 哨兵-1卫星是全天时、全天候雷达成像任务,用于陆地和海洋观测,首颗哨兵-1A卫星已于2014年4月3日发射。
      • 哨兵-2卫星是多光谱高分辨率成像任务,用于陆地监测,可提供植被、土壤和水覆盖、内陆水路及海岸区域等图像,还可用于紧急救援服务。
      • 哨兵-3卫星携带多种有效载荷,用于高精度测量海面地形、海面和地表温度、海洋水色和土壤特性,还将支持海洋预报系统及环境与气候监测。
      • 哨兵-4载荷专用于大气化学成分监测,将搭载在第三代气象卫星-S(MTG-S)上。
      • 哨兵-5载荷用于监测大气环境,将搭载在欧洲第二代“气象业务”(MetOp)卫星上。
      • 哨兵-5P卫星用于减小欧洲“环境卫星”(Envisat)和哨兵-5载荷之间的数据缺口。
      • *哨兵-6卫星是贾森-3(Jason-3)海洋卫星的后续任务,将携带雷达高度计,用于测量全球海面高度**,主要用于海洋科学和气候研究。
      • 示例(见本地Jupyter)
        • 数据请求:Sentinel多数数据都是离线的,需要发送请求,待系统上线后才能重新下载
        • 我使用得是近期过境香港的一次数据,观测的质量和角度都不是很好下载
        • 有一位博主-科研狗的摸鱼日常做的效果更好有
  • GIS软件

R包:ggcharts可视化-主题

ggcharts官网

1
ggcharts_set_theme('theme')
  • theme_ng

    img

  • theme_hermit

    img

  • theme_ggcharts

    • 默认主题

      1