【阅】本周阅读摘选2023-05-08 → 2023-05-14

Posted by Cao Zihang on May 15, 2023 Word Count:
本周阅读摘选
2023-05-08 → 2023-05-14
目录

学术相关

一种移动流生成的深度引力模型1

整体上来说,我个人感受是这篇论文在算法的设计上还是比较粗糙的,同时作者使用了大量笔墨介绍一些深度学习基础内容,可能暗示作者对于深度学习的接触时间较短。(我对本文研究领域并不熟悉,也可能忽视了它的一些价值。)我阅读它的主要原因是这篇论文的标题和摘要吸引了我。

这篇文章的亮点是将经典引力模型视作浅层神经网络,这样的转换是我之前没有见过的,对我思考问题有些帮助。

作者开发了一种可以基于无偿地理数据的多种特征生成人群流动概率的深度引力模型。作者在英国、意大利、纽约的实验证明,相较于经典引力模型,该模型取得了显著的提升,在人口密集的相关区域表现尤佳。

移动流生成问题(flow generation)是研究人类移动问题中最有挑战性的一类,它要求给定人口统计和地理特征,在不具备历史真实移动流的条件下生成一系列地点之间的移动流。

传统的引力模型过于简化,通常缺失复杂的重要地理信息,而深度学习中的流动预测(flow prediction)问题则高度依赖历史信息,因此,本文希望将二者结合,互补缺点。

作者所使用的数据提取自OpenStreetMap开源数据库。

建模

定义感兴趣的地区$R$,有一组多边形分割$\mathcal{T}$包含有限数量的多边形地点$l_i$,满足$\mathcal{T}={l_i:i=1,…,n}$,$\bigcup_{i=1}^n l_i=R$,且地点不重叠$l_i\bigcap l_j=\varnothing,\forall i\neq j$。

在单位时间内,地点$l_i$与$l_j$之间的人流量为$y(l_i,l_j)$,$l_i$的流出人流总量$O_i=\sum\limits_j y(l_i,l_j)$。

给定兴趣地区$R$的一个分割$\mathcal{T}$与$\mathcal{T}$中的所有地点流出人流总量,问题是估计$\mathcal{T}$中任意两个地点间的流量$y$。该问题不能使用兴趣地区内的地点间流量子集或历史信息作为模型输入,而只能通过与兴趣地区$R$不重合的其他地区$R’$进行训练。

流生成模型最常用的评价指标为Sørensen-Dice index (Common Part of Commuters, CPC),衡量真实流量$y^r$和生成流量$y^g$的差异$CPC=\frac{2\sum\limits_{i,j}min(y^g(l_i,l_j),y^r(l_i,l_j))}{\sum\limits_{i,j}y^g(l_i,l_j)+\sum\limits_{i,j}y^r(l_i,l_j)}$,$CPC$越接近1意味着匹配的越完美。

深层引力模型推导

深层引力模型源于流生成问题的SOTA模型——引力模型,它相当于一个浅层线性神经网络。深度引力模型在引力模型基础上添加了非线性和隐藏层,并纳入了其他地理特征。

单约束引力模型刻画了$l_i$和$l_j$之间的期望流量$\bar{y}(l_i,l_j)=O_ip_{ij}=O_i\frac{m_j^{\beta_1}f(r_{ij})}{\sum\limits_km_k^{\beta_1}f(r_{ik})}$,其中$O_i$为$i$的总流出,$p_{ij}$为观察到自$l_i$向$l_j$流动一个单位的概率,$m_j$为地点$l_j$的总人口,$\beta_1$为参数,$r_{ij}$为$i$与$j$之间的距离,$f(r_{ij})$被称为威慑函数(deterrence function),通常它是指数形式$f(r)=e^{\beta_2r}$或幂律形式$f(r)=r^{\beta_2}$,这里的$\beta_2$为另一个参数,这两种情况下,引力模型可以被表示为具有多项式分布的广义线性模型。由于模型的线性,所以可以使用牛顿法等方法快速的找到$\beta_1,\beta_2$的极大似然估计。

$\begin{align}Log\ L(\beta|y)\propto ln(\prod\limits_{i,j}p_{ij}^{y(l_i,l_j)})&=\sum\limits_{i,j}y(l_i,l_j)ln\frac{m_j^{\beta_1}f(r_{ij})}{\sum\limits_km_k^{\beta_1}f(r_{ik})}\\ &=\sum\limits_{i,j}y(l_i,l_j)ln\frac{e^{\beta\cdot x(l_i,l_j)}}{\sum\limits_ke^{\beta\cdot x(l_i,l_k)}}\end{align}$

其中$\beta=[\beta_1,\beta_2],x_j=ln\ m_j,x(l_i,l_j)=concat[x_j,r_{ij}]$(幂律威慑函数$x(l_i,l_j)=concat[x_j,ln\ r_{ij}]$)。

注意,上式$-Log\ L(\beta|y)$正比于具有二维输入,在单一线性层后接Softmax函数的浅层神经网络交叉熵损失$H=-\sum\limits_i\sum\limits_j\frac{y(l_i,l_j)}{O_i}ln\ p_{i,j}$。这意味着流量生成问题可以被视作将观测(出发点的单位流量)匹配正确类别(分割$\mathcal{T}$中的目的地)的分类问题,即经典引力模型是具有两个可解释参数——人口,距离的线性分类器。

基于该理解,作者可以很自然地引入非线性和隐藏层。

深度引力架构

为生成起始地点$l_i$的流量,对于兴趣地区$R$内的$n$个地点,深度引力模型使用大量的特征作为输入,输出概率$p_{i,j}\ for\ j=1,…,n$的$n$维向量。损失函数为交叉熵函数。

image-20230715173535952

实验

  • 基准模型:引力模型
  • 混合模型
    • 非线性引力模型
      • 输入与经典引力模型一致:人口 & 距离
      • 架构与深度引力模型一致
    • 多特征引力模型
      • 输入与深度引力模型一致
      • 架构与经典引力模型一致

image-20230715180515808

image-20230715183659398

实验效果一般。

作者使用了SHAP方法对模型进行了解释。

播种畜群:操纵社会学的定价和福祉效应2

算法市场中的对抗性竞争与共谋3

这篇文章主要是做了可行性的探索,一方面是将前人理论化描述的对竞争对手定价算法进行攻击的行为在实验环境中进行了模拟,验证了该攻击的可行性;另一方面指出,攻击者可以通过敌对共谋的方式规避竞争对手和监管者的察觉,操纵市场价格。作者没有在算法优化和商业角度进行深入分析。

In Silico analysis:计算机模拟分析

随着互联网电商的发现,现有研究表明超过$\frac{1}{3}$的Amazon卖家已经使用了定价算法。然而,随着定价算法的推广,可能会产生一个问题:算法的默契合谋。在近年的经济学、博弈论和计算机的新兴研究中,研究者们已经多次证明了定价算法可以具备默契合谋,预测对手算法并对抗的能力。在此基础上,作者进一步地研究了当一家公司操纵其他卖家采用他们的定价算法的“敌对合谋adversarial collusion”情形。作者构建了迭代的2或3家公司市场网络模型进行模拟,假定攻击者会学习其他竞争对手的算法,并引导该算法牺牲竞争对手的利益,提高自己的利润,直到被攻击者察觉。此外,作者发现存在一个攻击者可以单方面地实现同时提升自己和竞争对手的利益,导致一个对称和超竞争利润的长期可持续情况,损害消费者利益。在现有的监管体系中,这样的情形并没有被考虑过。

模型

考虑$n$家销售同质化在线产品的独立公司,设定每个代理的价格集向量$\mathbf{p}=(p_1,…,p_n)$。$q_i(\mathbf{p}),i\in[1,n]$为代理没有先验知识时,价格$\mathbf{p}$下$\mathcal{A}_i$的商品的整体需求。在每轮迭代中,代理根据先前利润独立地更新价格。即每一步$t$,代理$\mathcal{A}_i$观察市场价格$(p_1^{(t)},…,p_n^{(t)})$,在边际成本$c_i$下销售了$q_i(\mathbf{p}^{(t)})$,收获利润$r_i^{(t)}=q_i(\mathbf{p}^{(t)})(p_i^{(t)-c_i})$,之后按照自己的价格策略$\pi_i$决定新的价格$p_i^{(t+1)}=\pi_i(\mathbf{p}^{(t)})$。

为模拟真实购买行为,作者选用了综合消费者需求模型Synthetic Consumer-demand models。根据前人文献,作者设定所有代理的边际成本$c_i=0$,离散化的价格在$[0,1]$,对每个代理$\mathcal{A}_i$,$p_i\in\mathcal{P}_M={\frac{k}{M}|0\leq k\leq M}$ ,$M$为正颗粒度因子并设为25。特别地,当$p_i=0$时$\mathcal{A}_i$获取零利润。

敌对定价策略

由于越来越多的卖家使用复杂算法确定价格,这为竞争对手提供了破解他人战略、发现弱点并利用的动力。作者提出了一种新的单向敌对方法来研究竞争者的算法策略。作者首先聚焦于2家公司,两种定价算法的市场,其中竞争者$\mathcal{A}_1$使用稳定的私有定价算法寻求自身长期利益最大化,$\mathcal{A}_2$对此没有先验知识。在初步探索阶段,攻击者$\mathcal{A}_2$逐步学习竞争对手的定价策略$\pi_1$,并基于此寻求自身利润最大化。

image-20230710212227041

公式化地,在探索阶段攻击者$\mathcal{A}_2$学习市场上竞争对手定价策略$\pi_1$的图表示$G=(V,E)$,它编码了$\mathcal{A}_1$对$\mathcal{A}_2$价格变动的反应,它将所有的价格视作节点$V$,所有允许的转移视作边$E$。

$\left\{\begin{array}{rcl}& V= {(p_1,p_2)|p_1\in\mathcal{P}_M,p_2\in\mathcal{P}_M}\\ & E = {(p_1,p_2)\to(\hat{\pi}_1(p_1,p_2),p_2’)|(p_1,p_2)\in V,p_2’\in\mathcal{P}_M}\end{array}\right.$

其中,$\hat{\pi}_1$是对$\mathcal{A}_1$定价策略的估计。

探索阶段,攻击者会计算包含最优价格序列$\mathcal{C}$的策略图谱,以从任何起始点寻求最大化目标函数$f$。

给定初始市场设置$(p_1,p_2)$,竞争者$\mathcal{A}_1$遵循自身的学习策略$\pi_1$,此处作者依据文献设置了TES、KLN和CAL三种静态Q学习算法。攻击者使用广度优先搜索算法探索所有可达的市场配置。在探索阶段结束后,攻击者会获取完备知识图谱$G^\ast$的联通子图——特征图谱$G$,它包含$G^\ast$已探索的顶点部分$\tau_G$。在上述3种实践中,最终的$\tau_G$均收敛于1。(为控制学习成本,攻击者可以设置早停策略。)

image-20230710212325867

图3展示了作者的方法学习竞争对手定价算法的过程,以及如何利用习得的对手算法实现自身利益最大化。

image-20230710212355710

图Extended Data Fig.1表明对抗TES算法需要420步,对抗KLN需要438步,对抗CAL需要1451步实现任意初始市场设置下,以$L_G=1$的概率下找到最优可达价格序列$\mathcal{C}^\ast$。

image-20230714155409114

而图Extended Data Fig.2表明,如果不强求最高利润,只寻求满意利润则可以节约很多步骤。

image-20230714155913649

image-20230714152124781

三家企业市场

许多经济学和机器学习学者质疑在多于2家企业存在的市场上,算法共谋的情境是否还会出现并持续。作者模拟了3家企业的场景,市场上存在竞争对手$\mathcal{A}_1,\mathcal{A}_2$和攻击者$\mathcal{A}_3$,其中$\mathcal{A}_1、\mathcal{A}_2$使用训练好的静态私有定价算法最大化自身长期利润。此时的图谱$G$包含$M^3$个顶点和$M^4$条边。模拟结果表明,该算法可以成功地获取高的敌对竞争利润和敌对共谋利润。

image-20230714163538523

image-20230714165543120

《管理世界》丨郭迅华 等:机器学习与用户行为中的偏差问题:知偏识正的洞察4

一方面,用户行为表现中存在诸多不准确、不完整、不一致的情形,在数据化后会形成有偏的行为数据。另一方面,机器学习算法难以避免地存在误差和不准确性。

进一步地,算法和用户行为的偏差可以通过人机交互、数据采集等过程相互影响,导致偏差持续扩散与放大,这将意味着基于数据和算法的管理决策和用户决策会出现偏误。

规范地说,本文研究的问题是行为偏差与模型偏差,及二者通过偏差循环机制的相互影响。

  • 机器学习与用户行为的循环结构

image-20230710164706875

  • 行为偏差
    • 选择偏差
    • 表达偏差
  • 模型偏差
  • 偏差循环
    • ex. 推荐系统干扰用户评价行为

组织管理英文顶级期刊近五年(2018-2022)最新构念与量表汇总

  • 创造性人格
  • 工作场所情绪智力
    • 在工作场所识别情绪、理解情绪、调节个人情绪和管理他人情绪的能力
  • 工作狂倾向
  • 薪酬信息交换偏好
    • 个体寻找和共享薪酬信息的倾向
  • 一般社会交换取向
    • 个体在工作场所与其他成员互动时支持集体互惠规则的信念
  • 个人品牌资产
  • 感知的个体-团队匹配
  • 工作倦怠
  • 行为归因偏差
  • 时间侵占
    • 员工故意不适当记录和/或分配个人付薪工作时间的行为
  • 个体工作反思
  • 死亡反思
  • 闲聊
  • 感知授权收益和成本
    • 领导者对向员工授权的预期收益和预期成本
  • 安全氛围
  • 产业集群
  • 工作-非工作平衡
  • 游戏化人力资源管理系统
    • 在工作中通过游戏元素的设计思路激发员工的乐趣、内在动机和工作投入的一套人力资源管理系统
  • 玩兴工作设计
    • 一种通过在工作中创造、寻求和解决复杂问题来提升工作乐趣和挑战的主动认知行为导向
  • 身份领导力
    • 领导者代表、推进、创造和嵌入一种他们与所领导的集体共享的社会身份的能力
  • 文化智商
    • 个体的跨文化能力和知识,即在跨文化环境中进行有效管理的能力
  • 员工抱负
  • 混合产品销售能力
  • 感知地位重要性
  • 工作和人类需要
  • 使命感
  • 挣扎迹象
    • 员工因无法有效满足工作要求而表现出的与焦虑、退缩、绩效下降等相关的行为警示迹象

陆铭的13个实证研究锦囊

这次讲座的目的是澄清目前实证研究的三大弊病:

  • 缺乏对研究问题的具体背景了解,研究方法实用性被忽视
  • 普遍关注系数的统计显著性及内生性处理,其他的重要实证研究基本问题被忽略
  • 追求方法的所谓现代性和科学性,缺少对无法使用酷炫技术的基本事实和重要问题缺乏关注

选题的价值观问题

很多中国的特有问题不会受到国际学术界重视,但对于中国政策研究,推进中国发展而言格外重要。

学术研究特别是在应用研究这个问题上,话题的前沿性的把握是非常重要的。

参照系与在边际上看问题

理论建立在实际背景上

业界动态

零售业数字转型的阻力和机遇:从“无人便利店”谈起丨长江案例

Amazon旗下的无人便利店AmazonGo于2016年12月5日向Amazon员工开发,2018年1月22日向公众开放。AmazonGo便利店安装了大量摄像头捕捉顾客的各种动作,并通过这些数据随时调整便利店商品的种类、布局等。具《财富》报道,AmazonGo可同时容纳20名左右的顾客。

AmazonGo并非完全无人化,它最大的突破是节省了收银环节,本质上是一种”无人与有人“结合的零售业态。

Python库:基于surprise库构建多种协同过滤方法的推荐系统

一个工业界用得比较多的推荐系统python库,包含了一些常用的推荐算法和评估指标。

由于该python库需要Microsoft C++支持,占据空间过大,就不进行尝试了。

技术技巧

游戏化地图制作:Inkarnate

World Map Example

Python:Numpy速查表

Python库:异常值检测PyOD

  • 基于角度的异常值检测(ABOD)
    • 考虑每个点与其相邻点之间的关系,加权余弦分数与所有相邻点的方差视作偏离分数
    • 在多维数据上表现良好
    • 两个版本
      • 快速ABOD:基于K近邻的值估计
      • 原始ABOD:考虑所有训练点
  • KNN检测器
    • 以第$k$个近邻点的距离作为离群值得分
  • 孤立森林
  • 基于直方图的异常值检测
    • 速度快、精度低
  • 局部相关积分 (LOCI)
    • 为每个点提供LOCI图,总结该点周围区域内数据信息
    • 确定了簇、微簇、直径和簇间距离
  • 局部异常因子 (LOF)
    • 基于密度的方法
  • Feature Bagging
    • 使用多种基本检测器
    • 默认基本估算器为LOF

R包:ggmagnify图表局部放大

  • 放大

b81baae8-f624-4f77-a231-ee9542c9d97d

  • 添加坐标轴

坐标轴

  • 按指定类型边缘放大

缺陷:实际放大区域仍然为矩形

d8264580-4247-483a-a94b-71d85cef5d6c

0fa27ef6-5f31-4cf6-90b4-3a757f335006

此外,还可以对地图按行政区放大、分面放大、放大之后再放大等操作。

R:不同领域核心R包

img

卫星类型:不同的轨道及其实际用途

  • 低地球轨道 LEO
    • 轨道周期90~120min
    • 适合所有类型的遥感、高分辨率地球观测
    • LEO中所有类型的卫星都可以改变其平面相对于地球表面的角度
  • 中地球轨道 MEO
    • 高度5000~20000公里
    • 具备定位和导航服务
    • 轨道周期2~12h
    • MEO航天器比LEO覆盖全球所需设备更少,但时延更长,信号更弱
  • 地球静止轨道 GEO
    • 赤道上方35786公里处
    • 3台均匀分布的GEO航天器几乎可以覆盖全球
  • 太阳同步轨道 SSO
    • 高度600~800公里;从北向南穿越极地
    • 成像的照明条件一致
    • 适合变化检测(天气、植被、海岸线等)
    • 轨道高度较低,覆盖面积小
  • 地球静止转移轨道 GTO

  • 通讯卫星
    • 通常位于GEO
  • 地球观测卫星
    • 气象卫星
      • GEO
    • 遥感卫星
      • 极地、非极地LEO/GEO
  • 导航卫星
    • 全球导航卫星
    • 区域导航卫星
  • 天文卫星
  1. Simini, F., Barlacchi, G., Luca, M., & Pappalardo, L. (2021). A Deep Gravity model for mobility flows generation. Nature Communications, 12(1), Article 1. https://doi.org/10.1038/s41467-021-26752-4 

  2. Chen, L., & Papanastasiou, Y. (2021). Seeding the Herd: Pricing and Welfare Effects of Social Learning Manipulation. Management Science, 67(11), 6734–6750. https://doi.org/10.1287/mnsc.2020.3849 

  3. Rocher, L., Tournier, A. J., & de Montjoye, Y.-A. (2023). Adversarial competition and collusion in algorithmic markets. Nature Machine Intelligence, 5(5), Article 5. https://doi.org/10.1038/s42256-023-00646-0 

  4. 郭迅华, 吴鼎, 卫强, & 陈国青. (2023). 机器学习与用户行为中的偏差问题:知偏识正的洞察. 管理世界, 39(5), 145-159+199+160-162. https://doi.org/10.19744/j.cnki.11-1235/f.2023.0064