ICLR22丨港中文和上海交大等提出：点过程的时序逻辑解释

72街返利网

近日有关于72街返利网的话题受到了许多网友们的关注，大多数网友都想要知道72街返利网问题的具体情况，那么关于72街返利网的相关信息，小编也是在网上收集并整理的一些相关的信息，接下来就由小编来给大家分享下小编所收集到的与72街返利网问题相关的信息吧。

点击（前往）进行了解>>

以上就是关于72街返利网这个话题的相关信息了，希望小编分享给大家的这些新闻大家能够感兴趣哦。

ICLR22丨港中文和上海交大等提出：点过程的时序逻辑解释

论文题目：Explaining Point Processes by Learning Interpretable Temporal Logic Rules

作者信息：李爽*（香港中文大学），冯明泉*（上海交通大学），王露（华东师范大学）， Abdelmajid Essofi（佐治亚理工学院），曹宇峰（上海交通大学），严骏驰（上海交通大学），宋乐（佐治亚理工学院）

论文链接：https://openreview.net/pdf?id=P07dq7iSAGr

代码链接：https://github.com/FengMingquan-sjtu/Logic_Point_Processes_ICLR

1 研究动机与背景

实际应用中的动态系统会生成大量的异步事件序列，如医疗系统中的诊断处方和病人的体检结果，社交媒体中的用户发布与回复记录等等。这些事件数据以复杂的动态规律和逻辑规则相互影响和变化，并且这种动态变化的机理包含着丰富的领域知识。例如病人病情的变化与药物使用剂量和使用时间，病人自身各项身体指标的变化之间的关系，涉及药理学和病理学的理论知识。因此对这些潜在的逻辑规则的挖掘能给科学研究和实际应用带来新的洞见。

时序点过程是事件数据学习的常用工具，它既能对未来事件进行预测，也能一定程度上学习因果关系。在时序点过程的模型设计中，模型的预测准确性与可解释性一直以来都是一对互相制衡的因素[4]。近年来，时序点过程研究主要聚焦在如何提升模型准确性，即提升模型容量上。点过程前沿模型已经逐渐从需要要手工设计密度函数的参数化点过程模型[1-3], 发展为高容量且能自动学习参数的深度学习模型[5-7]。由于计算复杂度的限制，现有的点过程可解释性研究[8-9] 局限于建模两个变量之间的动态因果关系。真实场景的动态因果关系必然涉及多种变量之间的复杂关联机制，因此点过程的可解释性仍然是悬而未决的研究课题。

为了解决这个问题，论文[10]提出将时序逻辑引入点过程框架。时序逻辑是一种将谓词和时序关系（Before、Equal、After）用逻辑运算符连接起来的逻辑系统。比如，“如果今日降雨，则明日低温”这条时序逻辑规则可以被形式化表达为：

论文[10]将专家经验手工编写为一组时序逻辑公式，用公式真值的加权和构造密度函数，其中权重为待学习参数。然后最大化点过程似然函数来进行参数估计。这一方法的局限性在于无法以数据驱动的方式发现新的逻辑规则。我们的工作正是基于该框架，并开创性地从事件数据中自动发现时序逻辑规则。

2 方法

问题建模

先考虑一种简单直接的建模方式。对于一般形式的逻辑规则，学习算法需要确定：1）选取哪些条件变量，以及它们的符号；2）所选变量之间形成何种时序关系；3）权重参数。该时序逻辑学习任务相比一般的静态逻辑学习的难度更高，因为时间这一维度使得不同谓词之间的关系变得更加复杂了。

为了实现这一学习目标，本算法将问题建模为优化问题，其中优化目标为最小化负对数似然函数（等价于最大化似然函数）以及正则化项，而优化变量是规则集权重参数。则学习问题（称为主问题，记作）表述为：

其中参数代表了规则的复杂度，这里定义为规则中包含的变量数目（即规则长度)。直接求解问题需要搜索整个规则空间。而这个空间由输入变量及其符号和时序关系的所有可能的组合构成，其大小是指数级的，因此几乎不可求解。因此本文采用了列生成（Column Generation）方法加速计算。

列生成方法

列生成方法是一种迭代式算法，它交替求解受限主问题（Restricted Master Problem， RMP）和子问题（Sub-Problem， SP）。RMP 是对原来的主问题的简化，它的可行域是候选规则集的一个很小的子集，因此能够比较高效地求解。而 RMP 的对偶问题可以导出 SP。SP 是在尚未加入规则集的所有规则中寻找最能够改进 RMP 目标函数的那条规则。如果 SP 能够找到这样的规则，那么就向 RMP 规则集添加这条规则，然后进入下一轮迭代。如果找不到，则证明了RMP目标函数无法被改进，已经达到最优。算法流程见图1。

RMP的定义如下：

而SP的则定义为最小化RMP的偏导数：

其中

子问题高效搜索方案

本小节将利用稀疏性和继承性假设来提出一种子问题的高效搜索方案。稀疏性是指真实情况下有效规则集通常很小，规则长度通常很短。在算法中，可以预先设置最大规则长度 （即规则中条件变量的最大数量）为。继承性是指如果一些变量的组合与目标变量有很强关联，则至少该组合当中的一个变量将于目标变量有关联。利用这一性质，算法可以先往规则集添加一些简单规则，然后在此基础上逐步把现有的短规则拓展为长规则，从而求得正确解。其中每次拓展仅为该规则增加一个变量。

仿照深度优先和广度优先两种搜索方案，本文设计了rule-extension-first-search (REFS)和rule-addition-first-search (RAFS)两种搜索策略。在搜索空间中，规则长度可以看做“深度”，而规则数量可以看做“广度”。从空规则集出发， REFS 将始终扩 展现有的最长规则，而 RAFS 始终扩展最短现有规则。如果没有可拓展的规则，则试图构建一个长度为 1 的有效规则。如果连长度为 1 的规则都无法找到，则算法终止。

这样的搜索方案使得子问题搜索空间从指数级变为线性级的（因为只需要考虑一个变量），使得子问题变得可行。理论上，这样的搜索方案一般无法保证收敛至原问题最优解，但是实验中能获得较好性能。

3 实验结果

合成数据集

我们设计了一共12个不同的时序规则数据集，用它们来生成合成数据集。图2展示了6个不同数据集上的结果。第一行的韦恩图表示了模型学到的规则和真实规则高度重叠，即模型能以较高的准确率发现规则。第二行的柱状图表示了模型学到的权重和真实权重接近。

图3展示了1号数据集在不同数据量下的学习情况。在600条数据下，模型输出了2条正确规则和若干错误规则；而在2400条数据下，模型输出了全部3条正确规则，没有遗漏和多余的规则。

为了说明本模型（TELLER）相比不做任何加速的全模型（Full Model）的优势，图4展示了两者在1号数据集上的表现差异。在同样的运行时间下，本模型的目标函数值提升得更快。而且，模型能在训练早期就发现一些真实规则，实现目标函数的跳跃式提升。这意味着，如果给定训练时间限制，超出时限立即停止训练，那么模型至少能学到大部分有意义的规则。相比之下，全模型不仅收敛更慢，而且无法在训练早期揭示任何规则。

真实数据集：MIMIC医疗记录

在MIMIC医疗记录数据集上，我们对比了TELLER与其他深度点过程和传统点过程模型，发现TELLER能实现5%以上的性能提升。

我们将模型在MIMIC数据集上输出的规则罗列在图6中。这些规则的正确性得到了人类专家（ICU医生）的验证。1 ~ 4 说明了主要的化验测量异常值（低血压、低血钠、高肌酐、高血尿素氮）将导致低尿液输出量。临床经验印证了这些测量结果确实常与极低的尿液输出量同时出现。规则 5 表示在高血尿素氮的病人使用晶体输液治疗反而加重病情，这似乎违背常理。专家认为，对于非常严重的患者，即使使用晶体输液治疗，尿液也无法恢复正常，病人也有可能继续恶化。因此，规则 5 可能是合理的。规则 6 至规则 9 阐明了血管升压药的使用效果。例如，在第 7 条规则中反映，同时使用晶体静脉输和去氧肾上腺素（一种血管加压药）将在促使尿液输出量恢复至正常水平方面发挥明显作用。在规则 6、 8、 9 中，使用晶体静脉输液产生的权重为 4.14，使用胶体静脉输液产生的权重为 1.97，并且使用两者的组合得出的权重为 1.83，可以看出两者虽然单独使用均能起效，但合在一起使用能获得更好的疗效。

参考文献

[2] Liu X, Yan J, Xiao S, et al. On predictive patent valuation: Forecasting patent citations and their types[C]. in: Proceedings of the AAAI Conference on Artificial Intelligence: vol. 31: 1. 2017.

[5] Du N, Dai H, Trivedi R, et al. Recurrent Marked Temporal Point Processes: Embedding Event History to Vector[C]. in: KDD. 2016.

[6] H. Mei J E. The Neural Hawkes Process: A Neurally Self-Modulating Multivariate Point Process[C]. in: NIPS. 2017.

[7] Zuo S, Jiang H, Li Z, et al. Transformer hawkes process[C]. in: International Conference on Machine Learning. 2020: 11692-11702.

[8] Xu H, Farajtabar M, Zha H. Learning granger causality for hawkes processes[C]. in: International Conference on Machine Learning. 2016: 1717-1726.

[9] Zhang W, Panum T, Jha S, et al. Cause: Learning granger causality from event sequences using attribution methods[C]. in: International Conference on Machine Learning. 2020: 11235- 11245.

恶魔小组2 http://www.cityruyi.com/lm-3/lm-4/12277.html