2015-01-20
Master Dissertation: Foreground-Constrained Eulerian Video Magnification

Master Dissertation: Foreground-Constrained Eulerian Video Magnification

前言

10个月前,我写了一篇解读欧拉影像放大技术的文章 Eulerian Video Magnification,这篇文章自发布以来,点击率超过了1300次,评论数达到了29篇。如果你在 baidu 上搜索“Eulerian Video Magnification”,我的文章排在第二名(第一名是原论文的链接)。而如果你在 google 或 baidu 上搜索 “欧拉影像放大” ,那么第一名的位置就是我的文章。

一个促使我写出这篇博文的原因是因为我的毕业课题就和 EVM 算法有关。当时想着既然一直在钻研这个算法,不如干脆写成博文,一来帮助自己思考,二来也能够通过与其他人交流,加深自己对这个算法的理解。我的论文的想法也很简单,EVM 对于存在大幅度移动物体的细微变化的放大效果并不理想,于是我想到通过与拉格朗日视角的框架相结合,先对感兴趣区域进行跟踪(拉格朗日视角),然后对跟踪结果进行局部的欧拉视角的动作放大,最后再进行多分辨率混合。整个算法框架我称之为“前景约束的欧拉影像放大算法”(Foreground-Constrained Eulerian Video Magnification, FCEVM)。

Read More

2014-05-04
五四魂

五四魂

又到五四青年节,想起了大三时为了参加一个纪念五四青年节视频制作大赛所完成的一个动画《五四魂》。当时为了做这个动画,活活烧死了俺散热极差的惠普V3000笔记本。虽然最后拿到了一等奖,但两百块奖金实在是血本无归呀有木有。

分享下当时创作这个动画的idea:既然主题是一个历史事件,我决定从视觉上突出“过去”和“现在”的对比。前面一部分介绍历史事件,所以用了水墨风格;后面一部分介绍这个历史事件对人们的影响,所以用了潮流风格。当时刚好2008年北京奥运刚结束不久,所以大量引用了奥运会的元素,包括介绍历史时所使用的画卷。也许是因为这一点比较接地气吧,所以博得了评委老师们的青睐。

当然,从美工上,这个动画还是有很多不足之处的,毕竟俺不是学美术的,手绘能力很有限。尤其是神舟七号的绘图,不知道被吐槽过多少次……

Anyway,趁着青年节,在这里发布这个动画,顺便纪念我即将逝去的校园时光……(评论请勿涉及政治哈!)

Read More

2014-03-21
Eulerian Video Magnification

Eulerian Video Magnification

引言

人类的视觉感知存在有限的感知域。对于超出感知域的变化,我们无法感知。然而,这类信号却可能蕴藏着惊人的秘密。

比如,血液循环使得人体的皮肤发生细微的周期性变化,这个裸眼无法感知的变化却和人的心率非常吻合。2011 年,MIT 的一个亚裔学生 Mingzhe Poh 就利用这个微弱的信号设计了一个“魔镜”[1] —— 不仅能照出你的模样,还能测出你的心率。

Mingzhe Poh 的“魔镜”
Mingzhe Poh 的“魔镜”

Mingzhe Poh 的这面神奇的镜子的原理是利用了血液在人体内流动时光线的变化 [2] :心脏跳动时血液会通过血管,通过血管的血液量越大,被血液吸收的光线也越多,人皮肤表面反射的光线就越少。因此,通过对图像的时频分析就可以估算出心率。

Cardiac pulse recovery methodology
Cardiac pulse recovery methodology

再比如,乐器之所以会发出声音,是因为它发声的部分在弹奏过程中发生了有规律的形变,而这个形变的振幅对应着乐器发声的响度,快慢对应着乐器的音高。微弱信号所蕴藏的信息量是如此重大,无怪乎禅语有云:

一花一世界,一叶一菩提。

既然如此,能否将影像中的这些肉眼观察不到的变化“放大”到裸眼足以观察的幅度呢?这就是本文将要重点讨论的问题。

Read More

2013-08-01
Video Released!

还记得我曾经在一篇博文里提到我在SIAT为@李扬彦博士的项目做了一个展示视频吗?现在这个视频发布啦!

另外我们迎来了一个好消息:这个项目的成果已经被今年的Siggraph Asia大会录用了!你可以在项目主页上获取关于该项目的更多信息。

选择视频来源:

Read More

2013-08-01
Alternative Video Source According to IP Address

我在撰写上篇博文的时候遇到了一个有趣的问题:如何根据ip所在地选择视频源?

由于你很了解的一个原因,国外流行的视频网站(e.g.YouTube)在国内一般不能访问。为了同时照顾大陆和其他国家地区的视频观看者,@李扬彦博士把我们的视频分别上传到了优酷和YouTube上。于是,作为一名勤奋勇敢的大陆人民(我自豪!),我当然是优先选择嵌入优酷上的视频。但我随后又萌生了一个念头:如果访问者是个外国朋友,访问优酷不一定能像 YouTube 般顺畅(尤其是前者还有万恶的30秒广告!)。能否根据ip所在地的不同,让ip地址不在中国的朋友使用YouTube上的视频源呢?

于是我就基于 jQuery 和 AJAX 写了这个插件。思路很简单:

  1. 默认先加载优酷上的视频;
  2. 读取访问者的ip信息,判断其所在的国家(或地区);
  3. 如果所在地不是地大物博,千秋万代的大陆地区,就自动将视频源切换到YouTube上;
  4. 用户还可以通过下方的选择按钮切换视频源。
Read More

© 2021 wzpan