Master Dissertation: Foreground-Constrained Eulerian Video Magnification

前言

10个月前，我写了一篇解读欧拉影像放大技术的文章 Eulerian Video Magnification，这篇文章自发布以来，点击率超过了1300次，评论数达到了29篇。如果你在 baidu 上搜索“Eulerian Video Magnification”，我的文章排在第二名（第一名是原论文的链接）。而如果你在 google 或 baidu 上搜索 “欧拉影像放大” ，那么第一名的位置就是我的文章。

一个促使我写出这篇博文的原因是因为我的毕业课题就和 EVM 算法有关。当时想着既然一直在钻研这个算法，不如干脆写成博文，一来帮助自己思考，二来也能够通过与其他人交流，加深自己对这个算法的理解。我的论文的想法也很简单，EVM 对于存在大幅度移动物体的细微变化的放大效果并不理想，于是我想到通过与拉格朗日视角的框架相结合，先对感兴趣区域进行跟踪（拉格朗日视角），然后对跟踪结果进行局部的欧拉视角的动作放大，最后再进行多分辨率混合。整个算法框架我称之为“前景约束的欧拉影像放大算法”（Foreground-Constrained Eulerian Video Magnification, FCEVM）。

在做这篇论文的时候，我就做好了把论文在博客上公布并开源 LaTeX 源码的打算。一方面是为了激励自己：既然要在网上发布，那起码文章得拿得出手才行。另一方面也是为了给使用我的论文 LaTeX 模板 SCNUThesis 的学弟学妹们一个真正的模板范例，让他们尽快学会使用 LaTeX 排版论文，免去 Word 的痛苦。

论文的 LaTeX 源码在最后给出，包含了论文、演示课件的 LaTeX 源码，使用 Docear 绘制的思维导图，以及我一边做研究一边整理出来的文献库，相信也能对正在研究欧拉影像动作放大算法的朋友起到帮助。

摘要

中文摘要

影像动作放大技术是一种用于改变影像中感兴趣信号的变化幅度的技术。这类技术可以将生活中原本裸眼无法感知的微弱变化放大到裸眼可以感知的幅度，从而挖掘出有价值的信息。

根据视角的不同，影像动作放大技术分为拉格朗日视角和欧拉视角两种视角。其中，拉格朗日视角的方法通过跟踪和改变粒子的运动轨迹来放大变化，但容易受到遮挡的影响，且需要在后期对背景进行填充；欧拉视角的方法则通过分析和增强图像的像素点的灰度值随时间的变化来放大变化，但对于已存在大幅度变化的场景，使用该方法会造成明显的“鬼影”现象。

本文提出了一种结合了拉格朗日视角和欧拉视角的优点的影像动作放大方法，该方法在欧拉影像动作放大技术的基础上，通过使用目标跟踪技术，将放大区域限制在由用户选定的感兴趣区域上。同时，通过使用前景分割技术，将经过放大的动作与感兴趣区域的前景部分进行多分辨率混合。

实验结果表明，该方法应用在当前存在大幅度变化的场景时可以有效的避免“鬼影”问题。此外，将放大的区域限制在感兴趣的区域，可以减少场景中的其他部分对该区域的干扰，有利于对放大结果的后续分析。

关键词：

Abstract

Video motion magnification is a kind of techniques for changing the motion amplitude of signal of interest from videos. With such techniques we are able to reveal subtle changes in the world that are originally invisible to naked eyes, so as to exploit valuable information.

Video motion magnification techniques follow two different perspectives i.e. Lagrangian perspective or Eulerian perspective. On one hand, methods following Lagrangian perspective amplify motions by tracking and modifying the trajectory of particles, but it is easy to introduce artifacts especially at region of occlusion boundaries and may require image-inpainting as post-processing. On the other hand, methods following Eulerian perspective amplify motions by analyzing and enhancing the variation of pixel values that evolve over time. However, if the input video contains large motions, the magnified video will suffer from artifacts that known as ghosting effect.

This thesis presents a method that takes the advantages of both two perspectives. Based on eulerian video magnification, we perform object tracking to constrain the amplifying area to a region of interest that is selected by the user. At the same time, our method relies on a foreground segmentation for multi-resolution blending the amplified motion with the foreground part of the original region.

The experimental results show that the approach can obviously eliminate ghosting effect when processing videos with large motions. Besides, by constraining the amplifying area to a region of interest, it can significantly reduce interference from other parts of the scene, which is beneficial to further studies on the amplified results.

Keywords: eulerian video magnification object tracking Mean-shift GrabCut multi-resolution blending

演示视频

引用

1
2
3
4
5
6
7

@mastersthesis{weizhou2014master,
  author = {潘伟洲},
  title = {前景约束的欧拉影像动作放大技术},
  school = {华南师范大学},
  year = {2014},
  address = {广东省广州市}
}

1
2
3
4
5
6
7

@mastersthesis{weizhou2014master_en,
  author = {Weizhou Pan},
  title = {Foreground-Constrained Eulerian Video Magnification},
  school = {South China Normal University},
  year = {2014},
  address = {Guangdong, China}
}

下载

Thesis (40.0 MB)

Slides(full) (37.3 MB)

Slides(short) (6.9 MB)

LaTeX Source Code

Source Code for Demo new