其他
视频时代的大数据:问题、挑战与解决方案
导读:视频大数据云边协同解决方案。
一方面,高移动性导致视频内容的变化极快,不同于固定物理位置的城市摄像头,车载摄录可能在极短时间内采集到完全不同的影像,这不仅包括物体本身的变化,还包含了移动导致的光线、角度等上下文环境的急剧变化,对于视频内容分析的准确性和灵活性要求更高; 另一方面,高移动性直接导致了网络通信连接的不稳定性,不同于有线光缆传输,无线网络传输的质量依赖于网络信号强度、带宽、信道实时负载等因素,造成基于无线网络的数据及任务的稳定上传过程变得愈发艰难。
特征检测及提取:传统的Canny边缘检测算法、Harris角点检测算法、SURF算法以及SIFT特征、GIST特征等,基于深度学习的神经网络模型等,能够对图像中的边缘、转角等特征进行识别,支撑后续更加复杂的处理。 目标检测:针对特定的或者泛化的目标,例如物品、人体、面部等,通过特定算法进行检测,获知其存在性或位置。 目标分类:对于图像中出现的目标进行分类等。
每一帧图像的内容不断丰富,细节更加完整; 单位时间内的帧数不断增长,视频动态变化更加流畅; 视频源不断增加,针对同一物体的拍摄角度不再限于一个(例如足球比赛中环绕全场的大量摄录机位)。
一方面,视频流本身体积庞大,这一特点使得该类型数据在不同平台之间的流动变得较为困难,每一次网络传输都需要付出较大的时间及服务成本;
另一方面,视频处理本身具有连续性,不同子任务之间可能具有较高的耦合程度,对任务的切分造成了困难,进而导致处理任务卸载至边缘平台、云平台时面临更多问题。
关于作者:韩锐,北京理工大学特别研究员,博士生导师。2010年毕业于清华大学并获优秀硕士毕业生,2014年博士毕业于英国帝国理工学院,2014年3月至2018年6月在中国科学院计算所工作。专注于研究面向典型负载(机器学习、深度学习、互联网服务)的云计算系统优化,在 TPDS、TC、TKDE、TSC等领域顶级(重要)期刊和INFOCOM、ICDCS、ICPP、RTSS等会议上发表超过40篇论文,Google学术引用1000 余次。
刘驰,北京理工大学计算机学院副院长,教授,博士生导师。智能信息技术北京市重点实验室主任,国家优秀青年科学基金获得者,国家重点研发计划首席科学家,中国电子学会会士,英国工程技术学会会士,英国计算机学会会士。分别于清华大学和英国帝国理工学院获得学士和博士学位,后在德国电信研究总院任博士后研究员,在美国IBM T.J.Watson研究中心和IBM中国研究院任研究主管。主要研究方向是智能物联网技术。
本文摘编自《云边协同大数据技术与应用》(ISBN:978-7-111-70100-2),经出版方授权发布。
转载请联系微信:DoctorData
推荐语:在云边协同背景下,深入典型技术和实际应用全方位剖析云边协同大数据技术及其应用。
参考文献[62] Y G KIM, Y S LEE, S W CHUNG. Signal strength-aware adaptive offloading with local image preprocessing for energy efficient mobile devices[J].IEEE Transactions on Computers, 2019, 69(1): 99-111.[63] A H JIANG, et al. Mainstream: Dynamic stem-sharing for multi-tenant video processing[C].2018 USENIX Annual Technical Conference, 2018: 29-42.[64] Y DONG, P ZHAO, H YU, et al. CDC: Classification Driven Compression for Bandwidth Efficient Edge-Cloud Collaborative Deep Learning[DB/OL].arXiv preprint arXiv: 2005.02177, 2020.[65] B A MUDASSAR, J H KO, S MUKHOPADHYAY. Edge-cloud collaborative processing for intelligent internet of things: A case study on smart surveillance[C].2018 55th ACM/ESDA/IEEE Design Automation Conference (DAC), 2018: 1-6.[66] L TOKA, B LAJTHA, é HOSSZU, et al. A resource-aware and time-critical IoT framework[C].IEEE INFOCOM 2017-IEEE Conference on Computer Communications, 2017: 1-9.[67] Y HAO, L HU, Y QIAN, et al. Profit maximization for video caching and processing in edge cloud[J].IEEE Journal on Selected Areas in Communications, 2019, 37(7): 1632-1641.
干货直达👇
更多精彩👇
在公众号对话框输入以下关键词查看更多优质内容!
读书 | 书单 | 干货 | 讲明白 | 神操作 | 手把手大数据 | 云计算 | 数据库 | Python | 爬虫 | 可视化AI | 人工智能 | 机器学习 | 深度学习 | NLP5G | 中台 | 用户画像 | 数学 | 算法 | 数字孪生
据统计,99%的大咖都关注了这个公众号👇