自学内容网 自学内容网
自学内容网 > 正文

2024.11.03 周报

🕗 发布于 2024-11-05 01:11 周报  

一 实时超分音频同步问题:

处理方向：

  1. 按照胡学长的办法尝试: 前面处理视频, 将视频中音频提取出来, 将音频每隔 1-2 秒保存为一段 (这样将音频缓存在内存中) , 然后依次播放, 但是音频是44.1KHz采样率，每秒44100次的频率. 每次间隔中程序处理的极短时间也会出现不可在这里插入代码片避免的卡顿现象(人耳可以感觉到极短时间的声音卡顿). 底层全部实现的话,确实是需要一定时间.
  2. 查看ffmpeg 和 ffplay文档
    ffplay -i .\1_output_audio.aac -af "adelay=2000|2000" 使用 -af 参数, 应用音频滤镜，达到延迟效果。
    ffmpeg -i .\1.mp4 -itsoffset 2 -i .\1_output_audio.aac -map 0:v -map 1:a -c:v copy -c:a aac output.mp4 使用-itsoffset 2 参数设置输入时间戳的偏移量, 将输入音频流的时间戳延迟 2 秒。
    ffmpeg 解转码延迟, ffplay播放延迟均是一种可行性方案.

实际效果：

1. 离线视频：

实现一段离线360P视频实时超分+音视频同步，可以在康佳进行演示。

2. 视频流：

视频流中音频延迟稳定播放已经解决。我使用摄像头的视频流模拟实际电视视频流， 实现了音频的5秒延迟（可设置延迟时间），详细说明可见以下博文：

https://blog.csdn.net/SZ170110231/article/details/143449223?fromshare=blogdetail&sharetype=blogdetail&sharerId=143449223&sharerefer=PC&sharesource=SZ170110231&sharefrom=from_link

二 环境部署：

  1. 康佳PC机：部署超分环境，conda，python，torch， ffmpeg等。
  2. RK3588重装系统，从零开始部署了全套环境。

下周计划

  1. 板端整套的代码实现，整个演示系统。
  2. 模型推理优化加速。

原文地址：https://blog.csdn.net/SZ170110231/article/details/143469714

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

相关文章

  • 【机器学习导引】ch4-决策树

    信息熵的公式表示样本集合的无序程度，信息增益则衡量某个属性的划分能够降低多少无序程度。通常在决策树的构建中，会选择信息增益最大的属性进行划分。独立发生，它们的联合概率可以表示为各自概率的乘积，因此对应

    阅读更多2024-11-06
  • STM32——ADC

    12位ADC是一种逐次逼近型模拟数字转换器。它有多达18个通道，可测量16个外部和2个内部 信号源。各通道的A/D转换可以单次、连续、扫描或间断模式执行。ADC的结果可以左对齐或右 对齐方式存储在16

    阅读更多2024-11-06
  • conda进行本地环境打包和转移使用

    为实际的文件名和环境名，并且目标机器上的Conda路径与您打包时的机器路径相匹配（这里假设是Miniconda路径）。如果目标机器上没有安装Conda，您可能需要先安装Conda。来打包环境并不是一个

    阅读更多2024-11-06
  • 快速排序的深入优化——三路划分，内省排序（C语言）

    决定快排性能的关键点是每次单趟排序后，key对数组的分割，如果每次选key基本⼆分居中，那么快 排的递归树就是颗均匀的满⼆叉树，性能最佳。但是实践中虽然不可能每次都是⼆分居中，但是性能 也还是可控的。

    阅读更多2024-11-06
  • BuildCTF 2024 web

    subprocess.check_output可以执行系统命令 , 利用file传参的值进行一个命令执行, 绕过一下(在bp里面做的)审计一下代码, 直接利用给出的密钥生成role为admin的用户,

    阅读更多2024-11-06
  • SpringBoot在线教育系统：微服务架构

    同时，一个大型的计算机网站系统，必须有一个正确的设计指导思想，通过合理选择数据结构、网络结构、操作系统以及开发环境，构成一个完善的网络体系结构，才能充分发挥计算机信息管理的优势。网站设计的关键问题是外

    阅读更多2024-11-06
  • Stage模型开发指导

    Ability类型的Module： 用于实现应用的功能和特性。每一个Ability类型的Module编译后，会生成一个以.hap为后缀的文件，我们称其为HAP（Harmony Ability Pack

    阅读更多2024-11-06
  • 大模型面试题：目前大模型中的位置编码有哪些？

    它通过正弦和余弦函数的组合为每个位置创建编码，波长呈几何级数排列，使得每个位置的编码都是独特的，并且能够捕获位置之间的相对关系。公式如下： 其中，表示位置，代表embedding的维度，代表的是emb

    阅读更多2024-11-06
  • SpringBoot在线教育系统：多语言支持

    5系统详细实现5.1 普通管理员管理管理员可以对普通管理员账号信息进行添加修改删除操作。具体界面的展示如图5.1所示。图5.1 普通管理员管理界面5.2 课程管理员管理管理员可以对课程管理员进行添加修

    阅读更多2024-11-06
  • Python设计模式探究：单例模式实现及应用解析

    单例模式在需要管理全局状态或资源的场景中非常有用。然而，过度使用单例模式可能导致代码难以测试和维护，因此在使用单例模式时需要慎重考虑。总的来说，单例模式是一种常见的设计模式，可以帮助我们确保类只有一个

    阅读更多2024-11-06
自学内容网
Copyright © 2015-2024