FunnyWii's Zone 时日曷丧,与汝偕亡

面向自动驾驶的端到端感知技术及发展趋势

摘要: 近年来,随着深度学习技术的发展和硬件算力的不断增强,自动驾驶技术越来越多的应用在各种场景。包括视觉感知、激光雷达感知和多传感器融合感知技术在这些年都得到了迅速发展。本文首先回顾了近年来自动驾驶感知技术的相关工作,然后介绍了相关工作所用到的方法和技术。随后整理并介绍了自动驾驶感知所需的数据集和

FunnyWii 发布于 2024-09-10

PCIe-GL26设备将GMSL相机图像发送至HOST端

PCIe-GL26 先看看 PCIe-GL26 是个什么设备 本质上是个自带 Jetson Xavier 系统,且带有6路GMSL2接口的图像采集卡。 GMSL2:Gigabit Multimedia Serial Link 2,注意这个和 GIGABYTE 技嘉科技 没啥关系……GMSL翻译一下就

FunnyWii 发布于 2024-08-02

单目相机像素坐标系到世界坐标系的转换

世界坐标系->像素坐标系 转换过程可参见这篇文章:FunnyWii's Zone 机器视觉 - 单目相机入门 ,其中描述了世界坐标系->像素坐标系的转换过程。可以归结为下述公式: 世界坐标系->像素坐标系的过程描述的是单目相机的成像原理。我们在使用单目相机的过程中,更关心的往往是像素坐标系->世界坐

FunnyWii 发布于 2024-07-25

OpenCV 的 remap() 函数中的 map1 和 map2

今天在 StackOverflow 上看到这么个问题:想把原图像中的一个点 g,通过内参和畸变参数映射到去畸变图像中的点 p,并获取这个点的坐标。 你以为我接下来会说:“xxx和我想的一样,但是我想错了,其实并不是这样....” 现在,我想说的只有“其实并不是这样”,因为我连map1和map2是啥我

FunnyWii 发布于 2024-07-01

单目相机的深度图,以及绝对深度和相对深度

深度图 深度图 (Depth Image, Depth Map),将图像中的每个像素都编码为相机到场景中某个点的距离,可以提供图像中物体的空间信息。深度图通过坐标转换可以转换为点云数据,organized点云也可以转换为深度图数据。 绝对深度和相对深度 绝对深度:空间中物体和相机间的距离,有量纲。

FunnyWii 发布于 2024-06-07

同一个窗口显示多个相机图像(多线程方法)

主要是依靠 copyTo()方法实现图像的传递。 copyTo 内存分配:当源图像和目标图像 size和 type一致时,不会分配新内存;否则先申请新内存空间再拷贝 目标图像:可以将数据复制到指定的目标图像中,目标图像可以是已经存在的图像或者新图像。 MASK:通过MASK可以指定ROI clone

FunnyWii 发布于 2024-05-31

使用Python控制海康球头相机运动的方法

控制海康球头的3种方法 做了一些调查,目前控制海康相机的方法主要有三种 海康SDK,目前海康提供了多个平台的SDK,包括Windows,X86Linux和ARM Linux(Jetson),见HiKSDK onvif,不过这个库是基于Python2做的,用起来会有些麻烦。 HTTP方式。 树莓派py

FunnyWii 发布于 2024-05-31

Jetson Orin部署Mediapipe Holistic检测

安装JDK Jetpack一般不带JDK,sudo apt install openjdk-11-jdk 装一个。 安装Bazel 针对Mediapipe这个项目,你需要使用的Bazel版本,取决于你下载的Mediapipe版本所使用的Bazel版本(有点绕,高可以,低不行)。 要问CMake能不能

FunnyWii 发布于 2024-04-28

车道线检测功能综述【深度学习方法】

深度学习方法 车道线检测常用数据集见 FunnyWii's Zone 车道线检测功能综述【传统方法】 基于分割的方法 利用语义分割或实例分割方法来区分图像中的车道线与其他物体或背景。这种方法将车道线检测问题转化为一个像素级分类问题。这种方法会将场景图片的每一个车道线像素都进行分类,判断该像素是否属于

FunnyWii 发布于 2023-11-28

车道线检测功能综述【传统方法】

车道线检测技术 车道线检测技术是计算机视觉和自动驾驶领域中的关键技术之一,它能够帮助车辆在道路上准确识别和跟踪车道线,从而实现自动驾驶、车道保持等功能。 车道线检测方法总体上可以分为 传统方法 和 基于深度学习的方法。 车道线数据集 数据集 数量(张) 尺寸 场景 特点 TuSimple 72k 1

FunnyWii 发布于 2023-11-14

使用OpenCV的VideoCapture的实例化vector读取多个相机

写在前面 现在车上有7个相机,如果想要用OpenCV同时读取这些相机的画面的话,实例化7个 VideoCapture是没有问题的,虽然会涉及到多线程的问题,但是多线程我还不会(ciao,是反废话)。直接实例化多个 VideoCapture未免有些显得技术力过低,因此使用 vector容器来存放读取的

FunnyWii 发布于 2023-08-14

为ARM架构下的OpenCV添加FFMPEG支持

之前自己从未考虑过这个问题,每次在手动编译OpenCV的时候,cmake后面的-D xxx对我来说只是添加了某个支持,但是我并不知道,OpenCV编译也是用CMakeLists...而找到这些依赖是依靠 pkgconfig 工具和*.pc文件。 文章最下方是我在编译OpenCV时使用的cmake命令

FunnyWii 发布于 2023-08-08

mmyolo目标检测之边用边学(笨鸟快飞边学边更版)

写在前面 为什么不直接输出一堆内容,主要是因为自己太菜了,上学时的那些深度学习知识,已经差不多都还给老师了,而且工程应用又是另一码事。所以我就一边用mmyolo框架训模型,一边从头学起。。。 快成炼丹师了,不过对如何调整hyperparameters一点头绪都没。以下提到的功能的使用,都可以在mmy

FunnyWii 发布于 2023-07-13

YOLOv8的训练和C++部署

写在前面 YOLOv8 是 Ultralytics 公司在 2023 年 1月 10 号开源的 YOLOv5 的下一个重大更新版本,目前支持目标检测,目标分割,物体分类和姿态估计。 很多YOLO介绍blog会附上下面的结构图,虽然99%的人不会去看,而且我也是那99%的其中一员,不过为显专业(啊这该

FunnyWii 发布于 2023-07-10

Jetson - ARM架构下的 torch 和 torchvision 的安装 (支持CUDA)

写在前面 ARM架构下的 torch 安装比较烦人,不是麻烦,而是烦人。 网络上大部分教程虽然写着“Jetson的torch安装”,不过基本都是用官方stable的whl安装,这些安装本身没有什么问题,但是官方ARM架构的torch并不支持 CUDA,torchvision 亦如是。 这个方法也并不

FunnyWii 发布于 2023-06-25

单目视觉的3D目标方向估计 - Orientation Estimation of 3D Object in Monocular

方向的概念 单目相机的3D目标检测是在2D目标检测的基础上绘制出3D BBox任务,目标方向的估计是其中重要一环。 在单目相机3D视觉检测中,要理解一个重要概念:即Egocentric 自我中心和Allocentric 客体中心间的区别。这两个概念来自空间认知领域,Egocentric Frame

FunnyWii 发布于 2023-05-31

单目相机的3D目标检测 - 3D Object Detection using Monocular

每日一问:... :没有。 写在前面 即便是完全依靠着CNN检测出的2D bbox可以估计目标的深度,但是后续的预测,规划和运动控制,都需要物体的3D信息。更何况,如果能恢复目标的3D信息,对测距精度的提高也有很大的帮助。 激光雷达和深度相机固然精度很高,但是贵。而且在Lidar和Depth Cam

FunnyWii 发布于 2023-05-30

单目相机的测距 - The Distance Estimation of Monocular Camera

写在前面 单目相机测距是怎么回事呢?单目相机相信大家都很熟悉,但是测距是怎么回事呢?下面就让小编带大家一起了解吧。 单目相机测距,其实就是测距了。那么单目相机为什么会测距,相信大家都很好奇是怎么回事。大家可能会感到很惊讶,单目相机怎么会测距呢?但事实就是这样,小编也感到非常惊讶。那么这就是关于单目相

FunnyWii 发布于 2023-05-24

机器视觉 - 单目相机入门

单目相机成像原理 几个概念 光轴:垂直穿过理想透镜中心的光线。 焦点:与光轴平行的光线射入凸透镜时,理想的凸镜应该是所有的光线会聚在透镜后面一点上,这个会聚所有光线的一点,就叫做焦点。 焦距:镜片的中心到焦点为止的光轴上的距离,入射平行光线(或其延长线)与出射会聚光线(或其延长线,在下图中为红色虚线

FunnyWii 发布于 2023-02-27

关于机器视觉(Machine Vision ACS61012)这门课

随便说说 授课老师是 Professor Lyudmila Mihaylova,我们叫她mila。看名字应该是一个斯拉夫人,在大毛和二毛刚刚开打的时候,我们一致猜测她是大毛的,理由:NULL。 mila的声音轻轻的,而且本人看起来也十分的文静,可能从小到大是一个乖乖女吧。总之我十分敬佩这些从大毛二毛

FunnyWii 发布于 2022-09-19