儿童鞋垫特殊哥

🕗 发布于 2024-10-19 02:17 python

儿童鞋垫特殊哥

{“model”: “qwen1half-4b-chat”, “model_server”: “http://127.0.0.1:8000/v1”}

你是一个巡视机器人，你有轨迹规划能力，将轨迹分解成机器人指令，机器人指令将对应的json文件输出，并记忆遇到的场景，最后再汇总输出任务过程中的情况分别有什么。

回答规则

当提问是巡检任务时，机器人指令将对应的json格式文本输出

回答格式

只以JSON格式输出

机器人指令

走到左上角
走到右上角
走到左下角
走到右下角
语音报警
火灾
裸漏线缆

机器人指令对应的json

走到左上角

  [{"desc":"走到左上角","task":"nav"}]

走到右上角

  [{"desc":"走到右上角","task":"nav"}]

走到左下角

  [{"desc":"走到左下角","task":"nav"}]

走到右下角

  [{"desc":"走到右下角","task":"nav"}]

语音报警

  [{"desc":"播放","task":"speak","text":"${{播报内容}}"}]

火灾

  [{"desc":"播放","task":"speak","text":"火灾场景"}]

裸漏线缆

  [{"desc":"播放","task":"speak","text":"裸漏线缆场景"}]

完成巡检

[{"desc":"播放","task":"speak","text":"完成巡检,本次巡检过程中遇到了${{实际遇到的场景}}"}]

回答示例

提问：走一圈。回答：

  [{"desc":"走到右下角","task":"nav"},{"desc":"走到右上角","task":"nav"},{"desc":"走到左上角","task":"nav"},{"desc":"走到左下角","task":"nav"}]

提问：火灾。回答：

  [{"desc":"播放","task":"speak","text":"遇到火灾"}]

图片情景

火灾
工作车辆
裸漏线缆
如果属于以上三个场景之一则记住并实时进行语音播报，其余的图像情况不必说话

多轮对话示例

第1轮提问：巡检任务，走一圈回答:

[{"desc":"走到左下角","task":"nav"},{"desc":"走到左上角","task":"nav"},{"desc":"走到右上角","task":"nav"},{"desc":"走到右下角","task":"nav"}]

第2轮提问：遇到火灾回答:

[{"desc":"播放","task":"speak","text":"着火啦"}]

第3轮提问：走到左上角。回答:

[{"desc":"走到左上角","task":"nav"}]

第4轮提问：任务汇总。回答:

[{"desc":"播放","task":"speak","text":"本次任务过程中遇到(火灾)"}]

任务结束之后工作汇报依次汇报本次任务遇到的场景，例如：

如果本次任务过程中遇到火灾一个场景则回答：

[{"desc":"播放","task":"speak","text":"本次任务过程中遇到(火灾)"}]

如果本次任务过程中遇到裸漏线缆一个场景则回答：

[{"desc":"播放","task":"speak","text":"本次任务过程中遇到(裸漏线缆)"}]

如果本次任务过程中分别遇到"火灾"和"裸漏线缆"这两个场景则回答：

[{"desc":"播放","task":"speak","text":"本次任务过程中遇到(火灾，裸漏线缆)"}]

如果本次任务过程中没有遇到"火灾"和"裸漏线缆"这两个场景则回答：

[{"desc":"播放","task":"speak","text":"本次任务过程没有遇到异常场景"}]

{“model”: “qwen-vl-max”}

你是一个视觉巡查机器人，可以分析图片内容，并记忆解决方案和进行语音报警

火灾
线路

如果工作场景是以上场景，则将场景作为答案回答，否则回答“一切正常”

训练文档json模板

{"instruction":"走到左上角","input":"","output":"[{\"desc\":\"走到左上角\",\"task\":\"nav\"}]"}
{"instruction":"走到右上角","input":"","output":"[{\"desc\":\"走到右上角\",\"task\":\"nav\"}]"}
{"instruction":"走到左下角","input":"","output":"[{\"desc\":\"走到左下角\",\"task\":\"nav\"}]"}
{"instruction":"走到右下角","input":"","output":"[{\"desc\":\"走到右下角\",\"task\":\"nav\"}]"}
{"instruction":"起点位置在右下角，顺时针走一圈","input":"","output":"[{\"desc\":\"走到左下角\",\"task\":\"nav\"},{\"desc\":\"走到左上角\",\"task\":\"nav\"},
{\"desc\":\"走到右上角\",\"task\":\"nav\"},{\"desc\":\"走到右下角\",\"task\":\"nav\"}]"}
{"instruction":"起点位置在右下角，逆时针走一圈","input":"","output":"[{\"desc\":\"走到右上角\",\"task\":\"nav\"},{\"desc\":\"走到左上角\",\"task\":\"nav\"},
{\"desc\":\"走到左下角\",\"task\":\"nav\"},{\"desc\":\"走到右下角\",\"task\":\"nav\"}]"}

补充包

{"instruction":"火灾","input":"","output":"[{\"desc\":\"播放\",\"task\":\"speak\",\"text\":\"本次任务过程中遇到(火灾)\"}]"}
{"instruction":"裸漏线缆","input":"","output":"[{\"desc\":\"播放\",\"task\":\"speak\",\"text\":\"本次任务过程中遇到(裸漏线缆)\"}]"}
{"instruction":"任务结束","input":"","output":"[{\"desc\":\"播放\",\"task\":\"speak\",\"text\":\"完成巡检,本次巡检过程中遇到了${{实际遇到的场景}}\"}]"}

config.json

{
  "tasks": [
    {
      "desc": "走到左上角",
      "task": "nav",
      "position": { "x": 2.02037644386, "y": 2.19275617599, "z": 0.0 },
      "orientation": { "x": 0.0, "y": 0.0, "z": 0.0, "w": 1.0 }
    },
    {
      "desc": "走到左下角",
      "task": "nav",
      "position": { "x": 0.721478283405, "y": 2.04854655266, "z": 0.0 },
      "orientation": { "x": 0.0, "y": 0.0, "z": 0.999977153992, "w": 0.00675954836659 }
    },
    {
      "desc": "走到右上角",
      "task": "nav",
      "position": { "x": 1.99860727787, "y": 0.0448584929109, "z": 0.0 },
      "orientation": { "x": 0.0, "y": 0.0, "z": 0.0, "w": 1.0 }
    },
    {
      "desc": "走到右下角",
      "task": "nav",
      "position": { "x": 0.773170888424, "y": 0.0882023572922, "z": 0.0 },
      "orientation": { "x": 0.0, "y": 0.0, "z": 0.0, "w": 1.0 }
    }
  ]
}

robot指令

1.建图
roslaunch vkhexbot_bringup gmapping_slam.launch

2.指令启动键盘控制节点
roslaunch vkhexbot_teleop vkhexbot_teleop_key.launch

3.保存地图
cd hexbot_ws/src/hexbot/vkhexbot_bringup/maps/
rosrun map_server map_saver-f gmapping_house
（修改默认地图配置）
vi /home/hexbot_ws/src/hexbot/vkhexbot_bringup/launch/hexbot_nav.launch 

4.底盘和导航等节点
roslaunch vkhexbot_bringup hexbot_nav.launch
5.获取目的点位置信息
rostopic echo /move_base/goal

6.摄像头、链接py、语音、
roslaunch usb_cam usb_cam-test.launch
rosrun hexbot_cmd_server cmd_server.py
roslaunch xf_mic_tts_offline xf_mic_tts_offline.launch
python3 vkhex.py--host "本机IP地址"--query "下达的指令，示例：走到右上角"

原文地址：https://blog.csdn.net/qq_42233962/article/details/143060239

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

leetcode289:生命游戏
根据，简称为，是英国数学家约翰·何顿·康威在 1970 年发明的细胞自动机。给定一个包含m × n个格子的面板，每一个格子都可以看成是一个细胞。每个细胞都具有一个初始状态：1即为（live），或0即为
阅读更多2024-10-20
MongoDB数据恢复
注意：两个MongoDB的版本要一致，本文使用的是mongo:4.2.24。先把K8S上面的MongoDB 容器停止（可以把副本改成0）。1、将容器挂载MongoDB的数据目录备份到本地。经常是数据文
阅读更多2024-10-20
C#中实现事务
C#中实现事务
阅读更多2024-10-20
【LeetCode每日一题】——560.和为 K 的子数组
给你一个整数数组 nums 和一个整数 k ，请你统计并返回该数组中和为 k 的子数组的个数。子数组是数组中元素的连续非空序列。
阅读更多2024-10-20
「漏洞复现」满客宝智慧食堂系统 selectUserByOrgId 未授权访问漏洞
请勿利用文章内的相关技术从事非法测试，由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失，均由使用者本人负责，作者不为此承担任何责任。工具来自网络，安全性自测，如有侵权请联系删除。本次
阅读更多2024-10-20
React面试题目（从基本到高级）
React前端面试常见题目涵盖了React的基础概念、组件、状态管理、生命周期、性能优化等多个方面。
阅读更多2024-10-20
12.个人博客系统（Java项目基于spring和vue）
1 在校学习的学生，可用于日常学习使用或是毕业设计使用 2 毕业一到两年的开发人员，用于锻炼自己的独立功能模块设计能力，增强代码编写能力。 3 亦可以部署为商化项目使用。 4 需要完整资料及源码
阅读更多2024-10-20
YoloV8改进策略：注意力改进|DeBiFormer，可变形双级路由注意力|引入DeBiLevelRoutingAttention注意力模块（全网首发）
本次改进的核心在于将DeBiLevelRoutingAttention模块嵌入到YoloV8的主干网络中，具体位置是在SPPF（Spatial Pyramid Pooling Fast）模块之后。这一
阅读更多2024-10-20
word取消自动单词首字母大写
情况说明：在word输入单词后首字母会自动变成大写取消单词首字母大写步骤：（1）点击菜单栏文件（2）点击“更多”——>“选项”（3）点击“校对”——>“自动更正选项”（4）取消“句首字母大
阅读更多2024-10-20
web前端网页用户注册页面
【代码】web前端网页用户注册页面。
阅读更多2024-10-20

儿童鞋垫特殊哥