CS计算机代考程序代写 python WPP Presentation

WPP Presentation

sensing.cpp是一个文件,不是节点。 RLagent还不存菜,需要设计。除此之外, 方型是topic, 椭圆形是node。 sim是汽车的动力学模拟器,汽车的运动学数据,如速度位置都在RC01s/data里面
vehicle kinematic states
/drive
RC01s/carsimcmd
RC01s/data
cmd_trans
sim
sensing
RL_agent
AckermanStamp msg
Control msg for sim
Vehicle dynamics simulator

启动模拟器
启动模拟器方式,
Launch the f1tenth simulator:

Go to the working directory of the simulator (/simulator)
$ source devel/setup.bash

$ roslaunch f1tenth_simulator simulator_mb.launch

同时另开一个terminal:
cd 到 simulator/src/carsim/src
$ python cmd_trans.py

RL agent
可参考 https://github.com/MichaelBosello/f1tenth-RL

也可以构建gym环境,利用stable_baseline3 . 参考https://stable-baselines.readthedocs.io/en/master/guide/pretrain.html
要求使用PPO, SAC,DDPG三种算法。

实现目的
像视屏中一样,从静止启动,最终转向180 度,快速漂移入库!
要快速飘逸侧方停车入库,不是网上现有的强化学习侧方停车!

Pre-train
cd simulator/src/carsim/src
$ python cmd_180.py
这样可以运行180度高速漂移侧方停车的案例。我希望用这个案例做pre-train,也就是initialization。(模仿学习)。通过初始化可以缩短训练时间。
这个案例的action和state被保存到csv文件里。 文件名和地址在py文件中已写明

这个pretrain的case:起点(-4,4); 终点(4,3), 方向旋转180度

训练目的
起点 (-4,4)
终点 (4.6,3)单位都是米
fangxiangxuanzhuan180度

State【vx, vy, x, y, yaw, yaw_r, slip_angle】vx vy  in car frame. x,y in global frame
Action [ Trottle, Steer, Jerk]

Throttle[-1~1]. 一般取0~1. 若throttle小于0, 则触发刹车。0为没有力矩输出,1为最大力矩输出
Steer: 【-1,1】 -1, 最大右转向; 1, 最大左转向。
Jerk: 一般为0; 若为1, 则小车回到出生地(-4,4)。 在完成一个episode的训练后,可以把jerk置1, 回到起点。

Reward function 的设计
Reward
R = Vx* 100 – Vy*100 if time < 0.9s (希望小车开始的时候直线加速,不干别的) R = -distance* i - yaw_angle_error *l +vy*j + slip_angle*k; if time>0.9s. 前两项是关于汽车和目标位置以及目标方向, 后两项是关于汽车的漂移。 vy和slip_angle越大, 说明漂移越剧烈。

具体的reward function可以根据需要修改。
设计方法参考了这篇论文 (https://arxiv.org/abs/2001.01377)

/docProps/thumbnail.jpeg