如何添加新的lidar检测算法

Perception中的lidar数据流如下：

本篇文档所介绍的lidar检测算法位于图中的Detection Component中。当前Detection Component的架构如下：

从以上结构中可以清楚地看到lidar检测算法是位于Detection Component的 base_lidar_obstacle_detection 中的抽象成员类 base_lidar_detector 的派生类。下面将详细介绍如何基于当前结构添加新的lidar检测算法。

Apollo默认提供了2种lidar检测算法–PointPillars和CNN（NCut不再维护），可以轻松更改或替换为不同的算法。每种算法的输入都是原始点云信息，输出都是目标级障碍物信息。本篇文档将介绍如何引入新的lidar检测算法，添加新算法的步骤如下：

1. 定义一个继承基类 base_lidar_detector 的类

2. 实现新类 NewLidarDetector

3. 为新类 NewLidarDetector 配置config和param的proto文件

4. 更新 lidar_obstacle_detection.conf

为了更好的理解，下面对每个步骤进行详细的阐述:

定义一个继承基类 base_lidar_detector 的类

所有的lidar检测算法都必须继承基类base_lidar_detector，它定义了一组接口。 以下是检测算法继承基类的示例:

namespace apollo {
namespace perception {
namespace lidar {

class NewLidarDetector : public BaseLidarDetector {
 public:
  NewLidarDetector();
  virtual ~NewLidarDetector() = default;

  bool Init(const LidarDetectorInitOptions& options = LidarDetectorInitOptions()) override;

  bool Detect(const LidarDetectorOptions& options, LidarFrame* frame) override;

  std::string Name() const override;

};  // class NewLidarDetector

}  // namespace lidar
}  // namespace perception
}  // namespace apollo

基类 base_lidar_detector 已定义好各虚函数签名，接口信息如下：

struct LidarDetectorInitOptions {
  std::string sensor_name = "velodyne64";
};

struct LidarDetectorOptions {};

struct LidarFrame {
  // point cloud
  std::shared_ptr<base::AttributePointCloud<base::PointF>> cloud;
  // world point cloud
  std::shared_ptr<base::AttributePointCloud<base::PointD>> world_cloud;
  // timestamp
  double timestamp = 0.0;
  // lidar to world pose
  Eigen::Affine3d lidar2world_pose = Eigen::Affine3d::Identity();
  // lidar to world pose
  Eigen::Affine3d novatel2world_pose = Eigen::Affine3d::Identity();
  // hdmap struct
  std::shared_ptr<base::HdmapStruct> hdmap_struct = nullptr;
  // segmented objects
  std::vector<std::shared_ptr<base::Object>> segmented_objects;
  // tracked objects
  std::vector<std::shared_ptr<base::Object>> tracked_objects;
  // point cloud roi indices
  base::PointIndices roi_indices;
  // point cloud non ground indices
  base::PointIndices non_ground_indices;
  // secondary segmentor indices
  base::PointIndices secondary_indices;
  // sensor info
  base::SensorInfo sensor_info;
  // reserve string
  std::string reserve;

  void Reset();

  void FilterPointCloud(base::PointCloud<base::PointF> *filtered_cloud,
                        const std::vector<uint32_t> &indices);
};

实现新类 NewLidarDetector

为了确保新的检测算法能顺利工作，NewLidarDetector至少需要重写base_lidar_detector中定义的接口Init(),Detect()和Name()。其中Init()函数负责完成加载配置文件，初始化类成员等工作；而Detect()则负责实现算法的主体流程。一个具体的NewLidarDetector.cc实现示例如下：

namespace apollo {
namespace perception {
namespace lidar {

bool NewLidarDetector::Init(const LidarDetectorInitOptions& options) {
    /*
    你的算法初始化部分
    */
}

bool NewLidarDetector::Detect(const LidarDetectorOptions& options, LidarFrame* frame) {
    /*
    你的算法实现部分
    */
}

std::string NewLidarDetector::Name() const {
    /*
    返回你的检测算法名称
    */
}

PERCEPTION_REGISTER_LIDARDETECTOR(NewLidarDetector); //注册新的lidar_detector

}  // namespace lidar
}  // namespace perception
}  // namespace apollo

为新类 NewLidarDetector 配置config和param的proto文件

按照下面的步骤添加新lidar检测算法的配置和参数信息:

1. 根据算法要求为新lidar检测算法配置config的proto文件。作为示例，可以参考以下位置的cnn_segmentation的proto定义：modules/perception/lidar/lib/detector/cnn_segmentation/proto/cnnseg_config.proto

2. 定义新的proto之后，例如newlidardetector_config.proto，输入以下内容:

   syntax = "proto2";
   package apollo.perception.lidar;
   
   message NewLidarDetectorConfig {
       double parameter1 = 1;
       int32 parameter2 = 2;
   }
   

3. 根据算法要求为新lidar检测算法配置param的proto文件。作为示例，可以参考以下位置的cnn_segmentation的proto定义：modules/perception/lidar/lib/detector/cnn_segmentation/proto/cnnseg_param.proto。同样地，在定义完成后输入以下内容：

   syntax = "proto2";
   package apollo.perception.lidar;
   
   //你的param参数
   

4. 参考如下内容更新 modules/perception/production/conf/perception/lidar/config_manager.config文件:

   model_config_path: "./conf/perception/lidar/modules/newlidardetector_config.config"
   

5. 参考同级别目录下 modules/cnnseg.config 内容创建 newlidardetector.config:

   model_configs {
       name: "NewLidarDetector"
       version: "1.0.0"
       string_params {
           name: "root_path"
           value: "./data/perception/lidar/models/newlidardetector"
       }
   }
   

6. 参考 cnnseg 在目录 modules/perception/production/data/perception/lidar/models/ 中创建 newlidardetector 文件夹，并根据需求创建不同传感器的 .conf 文件：

   注意：此处 "*.conf" 和 "*param.conf" 文件应对应步骤1，2，3中的proto文件格式.
   

更新 lidar_obstacle_detection.conf

要使用Apollo系统中的新lidar检测算法，需要将 modules/perception/production/data/perception/lidar/models/lidar_obstacle_pipline 中的对应传感器的 lidar_obstacle_detection.conf 文件的 detector 字段值改为 “NewLidarDetector”

在完成以上步骤后，您的新lidar检测算法便可在Apollo系统中生效。