# CSU-AI-InClass-NLP — Data

来源：https://www.kaggle.com/competitions/csu-ai-inclass-nlp/data

本地 Meta Kaggle 快照；不是本次实时页面。

# Dataset Description

本次实验共提供了三个数据文件，其中train.csv用于训练分词器，test.csv用于测试训练好的分词器，sample_sumbmission.csv展示了提交结果的标准格式。  
特别的，在这里说明一下提交结果的格式。提交结果文件包含两列，分别是‘id’，‘expected’，提交时请保持一致。‘expected’是切分的结果，得到该结果的流程如下： 
 
```
  “我爱自然语言处理” -->分词--> “我 爱 自然 语言 处理” -->转换--> “[0] [1] [2,3] [4,5] [6,7]”。 
```  
其中，’[]‘内不包含空格，‘[]’之间由空格隔开。transfer.py提供一种可能的转换方法。  


## 文件列表

*   **train.csv** - 训练集，已切分
*   **test.csv** - 测试集
*   **sample_submission.csv** - 提交数据样例
*   **transfer.py** - 切分结果转换脚本
*   **chinese_word_freq_list.txt** - 词语频次列表


## 列名称含义

*   `id` - 测试集中数据的id
*   `sentence` - 训练集与测试集中的语句
*   `expected` - 切分结果