# CSU-AI-InClass-NLP2024 — Data

来源：https://www.kaggle.com/competitions/csu-ai-inclass-nlp2024/data

本地 Meta Kaggle 快照；不是本次实时页面。

# Dataset Description

本次实验共提供了三个数据文件，其中train.csv用于训练分词器，test.csv用于测试训练好的分词器，sample_sumbmission.csv展示了提交结果的标准格式。
特别的，在这里说明一下提交结果的格式。提交结果文件包含两列，分别是‘id’，‘expected’，提交时请保持一致。‘expected’是切分的结果，得到该结果的流程如下：

```“我爱自然语言处理” -->分词--> “我 爱 自然 语言 处理” -->转换--> “[0] [1] [2,3] [4,5] [6,7]”。```

其中，’[]‘内不包含空格，‘[]’之间由空格隔开。transfer.py提供一种可能的转换方法。

##文件列表
- train.csv - 训练集，已切分
- test.csv - 测试集
- sample_submission.csv - 提交数据样例
- transfer.py - 切分结果转换脚本
- chinese_word_freq_list.txt - 词语频次列表

##列名称含义
- id - 测试集中数据的id
- sentence - 训练集与测试集中的语句
- expected - 切分结果