{
  "fetched_at": "2026-10-19T15:24:16Z",
  "source_url": "https://www.kaggle.com/competitions/2023sznlpsoftmax/data",
  "pages": [
    {
      "name": "data-description",
      "content": "## Files\n\n*   **train.csv** - the training set\n*   **test.csv** - the test set\n*   **sample_submission.csv** - a sample submission file in the correct format\n\n## Columns\n\n*   `label` - 类别\n*   etc.",
      "isPublished": false,
      "hasIsPublished": false,
      "postTitle": "",
      "hasPostTitle": false,
      "mimeType": "",
      "hasMimeType": false
    },
    {
      "name": "Description",
      "content": "# 数智深度学习组2023一轮考核题\n\n时间：3月16日-4月3日\n\n## 基础工具、基础库以及学习方向推荐\n\n基础工具和基础库建议都装（时间不够就装一个），语言仅限Python。\n\n**基础工具**\n\n- Pycharm：很方便，很友好\n- jupyter notebook  /  jupyter lab：在数据预处理等工作上十分方便\n- Anaconda ：集成了数据科学需要的许多包\n\n**基础库**\n\n- numpy ：简单来说，用于算法的实现\n- pandas：用于数据处理和数据分析\n- matplotlib：用于数据的可视化（就是用来画图的）\n\n**学习方向**\n\n由于时间有限，这里给出大致的学习方向：python语法（学到类）->三大库（着重numpy）->算法的实现\n\n## 主要考核内容\n\n基本要求：不要用框架，不要调库，不能照抄开源代码（借鉴的地方要说明），算法要自己实现。\n\n$$Score=必做题分数(满分40分)+选做题分数(满分20分)+论文/笔记的撰写及答辩的分数(满分30分)+打榜分数(满分10分)$$，\n\n$$必做题分数=线性回归分数(最高15分)+回归分数(最高25分)$$，\n\n$$选做题分数(满分20分，溢出不算)=聚类分数(最高10分)+决策树分数(最高15分)+爬虫分数(最高5分)+朴素贝叶斯分数(最高20分)$$\n\n### 必做题\n\n#### 线性回归\n\n##### 实现方法\n\n1. 正规方程法\n2. 梯度下降法（比正规方程法难）\n\n正则化的使用\n\n数据集及网址：[2023数智深度学习组第一阶段考核 | Kaggle](https://www.kaggle.com/competitions/2023sznlpassessmenttasks/overview)\n\n#### softmax回归\n\n实现方法：梯度下降法\n\n数据集及网址：http://www.kaggle.com/competitions/2023sznlpsoftmax\n\n### 选做题\n\n#### K-means聚类\n\n数据集：`points.txt`\n\n对以二维点构成的数据集进行k-means聚类，并可视化出如下图所示的聚类效果。\n\n<img src=\"https://horacehhtbucket.oss-cn-guangzhou.aliyuncs.com/img/image-20210806195242984.png\" alt=\"image-20210806195242984\" style=\"zoom:50%;\" />\n\n#### 决策树\n\n##### ID3或C4.5\n\n要求：用ID3或C4.5算法对数据集进行训练，得到一个关于西瓜分类的分类器。\n\n数据集：`melon.txt`\n\n输出样例：`{'纹理': {'模糊': '否', '清晰': {'脐部': {'凹陷': '是', '平坦': '否', '稍凹': {'色泽': {'青绿': '是', '乌黑': {'触感': {'硬滑': '是', '软粘': '否'}}}}}}, '稍糊': {'触感': {'硬滑': '否', '软粘': '是'}}}}`\n\n可视化样例（不作要求，可以调用其它工具）：\n\n<img src=\"http://mari0.oss-cn-guangzhou.aliyuncs.com/img/image-20230314201516740.png\" alt=\"image-20230314201516740\" style=\"zoom: 50%;\" />\n\n##### CART（难）\n\n数据集：自选\n\n输出样例和可视化样例同ID3/C4.5。\n\n#### 朴素贝叶斯\n\n要求：用朴素贝叶斯算法实现一个关于垃圾短信的分类器。\n\n数据集：`SMSSpamCollection.txt`，ham是正常短信，spam是垃圾短信。\n\n#### 爬虫\n\n地址样例：[无赖_词语_成语_百度汉语 (baidu.com)](https://hanyu.baidu.com/s?wd=无赖&cf=hot&ptype=zici)或[五光十色_词语_成语_百度汉语 (baidu.com)](https://hanyu.baidu.com/s?wd=五光十色&cf=jielong&ptype=idiom)\n\n要求：爬取词语的基本释义及近反义词。\n\n基础：任选20个词\n\n<img src=\"http://mari0.oss-cn-guangzhou.aliyuncs.com/img/image-20230314221847754.png\" alt=\"image-20230314221847754\" style=\"zoom:50%;\" />\n\n进阶：任选一个四字词成语，在“成语接龙”项按其顺序逐个爬取成语的基本释义及近反义词。\n\n![image-20230314222734762](http://mari0.oss-cn-guangzhou.aliyuncs.com/img/image-20230314222734762.png)\n\n### 数据预处理\n\n在将数据放入模型或算法前，需要根据数据的特征及任务要求对数据进行预处理。尝试采用以下几种数据预处理方法（有需要就用）：\n\n- 归一化和标准化\n- 独热编码\n- 连续值离散化处理\n- 缺失值的处理\n- 异常值的检测和处理\n- 分割数据集\n- ...\n\n### 模型评估\n\n不同任务及模型都有其对应的评估指标，例如MSE，Accuracy，f1，recall......\n\n对于实现的模型，找到相应的指标对其进行评估，在必要时可以进行**可视化**操作\n\n## 论文、笔记的编写及答辩\n\n​\t\t在学习过程中要进行学习**笔记**的撰写，内容包括所学模型的原理、遇到的问题、解决问题的过程等。笔记可以用word或markdown编辑器编写。学习过程中所涉及到的数学公式可以用latex语法或mathtype编辑器进行输入。\n\n​\t\t撰写一份有关你所进行的工作的**论文**，越往学术论文的形式靠分数越高。\n\n​\t\t基于论文编写一份简洁的**ppt**用于考核答辩。\n\n提交文档格式：\n\n```python\nyour_name/\n...data/\n......train.csv\n......test.csv\n......submission.csv\n......etc.\n...code\n...doc\netc.\n```",
      "isPublished": false,
      "hasIsPublished": false,
      "postTitle": "",
      "hasPostTitle": false,
      "mimeType": "",
      "hasMimeType": false
    },
    {
      "name": "Evaluation",
      "content": "模型的评估采用最基础的Top1 Accuracy来衡量分类的准确性：\n$$Accuracy=\\frac{分类正确的样本数}{总样本数}$$",
      "isPublished": false,
      "hasIsPublished": false,
      "postTitle": "",
      "hasPostTitle": false,
      "mimeType": "",
      "hasMimeType": false
    },
    {
      "name": "rules",
      "content": "This is a page where you can include rules that participants must accept before joining. You may wish to include rules like:\n\n - Don't cheat!\n - Apply yourself!\n - Have fun!",
      "isPublished": false,
      "hasIsPublished": false,
      "postTitle": "",
      "hasPostTitle": false,
      "mimeType": "",
      "hasMimeType": false
    }
  ]
}