【人工智能学习笔记】2_数据处理基础

数据的概述

数据（Data）的定义

• 用于表示客观事物的未经加工的原始素材
• 不仅指狭义上的数字，也只具有一定意义的文字、字母、数字符号的组合
• 客观事物的属性、数量、位置及其相互关系的抽象表示

在计算机科学与技术领域中，数据是指一切能够输入计算机中，且能被计算机程序所处理的符号的总称

数据类别

• 按字段分类（最基本）
  
• 按数据结构类型分类（较为重要）
  

数据采集

1. 数据采集的定义
   • 又称数据获取
   • 指利用装置从系统外部采集数据并输入到系统内部的技术
   • 对数据进行抽取、转换、加载操作
   • 目标是获取数据
     
2. 数据采集的4种常用方法
   根据数据源的物理性质及数据分析的目标，用采取不同的数据采集方法
   

数据可视化

借助于图形化手段对数据加以解释

绘图方法

plt.hist(x, bins=10)#直方图
#x是一维数组
#bins代表直方图中的箱子数量，默认是10
plt.hist(x, y)#折线图
#数据可以列表或数组
plt.scatter(x, y)#散点图
#x,y表示长度相同的数组
plt.pie(x,explode=None,labels=None)#饼状图
#x:表示每个扇形的面积
#explode:表示各个扇形之间的间隔
#Labels：列表，各个扇形的标签

箱线图
用作显示一组数据分散情况资料的统计图
能显示出一组数据的最大值、最小值、中位数、及上下四分位数

plt.boxplot(x, labels=None)
#x:表示每个需要绘制的数据
#Labels:列表，箱型线的标签

数据标注

数据标注概述及重要性

概念：通过分类、画框、标注等对语音、图片、文本数据进行处理。提高训练的准确度
标注分类：语音标注、图片标注、文本标注等
具体方法：通过画框描点等方法对数据打标签，给后续处理提供训练信息
应用场景：语音识别、无人驾驶、证件识别等场景
重要性：准确性、数量影响数据集的质量

多类型数据的标注方法及标准

• 图像的标注方法
  
  图像的标注类别
  
  
  常用的的图像标注工具
  
  图像标注的质量标准
  
• 文本的标注类别
  
  文本的标注质量
  
• 语音的标注类别
  对语音对应的文本信息进行关联，常用于语音识别、实时翻译等领域
  语音标注工具主要用于对数字化的语音信号进行分析、标注、处理及合成
  
  语音标注的质量标准
  数据标注的常用文件格式