人工智能与机器学习概述

人工智能军备竞赛

近两年来,特别是新冠疫情的冲击下,越来越多的国家认识到,人工智能对于提升全球竞争力具有关键作用, 纷纷深化人工智能战略;

  • 欧盟发布《2030 数字化指南:欧洲数字十年》、《升级 2020 新工业战略》等,拟全面重塑数字时代全球影响力,其中将推动人工智能发展列为重要的工作。
  • 美国陆续成立了国家人工智能倡议办公室、国家 AI 研究资源工作组等机构,各部门密集出台了系列政策。
  • 英国于 2021 年 9 月发布国家级人工智能新十年战略。
  • 日本继制定 《科学技术创新综合战略 2020》 之后,于 2021 年 6 月发布 AI 战略“2021” ,致力于推动人工智能领域的创新创造计划,全面建设数字化政府。
  • 中国 《 中共中央关于制定国民经济和社会发展第十四个五年规划和 2035 远景目标纲要的建议 》 指出,要瞄准人工智能等前沿领域,实施一批具有前瞻性、战略性重大科技项目,推动数字经济健康发展。

什么是人工智能

人工智能(Artificial Intelligence):使一部机器像人一样进行感知认知决策执行的人工程序或系统。

人工智能发展标志性事件

人工智能发展阶段

  • 萌芽期
    • 1943年,人工神经网络和数学模型建立, 人工神经网络研究时代开启;
    • 1950 年,计算机与人工智能之父图灵发表 《 机器能思考吗?》 ,提出“图灵测试”;
  • 启动期
    • 1956年,达特茅斯会议召开,标志着 人工智能的诞生 ;
    • 期间国际学术界人工智能研究潮流兴起,罗素 《 数学原理 》 被算法全部证明,学术交流频繁;
  • 消沉期
    • 1969年,作为主要流派的 联结主义与符合主义进入消沉,四大预言遥遥无期,在计算能力的限制下,国家及公众信心持续减弱;
  • 突破期
    • 1975年,BP算法开始研究,第五代计算机开始研制,专家系统的研究和应用艰难前行,半导体技术发展,计算机成本和计算能力逐步提高, 人工智能逐渐开始突破;
  • 发展期
    • 1986年,BP网络实现,神经网络得到广泛认知,基于人工神经网络的算法研究突飞猛进; 计算机硬件 能力快速提升;
    • 互联网构建,分布式网络降低了人工智能的计算成本;
  • 高速发展期
    • 2006年,深度学习被提出,人工智能算法产生突破性发展;
    • 2010年,移动互联网发展,人工智能 应用场景开始增多;
    • 2012年,深度学习算法在语言和视觉识别上实现突破。同年。融资规模开始快速增长,人工智能商业化高速发展。

人工智能的三个层面

计算智能:能存能算

感知智能:能听会说、能看会认

认知智能:能理解、会思考

人工智能第一个层面-计算智能

计算机具有快速计算和记忆存储能力:1996年首次对决中,国际象棋大师卡斯帕罗夫以4:2的战绩击败IBM深蓝。但在1997年,他输给了卷土重来的“深蓝”(Deeper Blue)。

  1. 深蓝”重量达1.4吨,有32个节点,每个节点有8块专门为进行国际象棋对弈设计的处理器,平均运算速度为每秒200万步。
  2. 深蓝算法的核心是基于暴力穷举:生成所有可能的走法,然后执行尽可能深的搜索,并不断对局面进行评估,尝试找出最佳走法。

人工智能第一个层面-感知智能

人工智能第三个层面-认知智能

人工智能+

人工智能+交通

人工智能+金融

人工智能+医疗

人工智能+机器人

人工智能>机器学习>深度学习

逻辑演绎 vs 归纳 总结

机器学习的应用领域

计算机视觉

语音技术

自然语言处理

流行机器学习模型演变


传统机器学习:人工设计特征

预处理:经过数据预处理,如去除噪声等;如在文本分类中,去除停用词等。

特征提取:从原始数据中提取有效特征,如在图像分类中,提取边缘、尺度不变特征变换特征等。

特征转换:对特征进行一定的加工,比如降维和升维。

降维包括:

特征抽取( Feature Extraction):PCA 、 LD

特征选择( Feature Selection ):互信息、 TF IDF

传统机器学习 VS 深度学习

深度学习数学描述

前深度学习时代

步骤 1:花几天时间收集并标注几百张便便图;

步骤 2:花几个月观察便便图,并绞尽脑汁选择或设计一些特征——形状,颜色,纹理; SIFT HOG Gabor LBP Haar…;

步骤 3:用某种分类器训练和测试,结果不好回到步骤 2。

深度学习时代

步骤 1:花几个星期时间收集并标注(框出狗屎位置)数万张便便图;

步骤 2:花 1 个星期,挑几个深度模型,选几组模型超参数;

步骤 3:交给机器绞尽脑汁优化学模型中的数千万数亿权重参数。

后深度学习时代

步骤 0:使用大规模语料预训练多模态大模型;

步骤 1:获取少量狗屎样本;

步骤 2:在狗屎语料上微调大模型。

一切的开始:感知机

Rosenblatt & Perceptron

Rosenblatt vs. Minsky

传统神经网络

Geoffrey Hinton & NNs

Rumelhart & BP Algorithm

Yann LeCun & CNN

深度学习发展

Schmidhuber & LSTM

Hinton & Deep Learning

Andrew Y. Ng & GPU

Jen Hsun Huang & GPU

Big Data: ImageNet

Image Classification : ILSVRC 竞赛

Yoshua Bengio & ReLU

大模型时代

梦开始的地方——Transformer(2017年)

预训练大模型——GPT、BERT(2018 年)

多模态大模型——CLIP(2021 年)

聊天对话模型——ChatGPT(2022 年)