林老师的人工智能学习笔记

今天深入学习了神经网络的基本结构和工作原理。理解了前向传播和反向传播的数学基础，特别是梯度下降算法如何优化网络参数。通过简单的Python代码实现了单层感知机，并在MNIST数据集上进行了测试。

详细研究了Transformer模型架构，特别是自注意力机制的工作原理。理解了位置编码的重要性以及多头注意力如何捕捉不同位置间的依赖关系。实践了Hugging Face库中预训练模型的使用方法，对自然语言处理任务有了更深的理解。

探索了YOLO和Faster R-CNN两种主流目标检测算法的原理与区别。通过实践项目，在自定义数据集上训练了YOLOv5模型，调整了超参数以优化mAP指标。学习了数据增强技术如何提高模型的泛化能力，以及如何处理小目标检测的挑战。

开始了强化学习的学习旅程，理解了马尔可夫决策过程(MDP)的基本概念。通过OpenAI Gym平台实践了Q-learning和Deep Q-Networks算法，成功让AI在CartPole和Atari游戏环境中学会决策。认识到奖励函数设计对算法性能的关键影响。