AI备忘录

长风破浪会有时，直挂云帆济沧海

Pytorch - DataParallel和DistributedDataParallel

基于多个 GPUs 的数据并行化处理，其基本思想是，每个 GPU 复制一个模型副本，分别对 batch 数据进行前向和后向计算. 后向计算的梯度发送到服...

2021 年 05 月 16 日

PIL - image file is truncated问题解决

PIL Image 操作是出现如下错误：image file is truncated (2 bytes...

2021 年 05 月 15 日

Python - 捕获异常并打印

方式一：try: do_something except Exception as e: print('[INFO]exception info:...

2021 年 05 月 14 日

Python - sys.getsizeof内存占用分析

参考：How do I determine the size of an object in Pytho...

2021 年 05 月 13 日

Pymongo - 多进程操作

Using PyMongo with MultiprocessingMongoClient的实例不能从父进程复制到子进程，父进程和每个子进程必须创建各自的...

2021 年 05 月 10 日

Github 项目 - NVIDIA DALI 多GPU的使用

生产级解决方案是使用多机多卡进行网络模型的训练. Multiple GPU Support 给出了如何采...

2021 年 05 月 09 日

Github 项目 - NVIDIA DALI 数据加载

DALI - Data Loading1. 外部数据源采用外部数据源作为 Pipeline 的输入.导入相关库：import types import c...

2021 年 05 月 09 日

Github 项目 - NVIDIA DALI Pipeline

使用 DALI 库时，数据处理任务都时基于 Pipeline 实现的. Pipeline 对象是 nvi...

2021 年 05 月 09 日

Github 项目 - NVIDIA DALI加速库介绍

Github - NVIDIA/DALIdocs - NVIDIA DALI documentationNVIDIA/DALI(NVIDIA Data L...

2021 年 05 月 09 日

Pytorch - 提升性能的几个技巧[转]

原文：7 tips for squeezing maximum performance from pyt...

2021 年 05 月 08 日