Python — — GPU编程

Python — — GPU编程

要想将Python程序运行在GPU上，我们可以使用numba库或者使用cupy库来实现GPU编程。

壹、numba

Numba 是一个开源的 JIT (Just-In-Time) 编译器，它可以将 Python 代码转换成机器代码以提高性能。Numba 特别适用于需要高性能计算的科学计算和数值计算任务。也就是说可以将python程序编译为机器码，使其可以像c/c++、Java一样快速的运行。同样Numba不仅可以加速 CPU 上的 Python 代码，还可以利用 GPU 进行加速。

安装Numba：

pip install numba

一、机器码编程

1. 函数编写：

Numba 的核心功能是 @jit 装饰器，它可以将 Python 函数编译成优化的机器代码。

from numba import jit

@jit(nopython=True)
def my_function(x):
    return x * x

x = 112.0
print(my_function(x))

指定传递参数类型以及返回值类型，nopython表示不使用python编译而直接编译为机器码：

from numba import jit

@jit('float64(float64)', nopython=True)  # 指定输入和输出类型，括号内的是参数类型，括号外的是返回值类型
def my_function(x):
    return x * x

x = 112.0
print(my_function(x))

从 Numba 0.15.1 版本开始，你可以使用 Python 类型注解来指定函数的参数类型：

from numba import jit

@jit
def my_function(x: float) -> float:
    return x * x
2. 使用Numba函数：

使用 Numba 函数，我们可以像使用普通函数一样使用jit修饰过的函数：

result = my_function(10.5)
print(result)  # 输出 110.25

Numba 特别适合于在 NumPy 数组上进行操作。你可以使用 NumPy 数组作为 Numba 函数的参数：

from numba import njit
import numpy as np


@njit
def parallel_function(arr):
    return arr * 2


arr = np.arange(10)
result = parallel_function(arr)
print(result)
3. 使用 Numba 的并行功能：

Numba 提供了并行执行的功能，可以使用 @njit 装饰器来替代 @jit，它会自动并行化循环：

from numba import njit
import numpy as np


@njit
def parallel_function(arr):
    return arr * 2


arr = np.arange(10)
result = parallel_function(arr)
print(result)

二、CUDA编程

1. 引入CUDA 模块：
from numba import cuda
2. 定义 GPU 核函数：

使用 @cuda.jit 装饰器定义 GPU 核函数，这与 CPU 加速中使用的 @jit 类似，但 @cuda.jit 指定了函数将在 GPU 上执行：

@cuda.jit
def gpu_kernel(x, y):
    # 核函数体，使用 CUDA 线程索引进行计算
    # 例如: position = cuda.grid(1)
    # if position < len(x):
    #     y[position] = x[position] * x[position]

position = cuda.grid(1)：其中cuda.grid(1)用于确定当前线程在执行的整个网格（grid）中的位置，这里的参数1表示一维的GPU网格索引，如果是cuda.grid(2)则表示二维的GPU网格索引。

CUDA 的执行模型的概念：

  • 线程（Thread）：执行计算的最小单元。
  • 块（Block）：一组线程，它们可以共享数据并通过共享内存进行通信。
  • 网格（Grid）：由多个块组成，用于实现更大范围的并行性。

上面的代码表示的是对每一个元素分配一个GPU线程，通过cuda.grid(1)来获取每一个线程，本质上也是获取每一个元素，然后再进行运算操作，通常情况下希望数组长度至少与线程数相等。因为如果线程总数大于数组长度，就会有多余的线程没有执行任何操作。例如，如果数组 x 只有 5 个元素，但配置了 32 个线程，那么只有前 5 个线程会计算和存储结果，其余 27 个线程将不会执行任何操作。

3. 设置执行配置：

GPU 核函数需要执行配置来确定并行执行的线程数和块数。这通过在函数调用时使用方括号指定：

threads_per_block = 256
blocks_per_grid = (n + (threads_per_block - 1)) // threads_per_block
gpu_kernel[blocks_per_grid, threads_per_block](x, y)	# 给cuda.jit修饰的函数分配资源，并传入参数x 和 y
  • threads_per_block = 256：定义了每个块内的线程的个数，这里是256，如果是二维数组，那么需要使用元组的方式来进行定义，如：threads_per_block = (16, 16)。
  • blocks_per_grid = (n + (threads_per_block - 1)) // threads_per_block：定义了整个网格（grid）中的块数量。它也是一个元组，n表示数组的长度，(n + (threads_per_block - 1)) // threads_per_block这种运算相当于一个向上取整的操作，保证了数组中的每一个元素都能分配一个GPU线程，因为一个原则是：线程数量要大于等于数组的个数。如果是二维数组需要这样定义网格中块的数量：blocks_per_grid = (m // threads_per_block[0], n // threads_per_block[1])，其中m表示行数，n表示列数。
4. 数据传输：

在 GPU 上执行计算之前，需要将数据从 CPU 内存传输到 GPU 内存，这通常使用 cuda.to_device() 方法完成：

x_device = cuda.to_device(x)
y_device = cuda.to_device(y)
5. 在 GPU 上分配内存：

如果 GPU 上的核函数需要额外的存储空间，可以使用 cuda.device_array() 在 GPU 上分配内存：

result_device = cuda.device_array_like(x_device)
6. 同步执行:

GPU 核函数的执行是异步的，可能需要调用 cuda.synchronize() 来确保 CPU 等待 GPU 计算完成：

cuda.synchronize()
7. 将结果从 GPU 传回 CPU：

计算完成后，使用 copy_to_host() 方法将 GPU 上的结果复制回 CPU 内存：

result = result_device.copy_to_host()
8. 实例一：

二维数组的GPU运算

import numpy as np
from numba import cuda


@cuda.jit
def matrix_add(A, B, C, m, n):
    row, col = cuda.grid(2)
    if row < m and col < n:
        C[row, col] = A[row, col] + B[row, col]


m, n = 1024, 1024
A = np.random.rand(m, n).astype(np.float32)
B = np.random.rand(m, n).astype(np.float32)

C = np.zeros_like(A)   # 创建与A形状相同的0数组
threads_per_block = (16, 16)
blocks_per_grid = (m // threads_per_block[0], n // threads_per_block[1])
matrix_add[blocks_per_grid, threads_per_block](A, B, C, m, n)
print(C)
9. 实例二：

GPU显存与主机内存之间的通信

from numba import cuda
import numpy as np

# 在主机上创建一个NumPy数组
host_array = np.array([1, 2, 3, 4], dtype=np.int32)

# 使用cuda.to_device将主机数组复制到GPU
device_array = cuda.to_device(host_array)

# 确保数据传输完成
cuda.synchronize()

# 使用.copy_to_host()方法将GPU数组复制回主机数组
host_result = device_array.copy_to_host()
print(host_result)

# 释放GPU内存
del device_array
10. 实例三：

一维数组的GPU运算

from numba import cuda
import numpy as np

# 定义一个简单的cuda内核
@cuda.jit()
def add_kernel(x, y, z, n):
    i = cuda.grid(1) 
    if i < n:  		# 确保不会超出数组边界
        z[i] = x[i] + y[i]

# 主函数
def main():
    n = 256
    x = cuda.device_array(n, dtype=np.int32)   # 直接在GPU上创建数据，占用GPU显存
    y = cuda.device_array(n, dtype=np.int32)
    z = cuda.device_array(n, dtype=np.int32)
    # 初始化数据
    for i in range(n):
        x[i] = i
        y[i] = 2 * i

    # 计算线程块大小和网格大小, 线程块是一组可以同时执行的线程集合
    threadsperblock = 32  		# 这意味着每个线程块将包含256个线程。
    blockspergrid = (n + (threadsperblock - 1)) // threadsperblock  # 定义每个网格内的块的个数
    # 启动内核
    add_kernel[blockspergrid, threadsperblock](x, y, z, n)
    # 将结果从GPU复制回主机
    result = z.copy_to_host()
    print(result)


if __name__ == '__main__':
    main()

贰、cupy

CuPy 是一个与 NumPy 兼容的库，提供了 NumPy 相同的多维数组 API，但是所有的数值计算都在 GPU 上执行。CuPy 底层使用 CUDA，但是 API 更简洁，使用起来比直接使用 CUDA 更加方便。
使用cupy时，我们首先需要将CUDA的环境给配置好，包括CUDA Toolkit

一、安装cupy：

pip install cupy

二、使用cupy：

1. 导入 CuPy：
import cupy as cp
2. 创建 CuPy 数组

可以使用与 NumPy 类似的函数来创建 CuPy 数组。CuPy 数组是在 GPU 上的多维数组。

# 创建一个全零数组
x = cp.zeros((3, 3))

# 创建一个全一数组
y = cp.ones((2, 2))

# 从 Python 列表创建数组
z = cp.array([[1, 2], [3, 4]])
3. 基本运算
# 矩阵乘法
result = cp.dot(x, z)

# 元素乘法
elementwise_product = x * y

# 元素加法
sum_result = x + z

# 计算平方根
sqrt_result = cp.sqrt(x)
4. 利用 GPU 加速
# 计算数组的总和
total = x.sum()

# 计算数组的均值
mean_value = x.mean()
5. 与 NumPy 的互操作性
# 将 NumPy 数组转换为 CuPy 数组
numpy_array = np.random.rand(10)
cupy_array = cp.array(numpy_array)

# 将 CuPy 数组转换回 NumPy 数组
numpy_array_again = cupy_array.get()
6. 使用随机数生成
# 生成随机数数组
random_array = cp.random.rand(3, 3)

# 生成符合正态分布的随机数数组
normal_array = cp.random.normal(0, 1, (3, 3))
7. 广播
# 广播示例
a = cp.array([1, 2, 3])
b = cp.array([[1], [2], [3]])
result = a + b  # 结果是一个 3x3 的数组
8. 索引和切片
# 获取第二行
second_row = z[1]

# 切片操作
upper_triangle = z[cp.triu(cp.ones((3, 3), dtype=cp.bool_))]
9. 内存管理

CuPy 使用 GPU 内存，当不再需要 CuPy 数组时，应该释放它们以避免内存泄漏。

del x, y, z
cp.get_default_memory_pool().free_all_blocks()
10. 实例一：
import cupy as cp

# 创建一个Cupy数组（自动在GPU上）
x = cp.array([1., 2., 3., 4., 5.])
y = cp.sqrt(x)
print(y)

# 将Cupy数组转换回Numpy数组（如果有需要的话）
z = cp.asnumpy(y)

print(z)
11. 实例二：
import cupy as cp

# 创建两个随机的浮点型 CuPy 数组，相当于 NumPy 中的矩阵
A = cp.random.rand(3, 3).astype('float32')  # 3x3 矩阵
B = cp.random.rand(3, 3).astype('float32')  # 另一个 3x3 矩阵

# 执行矩阵乘法
C = cp.dot(A, B)  # 或者使用 @ 操作符 C = A @ B

# 打印结果
print("矩阵 A:\n", A)
print("矩阵 B:\n", B)
print("矩阵 A 和 B 的乘积:\n", C)

# 将 CuPy 数组转换回 NumPy 数组（如果需要）
import numpy as np
numpy_C = C.get()  # 将 CuPy 数组转换为 NumPy 数组

# 执行一些基本的 NumPy 操作，比如求和
sum_C = cp.sum(C)  # 在 GPU 上计算 C 的总和

# 打印 C 的总和
print("矩阵 C 的总和:", sum_C)

# 释放不再使用的 CuPy 数组以节省 GPU 内存
del A, B, C
cp.get_default_memory_pool().free_all_blocks()

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/717561.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

抛光粉尘可爆性检测 打磨粉尘喷砂粉尘爆炸下限测试

抛光粉尘可爆性检测 打磨粉尘喷砂粉尘爆炸下限测试

抛光粉尘可爆性检测 抛光粉尘的可爆性检测是一种安全性能测试&#xff0c;用于确定加工过程中产生的粉尘在特定条件下是否会爆炸&#xff0c;从而对生产安全构成威胁。如果粉尘具有可爆性&#xff0c;那么在生产环境中就需要采取相应的防爆措施。粉尘爆炸的条件通常包括粉尘本身…
阅读更多...
【2024最新华为OD-C/D卷试题汇总】[支持在线评测] 字符串筛选排序(100分) - 三语言AC题解(Python/Java/Cpp)

【2024最新华为OD-C/D卷试题汇总】[支持在线评测] 字符串筛选排序(100分) - 三语言AC题解(Python/Java/Cpp)

&#x1f36d; 大家好这里是清隆学长 &#xff0c;一枚热爱算法的程序员 ✨ 本系列打算持续跟新华为OD-C/D卷的三语言AC题解 &#x1f4bb; ACM银牌&#x1f948;| 多次AK大厂笔试 &#xff5c; 编程一对一辅导 &#x1f44f; 感谢大家的订阅➕ 和 喜欢&#x1f497; &#x1f…
阅读更多...
【深度学习】智能手写数字识别系统

【深度学习】智能手写数字识别系统

文章目录 一&#xff0e;实验课题背景说明1.1实验目的1.2实验环境1.2.1安装PyTorch1.2.2安装其他必要的库 二&#xff0e;模型说明2.1模型概述2.2模型结构 三&#xff0e;数据说明3.1 输入数据3.1.1输入数据特征3.1.2输入数据维度3.1.3输入数据预处理 3.2 数据格式3.2.1输出数据…
阅读更多...
qt 实现模拟实际物体带速度的移动（水平、垂直、斜角度）——————附带完整代码

qt 实现模拟实际物体带速度的移动（水平、垂直、斜角度）——————附带完整代码

文章目录 0 效果1 原理1.1 图片旋转1.2 物体按照现实中的实际距离带真实速度移动 2 完整实现2.1 将车辆按钮封装为一个类&#xff1a;2.2 调用方法 3 完整代码参考 0 效果 实现后的效果如下 可以显示属性&#xff08;继承自QToolButton&#xff09;: 鼠标悬浮显示文字 按钮…
阅读更多...
Bagging与Boosting的应用与优势

Bagging与Boosting的应用与优势

Hi~&#xff01;这里是奋斗的小羊&#xff0c;很荣幸您能阅读我的文章&#xff0c;诚请评论指点&#xff0c;欢迎欢迎 ~~ &#x1f4a5;&#x1f4a5;个人主页&#xff1a;奋斗的小羊 &#x1f4a5;&#x1f4a5;所属专栏&#xff1a;C语言 &#x1f680;本系列文章为个人学习…
阅读更多...
Excel 常用技巧（四）

Excel 常用技巧（四）

Microsoft Excel 是微软为 Windows、macOS、Android 和 iOS 开发的电子表格软件&#xff0c;可以用来制作电子表格、完成许多复杂的数据运算&#xff0c;进行数据的分析和预测&#xff0c;并且具有强大的制作图表的功能。由于 Excel 具有十分友好的人机界面和强大的计算功能&am…
阅读更多...
【Python高级编程】Pickle实现AI算法训练的权重数据的保存

【Python高级编程】Pickle实现AI算法训练的权重数据的保存

任务描述 代码实现 import pickle import time import os import numpy as np# 模拟耗时的权重计算过程 def calculate_weights():print("开始计算权重...")time.sleep(5) # 模拟耗时操作&#xff0c;暂停5秒以模拟计算过程weights np.random.rand(10, 10) # 随机…
阅读更多...
python实践笔记(三): 异常处理和文件操作

python实践笔记(三): 异常处理和文件操作

1. 写在前面 最近在重构之前的后端代码&#xff0c;借着这个机会又重新补充了关于python的一些知识&#xff0c; 学习到了一些高效编写代码的方法和心得&#xff0c;比如构建大项目来讲&#xff0c;要明确捕捉异常机制的重要性&#xff0c; 学会使用try...except..finally&…
阅读更多...
小区噪音监测管理系统设计

小区噪音监测管理系统设计

一、引言 随着城市化进程的加快&#xff0c;小区居民对于居住环境的要求日益提高。其中&#xff0c;噪音污染已成为影响居民生活质量的重要因素。因此&#xff0c;设计一套小区噪音监测管理系统&#xff0c;对于提升居民的生活品质和小区管理效率具有重要意义。本文将详细阐述…
阅读更多...
如何拥有自己的微信小程序

如何拥有自己的微信小程序

如何拥有自己的微信小程序 ~~话先放在这里~~ 写在前面申请一个属于自己的小程序先去[微信开放平台](https://open.weixin.qq.com/home)申请一个你的小程序扫码申请新小程序小程序该记好的个人信息 安装微信开发者工具下载工具关联你的小程序请求域名配置发布小程序 BUY一个自己…
阅读更多...
SQL：按用户名复制权限

SQL：按用户名复制权限

生产系统中有一个模块是管理用户及菜单权限&#xff0c;它们是由3个数据表组成&#xff0c;关系及字段如下&#xff1a; 原来为每个用户添加菜单的访问权限时都是一个一个添加&#xff0c;但今天遇到有个新来的员工&#xff0c;需要具有与另一个员工相同的权限。新建一个用户后…
阅读更多...
PS插件创成式填充功能全面测评：轻松实现AI修图新高度

PS插件创成式填充功能全面测评：轻松实现AI修图新高度

大家好&#xff0c;我是你们的AIGC测评博主。今天&#xff0c;我将为大家带来一款ps插件创成式填充功能——深度体验 在图像处理领域&#xff0c;AI技术的应用已经越来越广泛。而创成式填充功能&#xff0c;无疑是其中的佼佼者。它利用AI技术&#xff0c;能够根据用户输入的关…
阅读更多...
c语言——c51单片机——数码管

c语言——c51单片机——数码管

数码管&#xff1a; #include "reg51.h"void delay(unsigned int n) {while (n)--n; }void main(void) { //unsigned char num[] {0x3f, 0x06, 0x5b, 0x4f, 0x66, 0x6d,0x7d, 0x07, 0x7f, 0x6f, 0x77, 0x7c,0x39, 0x5e, 0x79, 0x71, 0x00};unsigned int i 0…
阅读更多...
坚持刷题｜合并有序链表

坚持刷题｜合并有序链表

文章目录 题目思考代码实现迭代递归 扩展实现k个有序链表合并方法一方法二 PriorityQueue基本操作Java示例注意事项 Hello&#xff0c;大家好&#xff0c;我是阿月。坚持刷题&#xff0c;老年痴呆追不上我&#xff0c;消失了一段时间&#xff0c;我又回来刷题啦&#xff0c;今天…
阅读更多...
雪花算法和UUID

雪花算法和UUID

目录 雪花算法概念优点和不足优点:缺点:解决方案代码示例 UUID优点与不足优点不足 两种算法的比较应用场景区别 雪花算法 概念 雪花算法是一个分布式id生成算法&#xff0c;它生成的id一般情况下具有唯一性。由64位01数字组成&#xff0c;第一位是符号位&#xff0c;始终为0。…
阅读更多...
【leetcode刷题】面试经典150题 , 27. 移除元素

【leetcode刷题】面试经典150题 , 27. 移除元素

leetcode刷题 面试经典150 27. 移除元素 难度&#xff1a;简单 文章目录 一、题目内容二、自己实现代码2.1 方法一&#xff1a;直接硬找2.1.1 实现思路2.1.2 实现代码2.1.3 结果分析 2.2 方法二&#xff1a;排序整体删除再补充2.1.1 实现思路2.1.2 实现代码2.1.3 结果分析 三、…
阅读更多...
大模型泡沫退去，谁能活到下半场？

大模型泡沫退去，谁能活到下半场？

前言 从今年3月开始&#xff0c;国内企业纷纷下场大模型&#xff0c;铆足劲秀肌肉&#xff0c;如今转向垂直行业淘金&#xff0c;试图争霸行业大模型。我们的心态也逐渐从看乐子&#xff0c;到严肃讨论。 在人工智能的世界&#xff0c;我们经历了众多的概念游戏&#xff0c;在…
阅读更多...
shell编程——脚本入门

shell编程——脚本入门

在编写脚本的时候指定解析器 在编写shell脚本时第一行以#&#xff01;/bin/bash开头指定解析器。 在shell脚本中使用echo语句来在屏幕中打印内容。 调用shell脚本的第一种方式 在shell脚本中以bash或者是sh脚本路径的方式来启动脚本。这种执行脚本的方式是在Linux操作系统的b…
阅读更多...
【C++高阶】掌握C++多态：探索代码的动态之美

【C++高阶】掌握C++多态：探索代码的动态之美

&#x1f4dd;个人主页&#x1f339;&#xff1a;Eternity._ ⏩收录专栏⏪&#xff1a;C “ 登神长阶 ” &#x1f921;往期回顾&#x1f921;&#xff1a;C继承 &#x1f339;&#x1f339;期待您的关注 &#x1f339;&#x1f339; ❀继承 &#x1f4d2;1. 多态的定义及实现&…
阅读更多...
【总线】AXI总线：FPGA设计中的通信骨干

【总线】AXI总线：FPGA设计中的通信骨干

目录 AXI4&#xff1a;高性能地址映射通信的基石 AXI4-Lite&#xff1a;轻量级但功能强大的通信接口 AXI4-Stream&#xff1a;高速流数据传输的利器 结语&#xff1a;AXI总线在FPGA设计中的重要性 大家好,欢迎来到今天的总线学习时间!如果你对电子设计、特别是FPGA和SoC设计…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站