对于学生来讲,实验室没有好的设备,在没有GPU只有CPU的情况下,靠CPU跑深度学习代码,有没有一种想把电脑砸了的冲动,这时你需要一个云服务器,然后一看云服务器价格,摸了摸自己的口袋,发现有点舍不得,对于资深白嫖党来说必须安排。--colab
简介
Colaboratory 简称“Colab”,Google Research 团队开发,任何人都可以通过浏览器编写和执行任意Python 代码,尤其适合机器学习、数据分析、教育目的。 Colab 是一种托管式Jupyter 笔记本服务,用户无需设置,就可直接使用,还能免费使用GPU/TPU计算资源。
一、colab需要的环境
1.谷歌浏览器
2.科学上网的环境
3.一个谷歌账号
二、创建colab步骤
1.打开谷歌浏览器,搜索谷歌云端硬盘
2.点击最右侧加号按钮,及获取插件,搜索Colaboratory,然后点击安装。
3.空白处右击鼠标,点击更多,然后点击Google Colaboratory进入
4.在输入行中输入如下代码
from google.colab import drive
drive.mount('drive')
5.来链接自己的云服务器
6.点击蓝色链接,然后一系列允许之后,会弹出如下所示
7.复制链接码,添加到自己的云服务器中
8.耐心等待,第一次链接有点久,等到右上角有及分配成功,然后就可以使用啦,但此时为cpu模式,需要设置为GPU模式
9.设置GPU模式
点击修改,选择笔记本设置,然后选择GPU模式,及使用GPU啦。
10.输入如下代码,点击运行,如果出现以下图片所示,及表示使用GPU成功
!/opt/bin/nvidia-smi
三.使用GPU跑自己的代码
1.将自己的代码文件,上传到谷歌云端硬盘
点击左上角加号,然后就可以上传本地文件或者是整个代码的文件夹
2.装载谷歌云端硬盘,点击文件,然后点击如图所示箭头处,即可装载云端硬盘
此时云端硬盘已经装好,drive>MyDrive里面及为自己从本地上传至云端的文件。
四.使用步骤
完成上述步骤之后,其使用就如在linux系统下跑自己的代码一样,只是在所有操作命令前面添加一个感叹号及!,如果对linux系统比较熟悉,以下使用可以省略。
1.使用下述命令端进入到自己上传的数据路径
import os
path="/content/drive/MyDrive"
os.chdir(path)
os.listdir(path)
2.使用以下代码及可以使用自己的代码
!python 自己的代码文件名字
如
!python Demo1.py
五.常见指令
!wget +链接 及可直接下载相应的网上数据或者是权重
!tar xvf+文件名 及可以解压指定的文件夹
如下载cov2012数据集
!wget http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar
然后解压
!tar xvf VOCtrainval_11-May-2012.tar
六.注意事项
1.Colab环境的一次开放时间是12个小时,之后运行环境会被强制释放,一定要做好及时的保存。如果环境闲置时间超过90分钟,也会自动释放。
2.在使用时,一定需要保持一个良好的网速,可能会断线,断线以后训练的数据会丢失。
3.如若在运行时,出现什么什么库没安装,使用命令 !pip install +库的名字即可在线安装。
七.解决colab自动掉线问题
在网上看到说,由于长时间不进行操作,可导致掉线。
同时按住Ctrl+Shift+i 进入浏览器Console下输入代码如下
function ClickConnect(){
console.log("Working");
document.querySelector("colab-connect-button").click()
}
setInterval(ClickConnect,60000)
然后回车确定,即可解决掉线问题。
总结
使用colab降低了学习深度学习的门槛,对于实验室没有设备的学生来说还是比较好的,并且使用colab免去了一部分时间在电脑上安装环境,相信大家在本地电脑上安装环境时,也遇到过不少困难。但是,如果实验室有条件,还是建议本地跑代码,网上跑代码还是会有网速等影响会导致代码运行一半而停止,导致半途而废。
本文针对最新的Colab进行了梳理介绍,难免有不足之处,欢迎指正。