將深度學習網絡訓練任務搬到云端,這些坑你遇到了嗎?
在進行深度學習,特別是神經網絡訓練時,我們可以將其視為一場對技術裝備的深深考驗,而精心打造的GPU服務器則是這一征途中的得力助手。然而,自建GPU服務器的高昂費用及移動性限制,使得許多人望而卻步。本文將為您詳細介紹如何在阿里云平臺上構建一臺高效的GPU服務器,并解決遠程訪問的難題。
選擇合適的GPU服務器
ssh root@47.93.*.*#輸入自己的公網IP
The authenticity of host '47.93.*.* (47.93.*.*)' can't be established.
ECDSA key fingerprint is SHA256:r60avP7Lyz01MRTFN9mbekDAcwZWv8tFUmMlo6dr/m0.
Are you sure you want to continue connecting (yes/no)?
Warning: Permanently added '47.93.*.*' (ECDSA) to the list of known hosts.
選購阿里云GPU服務器如同探尋云端瑰寶。首先,需精選適合的地理位置,類似挖掘福地。之后,擇優選取實例配置,建議應用異構計算及GPU計算功能;鏡像市場深度學習版則類似璞玉精琢,預裝顯卡驅動與cuda8.0,免除額外困擾。
root@47.93.*.*'s password:
在購買Linux系統過程中,確實有諸多細瑣環節值得留意。譬如創建密碼之際,其獨特的操作方式如同參與一場莊重的傳統儀式般神秘。在輸入密碼的過程中,屏幕上并無任何字符顯現,僅需輕按回車,便可成功設定密碼。
Welcome to Ubuntu 16.04.2 LTS (GNU/Linux 4.4.0-62-generic x86_64)
* Documentation: https://help.ubuntu.com
* Management: https://landscape.canonical.com
* Support: https://ubuntu.com/advantage
Welcome to Alibaba Cloud Elastic Compute Service !
vim /etc/hostname#ubantu的在此目錄下,其他系統按需更改
vim /etc/hosts
鏡像選擇的智慧
127.0.0.1 localhost
127.0.0.1 bamboo_aliyun #新增
# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
sudo: unable to resolve host iZ2ze3v1xxtg5z3w2nb8oaZ
在鏡像市場的汪洋大海中,數以百計的胚芽映入眼簾,而那些已經安裝好驅動程式及CUDA8.0的模版則更顯珍貴,就如同一張深藏在茫茫大海中的藏寶圖。遺憾的是,如果選擇了沒有事先做好這些準備的模版,那麼,在安裝過程中將會遭遇無盡的困難與時間消耗,讓人啼笑皆非。
root@GPU_aliyun:~# ls
deep_learning nvidia NVIDIA_CUDA-8.0_Samples
exit#推出SSH登錄
安全組的守護
sudo adduser bamboo
root@GPU_aliyun:~# sudo adduser bamboo
Adding user `bamboo' ...
Adding new group `bamboo' (1000) ...
Adding new user `bamboo' (1000) with group `bamboo' ...
Creating home directory `/home/bamboo' ...
Copying files from `/etc/skel' ...
Enter new UNIX password:
Retype new UNIX password:
passwd: password updated successfully
Changing the user information for bamboo
Enter the new value, or press ENTER for the default
Full Name []: bamboo
Room Number []:
Work Phone []:
Home Phone []:
Other []:
Is the information correct? [Y/n] y
安全組猶如堅固的防線,保護著您的服務器穩定運行。盡管當前采用默認配置已足夠應對需求,后續我們將深入探討更為精細化的設定方案。須知,若您的服務器運行狀況良好,卻無法實現遠程訪問,那么極有可能是由于安全組規則配置不當所致。
bamboo@bamboo-WorkBook:~$ ssh bamboo@39.106.143.143
sudo vim /etc/sudoers
文件夾權限的重要性
bamboo is not in the sudoers file. This incident will be reported.
調整文件夾權限猶如給服務器披上強大的防護裝甲。若不實施該措施,裝載應用程序常會遭遇棘手狀況。賦與SHELL權限更顯關鍵,尤其對初次接觸系統者而言,路徑無法正常顯示、Tab鍵失靈均可得到有效解決。
bamboo@GPU_aliyun:~$ sudo chmod -R 777 /home/bamboo/
sudo useradd -g root bamboo
遠程訪問的迷霧
sudo passwd bamboo
就遠程訪問問題而言,仿若迷霧之燈塔,導引正確航向。如已知網絡功能正常卻無法實現遠程訪問,或許需排查安全組規則配置因素。借助云服務器管理平臺逐步調整相關規則,如同撥散迷霧,尋獲照亮航程的明燈。
usermod -s /bin/bash bamboo
conda環境的魔力
vim /etc/sudoers
在Conda環境下進行部署堪稱魔法般的快捷高效。它能自動裝配并調用相關依賴包,簡化操作流程之余,更為您的工作環境帶來井然有序的氛圍特征。
# User privilege specification
root ALL=(ALL:ALL) ALL
bamboo ALL=(ALL:ALL) ALL
自定義鏡像的便捷
vim /etc/passwd
ssh bamboo@47.93.*.*#輸入自己的公網IP
自定義鏡像猶如神奇的符咒,助力您便捷地操控阿里云服務器,簡化應用流程。創建完畢后務必釋放實例,以確保隨時隨地可喚醒服務器,盡享深度學習的無盡樂趣。
sudo chmod -R 777 /home/bamboo/
文件上傳下載的快捷方式
運用SCP進行文件傳輸猶如翱翔于云端服務器與本地計算機之境,使您實現從云端自助訓練至本地深度解析的工作流程,顯著提升工作效益。
git的強大助力
Git作為服務器端版本控制利器,如同私人顧問,助力您高效完成工作。未就服務器端Git設置進行詳述,未來文章將探討之,旨在提供更優質服務。
sudo wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.0.1-Linux-x86_64.sh
在此神經網絡訓練的挑戰之旅中,除了充足的高性能GPU設施外,必須熟練掌握各類技術與策略。我期望能給那些朝氣蓬勃深耕于深度學習及機器學習領域的精英們提供有益的啟示,幫助他們避開險途,更快抵達勝利的頂峰。
sudo bash Anaconda3-5.0.1-Linux-x86_64.sh
最后,請各位討論一下在此期間或在服務器部署與遠程訪問環節,是否遇到過令人困擾的難題?真誠期望各位能通過評論分享經驗,共同探討與學習。
In order to continue the installation process, please review the license
agreement.
Please, press ENTER to continue
Do you accept the license terms? [yes|no]
Anaconda3 will now be installed into this location:
/home/bamboo/anaconda3
- Press ENTER to confirm the location
- Press CTRL-C to abort the installation
- Or specify a different location below
作者:小藍
鏈接:http://www.beijingshangmencuiru.cn/content/1083.html
本站部分內容和圖片來源網絡,不代表本站觀點,如有侵權,可聯系我方刪除。