如何配置服務(wù)器以運行爬蟲并存儲數(shù)據(jù)到MySQL:詳細(xì)步驟指南
操作系統(tǒng):CentOS 6.6 64位
CPU:1核
內(nèi)存:1GB
系統(tǒng)盤:20G(云硬盤)
公網(wǎng)帶寬:1Mbps
原本打算給系統(tǒng)安裝桌面環(huán)境,可沒想到速度慢得讓人難以忍受,最終還是決定回歸到字符界面。下面我會詳細(xì)向大家介紹我是如何配置FTP服務(wù),以及如何將文件上傳到服務(wù)器的具體步驟。
合適配置確定
我找到了一個挺合適的配置,用它來運行我的爬蟲程序,存入MySQL的數(shù)據(jù)量足夠使用。與之前打算添加桌面環(huán)境導(dǎo)致系統(tǒng)卡頓相比,現(xiàn)在這個僅字符界面的配置要穩(wěn)定多了。之前嘗試桌面環(huán)境,結(jié)果體驗不佳,看來穩(wěn)定性和性能比花哨的界面更為關(guān)鍵。
FTP服務(wù)基本設(shè)置
配置FTP服務(wù),需設(shè)置賬戶登錄上傳文件。先將“=YES確認(rèn)”設(shè)置為YES,使本地賬戶能登錄ftp用戶。接著,注釋掉其他敏感賬號,加入自己的登錄賬號。使用vi編輯器打開/etc/目錄下的配置文件,加入一行*=NO,確保只有自己添加的賬號有效。完成這三步后,其他設(shè)置暫不修改。
認(rèn)證賬戶添加
確定好允許誰登錄,并且FTP服務(wù)已經(jīng)配置完畢后,接下來需要創(chuàng)建認(rèn)證賬號。使用“-m”參數(shù)創(chuàng)建一個目錄,“-d”參數(shù)用于在/home目錄下創(chuàng)建一個名為ftp的目錄(目錄名可自定義)。該賬戶不具備系統(tǒng)登錄權(quán)限,也無法通過su、sudo等命令獲取最高權(quán)限,這顯著增強了安全性。隨后,為該賬戶設(shè)置密碼,步驟與普通用戶設(shè)置密碼類似,操作簡便。
PAM模塊設(shè)置
#%PAM-1.0
#原先的第一行,看下面解釋
#auth required /lib64/security/pam_listfile.so item=user sense=deny file=/etc/ftpusers onerr=succeed
auth required /lib64/security/pam_listfile.so item=user sense=deny file=/etc/vsftpd/ftpusers onerr=succeed
auth required /lib64/security/pam_unix.so shadow nullok
auth required /lib64/security/pam_shells.so
account required /lib64/security/pam_unix.so
session required /lib64/security/pam_unix.so
依據(jù)騰訊的官方指導(dǎo)文件,需調(diào)整pam模塊的配置,以對通過ftp登錄的用戶進行篩選。盡管我曾嘗試過,不論是否修改設(shè)置,都能順利登錄ftp,但考慮到安全性,我還是按照文檔的指示進行了操作。操作完成后,顯示的目錄為/etc//,因此需要將相關(guān)文件路徑進行相應(yīng)的更改。
登陸問題排查
配置完成后嘗試在終端遠(yuǎn)程登錄,卻遇到了超時錯誤。在網(wǎng)頁上輸入ftp://公網(wǎng)IP地址也無法訪問。然而,在本地通過ftp 127.0.0.1可以成功驗證用戶名和密碼登錄,這表明ftp服務(wù)本身運作正常。經(jīng)過排查,發(fā)現(xiàn)問題出在防火墻上。我們使用的騰訊云服務(wù)器默認(rèn)設(shè)置了內(nèi)外網(wǎng)訪問權(quán)限控制,導(dǎo)致ftp請求被攔截。
成功上傳文件
處理完防火墻相關(guān)事宜,接著將Linux系統(tǒng)的安全組設(shè)置調(diào)整為允許22端口,這樣云主機就能接入。之后,用ftp操作,系統(tǒng)能提示輸入用戶名和密碼,登錄也就順利了。上傳文件時,建議先打包,然后通過ftp指令,將文件發(fā)送至服務(wù)器上的/home/ftp/文件夾,文件名可以自定義。
在設(shè)置FTP服務(wù)時,大家是否遇到過相似的問題?若覺得本文對您有所幫助,不妨點個贊并轉(zhuǎn)發(fā)一下!
作者:小藍
鏈接:http://www.beijingshangmencuiru.cn/content/8412.html
本站部分內(nèi)容和圖片來源網(wǎng)絡(luò),不代表本站觀點,如有侵權(quán),可聯(lián)系我方刪除。