http://qiaodahai.com/
利用SSH导入大数据到mysql的快捷方法
本文作者:李德成 Vitaly Lee
原文链接:http://www.lidecheng.com/blog/ssh-wget-input-large-sql-file/
任务目标:把一个340+MB的mysql数据库文件导入到DreamHost的mysql服务器上。
需解决的问题:
实现步骤:
利用SSH直接把网站上的数据下载到远程服务器
1、请确认你有SSH登入远程服务器的权限。
DreamHost用户可以到后台(DreamHost Web Panel)> Users > Manage Users > 选择你的用户并把连接方式改为shell access。
2、首先用SSH登入到远程服务器:
使用软件PuTTY:

在Host Name填入你的ftp登陆地址或IP,并且在连接方式(connection Type)选择SSH。
3、登入服务器:

在Login as处填入用户名,在password后填入密码,注意用户名是可见的而输入密码时是不可见的。如果用户名和密码正确会出现类似上图的欢迎界面。
使用“ls”命令列出一下服务器上的文件和文件夹。
4、使用“wget”命令在其他网站上下载数据文件:

命令既:“wget {文件地址}”,如果正确会像上图一样有一个进度条、文件体积、传输速度和剩余时间的提示。
如果在本地上传的话只有6k-10k的速度,但是使用wget下载文件就有1.42M/s的惊人速度,平均值也达到了900kb/s。340M的文件几分 钟遍下载完成了。如果按平常方法,在网站上把文件下载到本地,再用ftp软件上传的话,没有十几个小时是不可能的。
5、传输完成。

文件下载完成,再用“ls”命令看一下。
导入大文件到mysql数据库
6、现在去建立一个目标数据库。
我建立的数据库名为:“ipdatatest2”

7、用mysql命令吧数据文件导入数据库

在数据文件的当前位置使用mysql命令:
mysql -h mysql.example.com -u username -ppassword dbname < outfile.sql
8、检查数据库

任务目标达成。
No related posts.
| Print article | This entry was posted by qiaodahai on February 19, 2010 at 10:29, and is filed under Network Applications. Follow any responses to this post through RSS 2.0. You can leave a response or trackback from your own site. |
No trackbacks yet.
ICP、ISP、IDC、BGP、VPN、SSH名词解析
about 1 month ago - No comments
一、ICP ICP为Internet Content Provider的缩写,即网络内容服务商,是指向公众综合提供互联网信息业务和增值业务的电信运营商。 二、ISP ISP为Internet Service Provider的缩写,即互联网服务提供商,是指向公众综合提供互联网接入业务、信息业务、和增值业务的电信运营商。 三、IDC IDC为Internet Data Center的缩写,即互联网数据中心。是指在互联网上提供如申请域名、租用虚拟主机空间、主机托管等各项业务的服务商。 四、BGP BGP为Border Gateway Protocol的缩写,即边界网关协议,用来连接Internet上独立系统的路由选择协议。它是Internet工程任务组制定的一个加强的、完善的、可伸缩的协议。BGP4 支持CIDR寻址方案,该方案增加了Internet上的可用IP地址数量。BGP是为取代最初的外部网关协议EGP设计的,也被认为是一个路径矢量协议。 五、VPN VPN为Virtual Private Network的缩写,是利用公共网络来构建的专用网络,称为虚拟专用网,为用户提供了一种通过公用网络安全地对企业内部专用网络进行远程访问的连接方式。VPN 由三个部分组成:客户机、传输介质和服务器。VPN连接使用隧道作为传输通道,这个隧道是建立在公共网络或专用网络基础之上的。 六、SSH SSH 为 Secure Shell 的缩写,由 IETF 的网络工作小组(Network Working Group)所制定;SSH 为建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠,专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。 No related posts.
同时支持IPv6和IPv4的主机商He.net
about 1 month ago - 4 comments
在网上看到很多人在找支持IPv6的虚拟主机,但似乎很难找。我这里推荐一家主机商Hurricane Electric(he.net),他们的主机同时支持支持IPv6和IPv4,而且国内访问速度很快,强力推荐。 Hurricane Electric.(he.net)是美国老牌IDC(互联网数据中心),成立于1994年,公司位于美国加州弗里蒙特(760 Mission Court Fremont, CA 94539),HE拥有世界上最大的IPv6骨干网,在世界各地都有提供IPv6 Tunnel Broker的服务。网上正在热传的可使VPS支持IPv6的方法正是使用HE公司提供的免费IPv6 Tunnel Broker服务。 Hurricane Electric提供独立服务器和虚拟主机等服务,无论价格高低,均同时支持IPv6和IPv4,可能是公司的主要客户面向公司,个人用户很少,he.net很低调,而且不同于其他的IDC,在他们的网站上没有常见的注册、购物车等选项,没有在网站上标明独立服务器的价格,够买需要发邮件(Email)或者打电话联系他们详谈(Or call and email for dedicated server details: +1 510.580.4190 sales@he.net)。 他们的虚拟主机(Web Hosting)最便宜的Simple Virtual Host仅1美元/月,但不支持MySQL数据库和PHP等脚本语言。适合我们站长使用的是Starter Virtual Host或更高规格的虚拟主机,其中Starter Virtual Host价格为9.95元/月(5GB空间,流量500GB/月,支持MySQL数据库和Perl、Python、Ruby、PHP5等脚本语言,支持SSL证书,同时支持IPv6和IPv4,支持SSH远程管理),但仅支持信用卡(VISA、MasterCard、American Express)购买,不支持PayPal和其他第三方支付工具。 Hurricane Electric.网址:https://www.he.net/ 为什么需要支持IPv6的主机,有什么用呢?很多人都会由此疑问。哈哈,好处太多,我只简单的说两点。从长远来看,IPv6是互联网发展的必然趋势,未雨绸缪,先下手为强;从当前看,是为了广大教育网用户可以正常访问你的网站,因为教育网到外网的出口不大,访问速度很慢,而且有限制,但各大高校早就开通IPv6网络,可以高速方便的访问全球任一支持IPv6的网站。 Related posts:免费获得IPv6 Tunnel 为什么国外程序员爱用 Mac?
CentOS VPS Kloxo 原LxAdmin使用方法
about 2 months ago - No comments
CentOS VPS Kloxo 原LxAdmin使用方法 第一部分:故障处理篇 1.Alert: not_in_list_of_allowed_ip 如果你的kloxo后台登录,提示Alert: not_in_list_of_allowed_ip,这很可能是你自己不小心设置了IP限制,比如白名单黑名单,把自己给拒绝在外了。 怎么办? 用root登录ssh,执行: /script/clearallowedblockedip –class=client –name=admin 看到如下提示: AllowedIp Sucessfully cleared for client:admin 就表示admin解封了,这时候就可以正常登录kloxo,小心别在把自己拒绝了。 2.不小心修改错了或者忘记了kloxo的密码了! 不小心忘记密码了怎么办?其实很简单的root登陆ssh,执行cd /usr/local/lxlabs/kloxo/httpdocs 再执行lphp.exe ../bin/common/resetpassword.php master 你要设置的新的密码 小提示:可以复制上面的密码,在putty中点击鼠标右键就自动粘贴了哦!!! 这样密码就重置了,去体验下吧 一般出于安全考虑要在面板里修改掉默认的7777和7778端口,修改后要ssh里运行: /script/restart 重启kloxo服务使之生效。 3.kloxo面板无法登陆,如何修改mysql密码? 我们支持kloxo面板中有重置mysql密码的功能,但是如果打不开kloxo怎么办呢?按照下面的方法来解决 ssh链接服务器,root登录,然后输入下面一行命令,回车,mysql的root密码将被重新设置为空。 php /usr/local/lxlabs/kloxo/bin/common/misc/reset-mysql-root-password.phps; 然后重启kloxo: service kloxo restart 这样就可以了 第二部分:日常使用篇 1.如何在kloxo面板里修改ssh默认端口22 默认的SSH端口为22,任何懂linux的人都知道,为了避免一些无聊的人扫描,最好改为10000以上,别人扫描到端口的机率也会下降。如何在 kloxo面板里修改ssh默认端口22呢?点击左侧树形结构,双击security打开安全选项,点击第一个SSH配置,SSH端口输入新的端口就可以了,一定要记住! 2.如何更改kloxo面板的默认端口7778和7777 kloxo面板安装后,默认的端口是7777和7778,这也许会带来安全隐患。如果您想修改它,可以自己操作。1分钟就搞定了。如何更改kloxo面板的默认端口7778和7777?端口建议选择大于10000的数字,免得和其他软件端口有冲突。 修改方法:左侧树形结构,打开端口设置输入新的端口号码就可以了,两个都要改,下次登录的时候就不是7778了,请记住! 修改后请ssh登陆您的vps,执行service kloxo restart重启kloxo面板。或者重启VPS。 提示:配置LxAdmin/HyperVM的登录端口。 更改后,需要重启服务才能生效。可执行命令
可以上传、下载文件的SSH客户端软件 –SecureCRT
about 2 months ago - No comments
我用过putty、SSH Secure Shell Client等Windows下的SSH客户端软件,这些软件可以实现终端仿真,通过Shell命令远程操作Linux、FreeBSD系统,却不能直接上传文件到服务器或从服务器下载文件,还必须配合使用单独的psftp、WinSCP等基于SSH(sftp、scp)进行文件传输的软件,不太方便。 对于采用了美国RSA信息安全公司的SecurID双重认证系统的用户来说,psftp、 WinSCP等软件就无法使用了。因为SecurID系统包含一个配备液晶显示的令牌(Token),令牌每60秒便能产生一组全新的6位数字密码。用户在登录服务器时,除输入其帐号、密码及私人PIN码外,还需输入显示在令牌上的6位数字,黑客想猜出密码进行入侵几乎是不可能的,但由于psftp、 WinSCP等软件无法输入SecurID令牌密码,因而不能进行文件传输。 而SecureCRT这款国外的SSH客户端软件则同时具备了终端仿真器和文件传输功能。 上传文件只需在shell终端仿真器中输入命令“rz”,即可从弹出的对话框中选择本地磁盘上的文件,利用Zmodem上传到服务器,例如(上传一个rsyncd.conf文件到服务器): [root@localhost ~]# rz rz waiting to receive. 正在开始 zmodem 传输。 按 Ctrl+C 取消。 正在传输 rsyncd.conf… 100% 715 bytes 715 bytes/s 00:00:01 0 错误 下载文件只需在shell终端仿真器中输入命令“sz 文件名”,即可利用Zmodem将文件下载到“路径\SecureCRT-5.1.3\download \”目录下,例如(下载服务器当前目录下的rsyncd.conf文件到本地): [root@localhost ~]# sz rsyncd.conf rz 正在开始 zmodem 传输。 按 Ctrl+C 取消。 正在传输 rsyncd.conf… 100% 715 bytes 715 bytes/s 00:00:01 0
BrustNET VPS 开通后,会收到哪些东西,以及如何使用?
about 2 months ago - No comments
收到的信件如下: ACCOUNT INFORMATION Order ID: XXXXXX Hosting Package: VPS #1 (Virtual Private Server) – vePortal – RESALE Domain: XXXXXX.XXX.XXX Billing Cycle: XXXXXX Next Due Date: XX/XX/XXXX SERVER INFORMATION VPS ID: XXXXXX VPS IP Address: XXX.XXX.XXX.XXX SSH Root Password: XXXXXXXXXX VPS Control Panel URL (non-SSL): http://XXX.XXX.XXX.XXX:XXXX VPS Control Panel URL (SSL): https://XXX.XXX.XXX.XXX:XXXX VPS Control Panel Username:
BurstNET VPS搭建OpenVPN全程实录
about 2 months ago - No comments
前言: 由于BurstNET的VPS使用的OpenVZ的虚拟环境,所以不支持PPTP VPN,但是官方承诺可无缝安装OpenVPN。 虽然国内外提供FreeVPN的企业和个人有很多,但是还不如自己搭建一个来得安全,毕竟用别人的咱们不知道数据流向哪里,或者说不知道数据会经过哪里, 被多少人看到。 好了,闲话不多说了,现在正式开始。 一、准备工作: 1)确认购买的VPS是否开启了Tun/Tap设备的支持,以前看过的文章里都说要联系客服让客服开通,其 实不用这么麻烦,自己在后台就可以开启(不过默认是不开启的)。不信请看下图,这是标准的BurstNET配置的免费的控制面板。 图1:BurstNET的VPS开启Tun/Tap支持,点一下“Enable Tun/Tap”按钮就行了 2)升级系统软件,并下载所需软件。 #yum install gcc gcc-devel openssl openssl-devel iptables #mkdir /opt/software #cd /opt/software #wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.03.tar.gz #wget http://openvpn.net/release/openvpn-2.0.9.tar.gz 好了,准备工作已经完成了。下面开始安装。 二、安装软件 #cd /opt/software #tar -zxvf lzo-2.03.tar.gz #cd lzo-2.0.3 #./configure #make && make install #cd ../ #tar -zxvf openvpn-2.0.9.tar.gz #cd openvpn-2.0.9 #./configure –with-lzo-headers=/usr/local/include –with-lzo-lib=/usr/local/lib –with-ssl-headers=/usr/include/openssl –with-ssl-lib=/usr/lib #make &&
Xen-Shell使用教程
about 2 months ago - No comments
目前DiaVP使用Xen-Shell来管理所有VPS,该系统对于VPS用户来说,非常重要,使用该系统可以进行开机,关机,重启,重装系统等操作,请每位用户认真查看本教程(支持windows vps 2009年8月30日更新)。 Xen-Shell是基于SSH的管理面板,如果您熟悉Linux,Xen-Shell的操作将很容易上手,如果您不熟悉Linux,也没关系, 只要按照本教程来操作,一样可以使用所有功能。 步骤1: 下载SSH客户端PuTTY(下载地址1,下载地址2)。 步骤2: 打开putty.exe, 请按照下图所示, 输入您的Xen-Shell管理地址 (该地址可以在您的开通邮件内找到,如果没有,请联系我们客服为您查询) 步骤3: 步骤4: 步骤5: 步骤6: 步骤7: Xen-Shell主要命令: 1. bandwidth – 查看您的流量使用情况,您也可以通过http://cp.diahosting.com/用户名 查询您的具体流量使用情况 2. console – 适用于linux VPS,当您的VPS的ssh出现问题,或则您的VPS因为某些设置导致无法直接通过网络访问,您可以使用该功能登陆您的VPS 3. exit – 退出xen-shell 4. help – 打印我们Xen-Shell支持的功能 5. passwd – 修改xen-shell, 注意xen-shell的密码只允许适用字母和数字的组合 6. pause – 暂停VPS 7. poweroff – 强制关机, 主要用于VPS出现死机的情况, 在VPS死机的时候, reboot或shutdown命令可能无法重启您的VPS, 您只能先执行poweroff,再执行boot,来重新启动VPS 8. reboot
VPS管理入门
about 2 months ago - 1 comment
步骤1: 下载Windows平台SSH登录工具PuTTY(下载地址1,下载地址2)。 SSH是Telnet的加密版。SSH访问远程系统的方式与Telnet是一致的,但SSH消除了Telnet在传输过程中使用透明数据所带来的安全隐患(使用技术手段可以在传输途中截获数据)。通过SSH登录远程系统所必须知道的3项信息是:远程系统的IP(域名),用户名,密码。 步骤2: 使用PuTTY登陆远程服务器。 打开PuTTY主程序后,界面如下,填入主机名或者IP,端口默认为22(如果服务器端没有修改过则不要改)。单击OPEN。随后出现的是远程主机的登录窗口,会提示输入用户名、密码。 需要注意的是,在Linux以及其他类unix系统上通常不会回显任何密码内容,这一点和 WINDOWS上回显星号不一样。 如果帐号密码均正确,刚会显示命令提示符等待输入命令,说明登录已经成功。 PuTTY的一些使用技巧:在程序界面上单击鼠标右键,可以将剪切板中的文字内容复制到命令行上。 步骤3: 根据你的VPS系统类型(Linux/Windows)来使用相应命令行指令对VPS进行操作。 如果是新手,对命令行不熟悉,可以考虑使用CentOS5.x+Kloxo面板,简单易用,缺点是消耗系统资源。 具体操作步骤: a.先使用VPS控制面板安装CentOS5.x,一般十几分钟即可完成,启动VPS。 b.通过SSH登陆VPS,使用命令行安装Kloxo面板(包含Apache、MySQL、PHP和FTP),详细过程在这里。 第一:SSH登陆你的VPS,执行: wget http://download.lxlabs.com/download/kloxo/production/kloxo-install-master.sh sh ./kloxo-install-master.sh 会出现已系列的安装命令,稍等,什么都不做就行 第二:安装完后请执行: yum install php-bcmath /*高精度数学运算组件,默认没安装,MD5运算时用到*/ yum check-update /*检查全部更新*/ yum update /*更新全部更新*/ yum clean all /*清理全部缓存的安装文件以节省空间*/ 第三:安装中文语言包: 1.用ssh登陆你的vps 2.进入lang目录 cd /usr/local/lxlabs/kloxo/httpdocs/lang 3.下载语言包 wget http://www.vpsyou.com/wp-content/uploads/2010/02/Kloxo_cn.zip 3 解压语言包 unzip Kloxo_cn.zip 4.访问http://你的IP:7778/ 进行lxadmin语言设置 在Advanced->Appearance->Language里选择Chinese,然后点击update确认。 c.安装完毕,通过浏览器访问https://yourip:7777/ /*安全连接*/或者http://yourip:7778/ /*普通链接,常用*/管理你的VPS,初始用户名和密码都是admin。可以通过Kloxo面板开设虚拟主机、添加数据库和FTP用户等。
SSH简要介绍
about 3 months ago - No comments
SSH为Secure Shell的缩写,由IETF的网络工作小组(Network Working Group)所制定;SSH为建立在应用层和传输层基础上的安全协议。 传统的网络服务程序,如FTP、POP和Telnet其本质上都是不安全的;因为它们在网络上用明文传送数据、用户帐号和用户口令,很容易受到中间人(man-in-the-middle)攻击方式的攻击。就是存在另一个人或者一台机器冒充真正的服务器接收用户传给服务器的数据,然后再冒充用户把数据传给真正的服务器。 而SSH是目前较可靠,专为远程登录会话和其他网络服务提供安全性的协议。利用SSH协议可以有效防止远程管理过程中的信息泄露问题。透过SSH可以对所有传输的数据进行加密,也能够防止DNS欺骗和IP欺骗。 SSH之另一项优点为其传输的数据是经过压缩的,所以可以加快传输的速度。SSH有很多功能,它既可以代替Telnet,又可以为FTP、POP、甚至为PPP提供一个安全的“通道”。 最初的SSH协议是由芬兰的一家公司开发的,但是因为受版权和加密算法等等的限制,现在很多人都转而使用OpenSSH。 OpenSSH是SSH的替代软件包,而且是开放源代码和免费的。 SSH协议框架中最主要的部分是三个协议: 1. 传输层协议(The Transport Layer Protocol):传输层协议提供服务器认证,数据机密性,信息完整性等的支持。 2. 用户认证协议(The User Authentication Protocol):用户认证协议为服务器提供客户端的身份鉴别。 3. 连接协议(The Connection Protocol):连接协议将加密的信息隧道复用成若干个逻辑通道,提供给更高层的应用协议使用。 同时还有为许多高层的网络安全应用协议提供扩展的支持。 各种高层应用协议可以相对地独立于SSH基本体系之外,并依靠这个基本框架,通过连接协议使用SSH的安全机制。 在客户端来看,SSH提供两种级别的安全验证。 * 第一种级别(基于密码的安全验证),知道帐号和密码,就可以登录到远程主机,并且所有传输的数据都会被加密。但是,可能会有别的服务器在冒充真正的服务器,无法避免被“中间人”攻击。 * 第二种级别(基于密匙的安全验证),需要依靠密匙,也就是你必须为自己创建一对密匙,并把公有密匙放在需要访问的服务器上。客户端软件会向服务器发出请求,请求用你的密匙进行安全验证。服务器收到请求之后,先在你在该服务器的用户根目录下寻找你的公有密匙,然后把它和你发送过来的公有密匙进行比较。如果两个密匙一致,服务器就用公有密匙加密“质询”(challenge)并把它发送给客户端软件。从而避免被“中间人”攻击。 在服务器端,SSH也提供安全验证。 在第一种方案中,主机将自己的公用密钥分发给相关的客户端,客户端在访问主机时则使用该主机的公开密钥来加密数据,主机则使用自己的私有密钥来解密数据,从而实现主机密钥认证,确定客户端的可靠身份。 在第二种方案中,存在一个密钥认证中心,所有提供服务的主机都将自己的公开密钥提交给认证中心,而任何作为客户端的主机则只要保存一份认证中心的公开密钥就可以了。在这种模式下,客户端必须访问认证中心然后才能访问服务器主机。 SSH协议框架中设计了大量可扩展的冗余能力,比如用户自定义算法、客户自定义密钥规则、高层扩展功能性应用协议。这些扩展大多遵循IANA的有关规定,特别是在重要的部分,像命名规则和消息编码方面。 外部链接: SSH Communications Security Corporation的网站 OpenSSH组织的网站 IANA 的标准及组织 RFC4251:The Secure Shell (SSH) Protocol Architecture 本文信息来自:http://wikipedia.org No related posts.
SSH常用命令
about 5 months ago - No comments
在SSH下常用的命令: 1. 基础命令 A.显示文件源代码 cat kusys.php 没错, cat 是一个常用查看源代码的命令,优点是很方便很可爱,缺点是会直接刷刷刷显示所有源代码,文件太长只能看到屁股后面的那坨代码 B. 查看当前目录 pwd pwd不是passwd,而是查看当前目录,会输出完整的路径。 C. 更改目录 Change Directory (cd) cd /path/to/directory/ 有DOS基础的同学应该会淫荡的一笑吧,路径可以用相对也可以用绝对。 D. 列出文件/子目录 Listing Files/SubFolders(ls) ls 默认只显示文件名,你也可以带个参数玩,比如: ls -alh -a显示全部文件 -l比较详细的列表 -h人类能看懂的比如把1024显示为1K E.帮助 命令 –help 任何命令后面带一个 –help 都会显示一个简洁版的帮助,记不住参数就查一下,全英文,很崩溃 F.获取远程文件 wget wget http://blog.kusys.com/move/ly-bo1.wmv 就会获取远程的ly-bo1.wmv文件到当前目 录,一般搬家的时候用这个 让服务器去获取另一个服务器的数据,速度会快的完全不像男人 G.压缩解压缩 unzip wordpress.zip 如果文件是zip形式的,比如刚从wordpress主站wget了一个压缩包过来,只需要输入unzip 文件名,就可以解压缩到当前目录了 tar -czvf kusys.tar.gz * 把当前目录所有文件以tar命令打包为kusys.tar.gz文件
about 3 months ago
a任务中,备份数据库的网站需要支持SSH吗?
about 3 months ago
需要SSH支持。如果你的网站不支持SSH,请先把原网站的数据文件下载到本地硬盘,再用FTP软件上传到新服务器。
about 3 months ago
谢谢。。。