(curl) - 利用URL规则在命令行下工作的文件传输工具

curl

利用URL规则在命令行下工作的文件传输工具

补充说明

curl命令 是一个利用URL规则在命令行下工作的文件传输工具。它支持文件的上传和下载,所以是综合传输工具,但按传统,习惯称curl为下载工具。作为一款强力工具,curl支持包括HTTP、HTTPS、ftp等众多协议,还支持POST、cookies、认证、从指定偏移处下载部分文件、用户代理字符串、限速、文件大小、进度条等特征。做网页处理流程和数据检索自动化,curl可以祝一臂之力。

语法

curl(选项)(参数)

选项

-a/--append上传文件时,附加到目标文件-A/--user-agent 设置用户代理发送给服务器-anyauth可以使用“任何”身份验证方法-b/--cookie =string>cookie字符串或文件读取位置 --basic使用HTTP基本验证-B/--use-ascii使用ASCII /文本传输-c/--cookie-jar 操作结束后把cookie写入到这个文件中-C/--continue-at 断点续传-d/--data HTTP POST方式传送数据 --data-ascii 以ascii的方式post数据 --data-binary 以二进制的方式post数据 --negotiate使用HTTP身份验证 --digest使用数字身份验证 --disable-eprt禁止使用EPRT或LPRT --disable-epsv禁止使用EPSV-D/--dump-header 把header信息写入到该文件中 --egd-file 为随机数据(SSL)设置EGD socket路径 --tcp-nodelay使用TCP_NODELAY选项-e/--referer来源网址-E/--cert [passwd]>客户端证书文件和密码 (SSL) --cert-type 证书文件类型 (DER/PEM/ENG) (SSL) --key 私钥文件名 (SSL) --key-type 私钥文件类型 (DER/PEM/ENG) (SSL) --pass 私钥密码 (SSL) --engine 加密引擎使用 (SSL). "--engine list" for list --cacert CA证书 (SSL) --capath CA目录 (made using c_rehash) to verify peer against (SSL) --ciphers SSL密码 --compressed要求返回是压缩的形势 (using deflate or gzip) --connect-timeout 设置最大请求时间 --create-dirs建立本地目录的目录层次结构 --crlf上传是把LF转变成CRLF-f/--fail连接失败时不显示http错误 --ftp-create-dirs如果远程目录不存在,创建远程目录 --ftp-method [multicwd/nocwd/singlecwd]控制CWD的使用 --ftp-pasv使用 PASV/EPSV 代替端口 --ftp-skip-pasv-ip使用PASV的时候,忽略该IP地址 --ftp-ssl尝试用 SSL/TLS 来进行ftp数据传输 --ftp-ssl-reqd要求用 SSL/TLS 来进行ftp数据传输-F/--form =content>模拟http表单提交数据 --form-string =string>模拟http表单提交数据-g/--globoff禁用网址序列和范围使用{}和[]-G/--get以get的方式来发送数据-H/--header 自定义头信息传递给服务器 --ignore-content-length忽略的HTTP头信息的长度-i/--include输出时包括protocol头信息-I/--head只显示请求头信息-j/--junk-session-cookies读取文件进忽略session cookie --interface 使用指定网络接口/地址 --krb4 使用指定安全级别的krb4-k/--insecure允许不使用证书到SSL站点-K/--config指定的配置文件读取-l/--list-only列出ftp目录下的文件名称 --limit-rate 设置传输速度 --local-port强制使用本地端口号-m/--max-time 设置最大传输时间 --max-redirs 设置最大读取的目录数 --max-filesize 设置最大下载的文件总量-M/--manual显示全手动-n/--netrc从netrc文件中读取用户名和密码 --netrc-optional使用 .netrc 或者 URL来覆盖-n --ntlm使用 HTTP NTLM 身份验证-N/--no-buffer禁用缓冲输出-o/--output把输出写到该文件中-O/--remote-name把输出写到该文件中,保留远程文件的文件名-p/--proxytunnel使用HTTP代理 --proxy-anyauth选择任一代理身份验证方法 --proxy-basic在代理上使用基本身份验证 --proxy-digest在代理上使用数字身份验证 --proxy-ntlm在代理上使用ntlm身份验证-P/--ftp-port 使用端口地址,而不是使用PASV-q作为第一个参数,关闭 .curlrc-Q/--quote 文件传输前,发送命令到服务器-r/--range 检索来自HTTP/1.1或FTP服务器字节范围--range-file读取(SSL)的随机文件-R/--remote-time在本地生成文件时,保留远程文件时间 --retry 传输出现问题时,重试的次数 --retry-delay 传输出现问题时,设置重试间隔时间 --retry-max-time 传输出现问题时,设置最大重试时间-s/--silent静默模式。不输出任何东西-S/--show-error显示错误 --socks4 [:port]>用socks4代理给定主机和端口 --socks5 [:port]>用socks5代理给定主机和端口 --stderr -t/--telnet-option =val>Telnet选项设置 --trace 对指定文件进行debug --trace-ascii Like --跟踪但没有hex输出 --trace-time跟踪/详细输出时,添加时间戳-T/--upload-file 上传文件 --url Spet URL to work with-u/--user [:password]>设置服务器的用户和密码-U/--proxy-user [:password]>设置代理用户名和密码-w/--write-out [format]什么输出完成后-x/--proxy [:port]>在给定的端口上使用HTTP代理-X/--request 指定什么命令-y/--speed-time放弃限速所要的时间,默认为30-Y/--speed-limit停止传输速度的限制,速度时间

实例

文件下载

curl命令可以用来执行下载、发送各种HTTP请求,指定HTTP头部等操作。如果系统没有curl可以使用yum install curl安装,也可以下载安装。curl是将下载文件输出到stdout,将进度信息输出到stderr,不显示进度信息使用--silent选项。

curl URL --silent

这条命令是将下载文件输出到终端,所有下载的数据都被写入到stdout。

使用选项-O将下载的数据写入到文件,必须使用文件的绝对地址:

curl http://man.linuxde.net/text.iso --silent -O

选项-o将下载数据写入到指定名称的文件中,并使用--progress显示进度条:

curl http://man.linuxde.net/test.iso -o filename.iso --progress
######################################### 100.0%

断点续传

curl能够从特定的文件偏移处继续下载,它可以通过指定一个便宜量来下载部分文件:

curl URL/File -C 偏移量

#偏移量是以字节为单位的整数,如果让curl自动推断出正确的续传位置使用-C -:
curl -C -URL

使用curl设置参照页字符串

参照页是位于HTTP头部中的一个字符串,用来表示用户是从哪个页面到达当前页面的,如果用户点击网页A中的某个连接,那么用户就会跳转到B网页,网页B头部的参照页字符串就包含网页A的URL。

使用--referer选项指定参照页字符串:

curl --referer http://www.google.com http://man.linuxde.net

用curl设置cookies

使用--cookie "COKKIES"选项来指定cookie,多个cookie使用分号分隔:

curl http://man.linuxde.net --cookie "user=root;pass=123456"

将cookie另存为一个文件,使用--cookie-jar选项:

curl URL --cookie-jar cookie_file

用curl设置用户代理字符串

有些网站访问会提示只能使用IE浏览器来访问,这是因为这些网站设置了检查用户代理,可以使用curl把用户代理设置为IE,这样就可以访问了。使用--user-agent或者-A选项:

curl URL --user-agent "Mozilla/5.0"
curl URL -A "Mozilla/5.0"

其他HTTP头部信息也可以使用curl来发送,使用-H"头部信息" 传递多个头部信息,例如:

curl -H "Host:man.linuxde.net" -H "accept-language:zh-cn" URL

curl的带宽控制和下载配额

使用--limit-rate限制curl的下载速度:

curl URL --limit-rate 50k

命令中用k(千字节)和m(兆字节)指定下载速度限制。

使用--max-filesize指定可下载的最大文件大小:

curl URL --max-filesize bytes

如果文件大小超出限制,命令则返回一个非0退出码,如果命令正常则返回0。

用curl进行认证

使用curl选项 -u 可以完成HTTP或者FTP的认证,可以指定密码,也可以不指定密码在后续操作中输入密码:

curl -u user:pwd http://man.linuxde.net
curl -u user http://man.linuxde.net

只打印响应头部信息

通过-I或者-head可以只打印出HTTP头部信息:

[root@localhost text]# curl -I http://man.linuxde.net
HTTP/1.1 200 OK
Server: nginx/1.2.5
date: Mon, 10 Dec 2012 09:24:34 GMT
Content-Type: text/html; charset=UTF-8
Connection: keep-alive
Vary: Accept-Encoding
X-Pingback: http://man.linuxde.net/xmlrpc.php

get请求

curl "http://www.wangchujiang.com"    # 如果这里的URL指向的是一个文件或者一幅图都可以直接下载到本地
curl -i "http://www.wangchujiang.com" # 显示全部信息
curl -l "http://www.wangchujiang.com" # 只显示头部信息
curl -v "http://www.wangchujiang.com" # 显示get请求全过程解析

post请求

curl -d "param1=value1&param2=value2" "http://www.wangchujiang.com"

json格式的post请求

curl -l -H "Content-type: application/json" -X POST -d '{"phone":"13521389587","password":"test"}' http://wangchujiang.com/apis/users.json

获取本机外网ip

curl ipecho.net/plain

热点新闻

抖音在美业务威胁再升级 特朗普要禁止TikTok运营?

美国对中国科技公司的威胁再度升级!特朗普当地时间7月31日在其专机“空军一号”上对媒体记者表示,他将禁止TikTok在美国运营,最早于周六(即8月1日)实施,并且暗示他不会支持美国公司去收购TikTok。这是TikTok一周内在美国遭遇的第二次政府打压,本周美国财政部刚刚提交审查建议。 阅读全文

发布于:2020-08-01T21:14:31Z  |  75次阅读  |  详细内容 »

受疫情影响 Booking.com宣布最多裁员25%

全球酒店预订平台Booking.com母公司Booking Holdings今日宣布,由于新冠病毒疫情继续对旅游造成广泛影响,该公司计划在全球范围内最多裁员25%。目前,Booking.com拥有逾1.7万名员工。 阅读全文

发布于:2020-08-04T23:15:13Z  |  71次阅读  |  详细内容 »

花呗上征信了!而我却担心起未来的房贷……

用花呗在某宝上买一件衣服会上征信?用京东白条购物在征信报告中也能体现?近日,支付宝花呗表示,花呗接入央行征信了!正在以服务升级的模式接入央行征信,这也意味着用花呗的痕迹都会体现在征信报告上。不仅是花呗,从去年开始,京东白条就已经开始分批接入央行征信。银行会对这些互联网借贷用户“另眼相看”吗? 阅读全文

发布于:2020-07-30T02:14:27Z  |  71次阅读  |  详细内容 »

[动图]集锦功能现面向所有Android和iOS平台Edge用户开放

在今年 3 月,微软预告了一系列即将登陆 Microsoft Edge 的新功能,包括垂直标签、密码管理器等等。今天,微软宣布集锦(Collections)功能登陆 iOS 和 Android 平台,该功能能帮助用户整理链接、文本和其他内容,以便于未来使用。 阅读全文

发布于:2020-07-30T09:45:22Z  |  69次阅读  |  详细内容 »

互联网平台侵权屡禁不止 微信读书被判赔偿用户6600元

“微信读书”App因默认开放读书记录遭用户起诉,该案于7月30日落槌,法院认定腾讯公司侵犯用户个人信息权益,判决赔偿用户6600元。“我们尊重法院判决。”微信读书方面向《证券日报》记者表示,保障用户信息安全是微信读书一直坚守的首要原则。 阅读全文

发布于:2020-08-01T08:14:45Z  |  64次阅读  |  详细内容 »

王兴忍支付宝很久了,多次指责支付宝费率太高

昨天,关于“美团下线支付宝”的消息,引发社会关注,昨日晚间,美团创始人王兴在饭否上对此回应称:淘宝为什么还不支持微信支付?微信支付的活跃用户数比支付宝多,手续费也比支付宝低。这并不是王兴第一次指摘支付宝手续费高。早在2017年5月,王兴接受《财经》杂志专访时,也被问到相关问题,有用户使用大众点评时,付款方式第一栏默认是银行卡支付,第二栏才是微信支付,而支付宝被折叠了。 阅读全文

发布于:2020-07-30T14:16:15Z  |  64次阅读  |  详细内容 »

16次熔断暴涨近600% 柯达成Robinhood散户投机新宠

据Robintrack数据,在过去的24小时内,有20000多名Robinhood用户将柯达股票添加到其投资组合中,使该股成为该平台迄今为止最受欢迎的股票。在美国政府周二宣布向柯达提供7.65亿美元的贷款、用于生产抗击新冠病毒的制药成分之后,柯达股价周三盘中一度飙升近600%,盘中更是触发了16次熔断。 阅读全文

发布于:2020-07-30T02:14:25Z  |  63次阅读  |  详细内容 »

ofo从无可执行财产到“人间蒸发”,你的押金退了吗?

共享单车企业ofo官网、公众号、App端、线下办公室……所有公开渠道,都已经无法联系到ofo。用户待退押金也依然遥遥无期。天眼查信息显示,ofo关联公司东峡大通(北京)管理咨询有限公司的注册地址为北京市丰台区西三环南路14号院1号楼620室。 阅读全文

发布于:2020-07-31T23:14:47Z  |  62次阅读  |  详细内容 »

海信正式进军显示器市场:Hard硬派电竞曲面屏亮相

没错,作为家电巨头的海信,要做显示器了,而且上来就是电竞显示器!海信电视官方微信公众号宣布,“海信Hard硬派电竞显示器”将在7月31日-8月2日举办的UDE国际显示博览会上首次亮相,展馆位于上海新国际博览中心E2。 阅读全文

发布于:2020-07-31T01:14:40Z  |  62次阅读  |  详细内容 »

育碧公布中国原创漫画《刺客信条:王朝》8月26日上线

育碧公布了首部中国原创漫画《刺客信条:王朝》的相关消息,该漫画由国内专业漫画平台“新漫画”制作,中国知名漫画家许先哲领衔创作。漫画将于 2020 年 8 月 26 日在全网上线,故事将以盛唐时期为背景,上演一场自由与秩序的古老战争。 阅读全文

发布于:2020-07-30T14:14:47Z  |  62次阅读  |  详细内容 »

Intel注册全新Logo:酷睿也要大变脸

我们知道,Intel每发布一代新的酷睿处理器,都会为其设计新的LOGO标识,而这一次,Intel不仅仅要为酷睿“改头换面”,企业标识也可能会启用新样式。美国商标与专利局(USTPO)的数据库里已经出现了新的Intel LOGO、Intel Inside LOGO,不再是如今的圆圈环绕Intel五个字母样式,而是分块、方正的整体背景,加上单纯的Intel五个字母,全新字体,开头小写字母i的一个点还可以是灰色。 阅读全文

发布于:2020-07-30T02:14:24Z  |  62次阅读  |  详细内容 »

松下提高能量密度 削减特斯拉新型2170电池中的钴含量

松下为其生产并供应给特斯拉的 "2170 "锂离子电池开发了新的电池技术,这一改变将能量密度提高了5%,并降低了昂贵的钴含量。该公司周四表示,新的更高能量密度的2170电池将由松下在特斯拉位于内华达州斯帕克斯的工厂生产。松下正在升级其电池生产线,计划于9月开始生产。 阅读全文

发布于:2020-07-31T01:14:34Z  |  61次阅读  |  详细内容 »

拼多多与苹果特斯拉们的恨与爱

用户为一次从天而降的薅羊毛机会而兴奋,平台为营销目的达成而满意,但特斯拉并不开心。至少10万人预约,争夺5个幸运名额,7月26日凌晨,拼多多这场特价特斯拉抢购活动被人民群众的消费热情淹没,抢中几率堪比在河南考中清华北大。 阅读全文

发布于:2020-07-30T08:15:15Z  |  61次阅读  |  详细内容 »

不惜一切坚持生产 特斯拉成为疫情下汽车业最大赢家

疫情危机之中,由于前期“种下的种子”渐渐长成,特斯拉逆势迎来大丰收。面对疫情冲击,全球传统车企遭受重创,销量和利润暴跌之时,特斯拉却仍保持盈利,股价由三月低点至今已飙升了约4倍。这使得它7月初市值超越大众和丰田后,始终稳坐全球第一大车企宝座。 阅读全文

发布于:2020-08-02T17:46:01Z  |  60次阅读  |  详细内容 »

特斯拉Model Y在6月份销售7500辆 是Model X两倍多

特斯拉在去年3月份推出了跨界运动型多用途电动汽车Model Y,并在今年一季度开始向消费者交付,不过在Model Y开始交付之后,特斯拉在每一季度,将其与Model 3的产量及交付量合并公布,因而目前还无法知晓Model Y的具体销量。 阅读全文

发布于:2020-08-01T17:44:30Z  |  60次阅读  |  详细内容 »

[图]4380mAh电池现身 或用于苹果首款ARM Mac设备上

近日,型号为“A2389”的电池型号同时现身国内的 3C 认证网站和 UL Demko 网站,电池容量为 4380mAh,瓦数为 49.9 Wh。外媒认为这款电池对于 iPhone 或者 iPad 来说容量过大,因此极有可能会装备在新款 MacBook 上。 阅读全文

发布于:2020-07-30T06:44:26Z  |  60次阅读  |  详细内容 »

新专利显示苹果未来移动设备可能会使用紫外线来保持清洁

为了保持未来iPhone或Apple Watch内精致和非常小的传感器清洁和完美工作,苹果正在研究利用热和光来分解污染物。在一对相关的专利申请中,苹果描述了Apple Watch或iPhone中某些类型的传感器如何能够利用自己的清洁系统。它们可以部署由紫外线产生的臭氧来推开甚至侵蚀和分解设备内部不需要的有机化合物。 阅读全文

发布于:2020-07-31T02:44:29Z  |  59次阅读  |  详细内容 »

被指下架支付宝 美团暗示饿了么不支持微信支付:后者晒图反驳

7月30日上午消息,7月29日,媒体报道称,有用户在使用美团支付时发现,美团月付和银行卡支付占据优先位置,不再显示支付宝支付了,而微信支付和Apple Pay还在支付选择列表上。对此,美团月付官微发布微博称,“hi,顺便问一句,淘宝啥时候能用微信支付、美团月付呢?” 阅读全文

发布于:2020-07-30T14:16:16Z  |  59次阅读  |  详细内容 »

热门Linux命令