Como capturar páginas e reconhecer padrões utilizando PHP. Como construir webcrawlers e obter informações da web utilizando php, processamento paralelo com pcntl, módulo curl e expressões regulares.

2. Apresentação
E
u
Rodrigo de Sales da Silva
• Bacharel em Ciência da Computação
• MBA em Tecnologia da Informação
• webdev@mestreseo
• sysadmin@mestreseo
• webcrawling
• data mining
• reconhecimento de padrões
• data mining

3. Objetivo
Encontrar
Informação

4. Motivação
• Como monitorar seu concorrente?
• Atualizações em agregadores de notícias?
• Pretende automatizar procedimentos?
• Verificar posições em mecanismos de
busca?

5. Oque fazer?
Requisiçã
o
HTTP
Parsing
dos dados
cURL regexp

6. Protocolo HTTP
http://www.w3.org/Protocols/rfc2616/rfc2616.html
The Hypertext Transfer Protocol (HTTP) is
an application-level protocol for distributed,
collaborative, hypermedia information
systems. HTTP has been in use by the
World-Wide Web global information initiative
since 1990.

7. Protocolo HTTP
The HTTP protocol is a request/response protoco
1.4 Overall Operation

8. Client URL Library - cURL
• http
• https
• ftp
• gopher
• telnet
• dict
• file
• ldap
Todas as funções foram adicionadas no PHP 4.0.2

9. cURL - Começando

10. cURL - obtendo o retorno

11. cURL - header

12. cURL - redirects

13. cURL - timeout

14. cURL - SSL

15. cURL - user-agent
getUserAgent() == http://www.user-agents.org

16. cURL - proxies
proxy4free.com
freeproxysite.com
Squid

17. cURL - Cookies
Obs.: Não esquecer de ajustar as permissões do
arquivo.

18. cURL – GET e POST

19. cURL
http://us2.php.net/manual/en/function.curl-setopt.php
Mais informações:

20. Expressões Regulares
• São formas concisas e flexíveis de identificar
cadeias de caracteres. (wikipedia.org)
• preg_match()
• preg_match_all()
• preg_split ()
• preg_grep()
• preg_replace()
• preg_quote()
• preg_filter ()
• .....

21. regexp
• Metacaracteres: a-z, 0-9
• Coringa Ponto: ma.
• Lista: [012], [a-z]
• Lista Negada: [^0-9]
• Opcional: ?
• Zero ou mais: *
• Um ou mais: +
• Quantidades: {n, m}
• Inicio de Linha: ^
• Final de Linha: $
• Escape:

22. regexp
• Algoritmos Gulosos x Algoritmos Preguiçosos
• Grupos: boa-(tarde|noite)
• Grupos nomeados: (?P<name>)
• Back reference: 1, 2
Mais informações: guia-er.sourceforge.net

23. pcntl – Process Control
• Oque é?
• Para que serve?
• Como funciona?

24. pcntl

25. pcntl
• Oque esse código gera?
• 1? 2? Nada? Tudo?

26. pcntl

27. pcntl
• posix_getpid();
• posix_getppid();
• posix_get_last_error();
php.net/manual/en/ref.posix.php

28. pctl

29. • Praticamente toda informação que
necessitamos está disponível na web.
• Capturar, entender e armazenar, depende só
de você.
• As ferramentas estão aí para serem utilizadas.
• Perguntas???
Concluindo

30. Obrigado, =)