Deixa para depois, Procrastinando com Celery em Python
•
5 j'aime•1,288 vues
Palestra do #TDC2011 que mostra como usar o celery para tarefas distribuidas
Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à Deixa para depois, Procrastinando com Celery em Python
Similaire à Deixa para depois, Procrastinando com Celery em Python (20)
Dernier
Dernier (20)
Deixa para depois, Procrastinando com Celery em Python
- 1. Procrastinando com Celery . adriano petrich petrich@gmail.com #TDC2011
- 2. O que é o Celery?
- 3. Ponto forte do Celery • Gerenciador de tarefas assíncrono
- 4. Ponto forte do Celery • Gerenciador de tarefas assíncrono • Distribuído entre máquinas
- 5. Os dois pontos fortes do Celery • Gerenciador de tarefas assíncrono • Distribuído entre máquinas
- 6. Os dois pontos fortes do Celery • Gerenciador de tarefas assíncrono • Distribuído entre máquinas • Agendador
- 7. Celery Dentre os pontos fortes do Celery destacam-se • Gerenciador de tarefas assíncrono • Distribuído entre máquinas • Agendador • Com tolerância a falhas
- 10. .
- 11. Resposta Longa
- 13. Tarefa
- 14. Tarefa from celery.task import task @task def foo(val): return val
- 15. Publicador
- 17. Publicadores Assincronamente >>> res = foo.delay(5)
- 18. Dois Jeitos # não bloqueia >>> res.ready() True ou False >>> res.result 5 # ou bloqueia >>> res.get() 5
- 19. Fila
- 20. Fila Backend sugerido é o RabbitMQ (todas as crianças legais do bairro usam erlang)
- 21. Mas também suporta Redis Beanstalk MongoDB CouchDB e bancos suportados pelo ORM do Django
- 22. Trabalhador
- 23. Trabalhador Pode estar rodando em outra máquina Cada Worker process ainda pode usar vários threads
- 24. Trabalhador $ celeryd $ ./manage celeryd
- 25. Por que?
- 27. Web Painel de Escalabilidade (djangocon.eu) http://2011.djangocon.eu/talks/47/
- 28. Problemas comuns What are the common mistakes you see. -------------------------------------- Things that take a long time ("sending an email") that lock up a process. Using the filesystem for caching. Testing locally and pushing it live and see it fall over. Using an external API can also take a long time. Work with timeouts to work around it.
- 29. Processos demorados entopem os tubes
- 30. Soluções comuns Tenha um celery de criança: Scaling wise, what should you think about before scaling becomes an actual issue? And what should you definitely leave until the moment comes you need to scale? ---------------------------------------------- First things first: use a queue like celery, even on small sites. Get used to such a queue and have it in place, that'll help a lot with performance later.Make sure you've got your database schema is mostly OK. It doesn't have to be perfect right away, but at least mostly OK. Expect something to change and assume you'll have to swap something out later to improve the performance.
- 31. email.py from celery.task import task from django.core.mail import send_mail @task def send(subject, message, recipient_list, from_email=None, **kwargs): if subject[0] != "[": subject = "[projeto] "+ subject if from_email is None: from_email = "suporte@fuuuuuu.com" send_mail(subject, message, from_email, recipient_list, **kwargs)
- 32. Um bom padrão from email import send @task def relatorio(dados): ....gera relatorio.... send.delay("Relatorio Pronto", """ Pode baixadas daqui: http://fuuuuuu.com/relatorios/%s.pdf """% filename, (email,))
- 34. Map Reduce tarefas = [] livros =["iliada.txt","odisseia.txt"....] for filename in livros: tarefas.append( conta_palavras.delay(filename) ) para pegar o resultado if all([i.ready() for i in tarefas]): palavras = sum([i.result for i in tarefas])
- 37. Inicia um worker $ ./manage.py celeryd -l info -E
- 38. e daí: BAM!
- 39. Tem que rolar também $ ./manage.py celerycam
- 40. Testar #no settings.py TEST_RUNNER='djcelery.contrib.test_runner.run_tests' from django.test import TestCase from myapp.tasks import add class AddTestCase(TestCase): def testNoError(self): """Test that the ``add`` task runs with no errors, and returns the correct result.""" result = add.delay(8, 8) self.assertEquals(result.get(), 16) self.assertTrue(result.successful())
- 41. Sem resposta CELERY_IGNORE_RESULT = True
- 42. Transactions no django def bar(request): sanduiche = Sanduiche("Pernil") sanduiche.save() avisa_novo.delay(sanduiche.id)
- 43. Especialmente se MIDDLEWARE_CLASSES = ( 'django.middleware.transaction.TransactionMiddleware', ...
- 44. Assim def bar(request): sanduiche = Sanduiche("Pernil") sanduiche.save() if transaction.is_managed(): transaction.commit() avisa_novo.delay(sanduiche.id)
- 45. Para desenvolvimento from socket import error try: avisa_novo.delay(sanduiche.id) except error: log.error("conexao recusada") if not DEBUG: raise error
- 46. Muitas tarefas for i in algo_grande: avisa_novo.delay(i)
- 47. Muitas tarefas subtasks = [] for i in algo_grande: subtasks.append(subtask(avisa_novo, args=(i))) TaskSet(tasks=subtasks).apply_async()