H3 2012 발표자료 오픈 소스로 구현하는 실시간 데이터 처리를 위한 CEP -KTH 원종석

1. Complex Event Processing with Esper
Real-time Event Stream & Complex Event Processing
오픈

2. 소스로

3. 구현하는

4. Real-time

5. CEP

6.
데이터지능팀 I 원종석

7. About

8. Me

9.
원종석

10. @tedwon

11.
한국

12. JBoss

13. User

14. Group

15. 커뮤니티

16. 부운영자

17.
JBoss

18. RHQ

19. Contributor

34. 데이터

35. 분석

36. 플랫폼

37. DAISY

38. 운영

39. /

40. 개발

41. 중

42.
채널

43. 추천

44.
Love

45. Classical

46. Music

47. Developer

50. Index
01 CEP

51. 소개

52.
02 오픈

53. 소스

54. Esper

55. 활용

56. 하기

58. Index
01

59. CEP

60. 소개

61. 05

62. 오픈

63. 소스

64. Esper

65. 활용하기

66.
02

67. Event의

68. 정의

69. 06

70. EPL과

71. Adapter

72. 개발

73.
03

74. Real-time

75. 이란?

76. 07

77. CEP

78. 개발

79. 전략

80.
04

81. CEP

82. 적용

83. 분야와

84. 상용

85. 제품

87. 01

88. CEP

89. 소개

90.
§ Concept

91. of

92. CEP

93.
§ CEP

94. 적용

95. 사례

96.
§ CEP

97. 기술적

98. 이해

99.
§ EDA

100. 소개

101.
§ EDA

102. 처리

103. 스타일

104. 3

105. 가지

106.
§ ESP

107. vs.

108. CEP

109.
§ CEP

110. Language

111. Style

113. 01 CEP 소개
C E P

114. 01 CEP 소개
Complex Event Processing

115. 01 CEP 소개
Concept

116. of

117. CEP

118.
교회에서...

119.
벨이

120. 울린다.

121.
턱시도를

122. 입은

123. 남자와

124. 꽃을

125. 든

126. 여자가

127. 함께

128. 걷는다.

129.
두

130. 사람

131. 위로

132. 꽃

133. 잎이

134. 날리고

135. 푹죽이

136. 터진다.

138. 01 CEP 소개
Concept

139. of

140. CEP

141.
CEP

142. 기술은

143. 이러한

144. 복합적인

145. Event를

146. 참조하여

147.
결혼식이라는

148. 패턴을

149. 알아

150. 차린다.

152. 알고리즘

153. 주식

154. 트레이딩

156. 01 CEP 소개
Algorithmic

157. Stock-Trading

158.
대표적인

159. CEP

160. 적용

161. 사례

162.
주식

163. 알고리즘

164. 트레이딩

165.
실시간

166. 주식

167. 틱

168. 모니터링

169.
실시간

170. 자동

171. 주식

172. 매도

173. /

174. 매수

176. 01 CEP 소개
온라인

177. 주문

178. 실시간

179. 통계

180.
상품별

181. 주문

182. Top10

183.
상품

184. 카테고리별

185. 주문

186. Top10

187.
지역별

188. 주문

189. 비율

191. 이마트

192. 매장에서

194. 01 CEP 소개
이마트 매장에서
전국

195. 지점별

196. 매장

197. 내

198. 고객

199. 현황

200. 실시간

201. 통계

202.
매장

203. 내

204. 이동

205. 중

206. 자동으로

207. 실시간

208. 쿠폰

209. 발행

210.
카트

211. 모니터를

212. 통해

213. 실시간

214. 타겟팅

215. 광고

216. /

217. 추천

219. 01 CEP 소개
CEP

220. 좀

221. 더

222. 디테일하게

223. 알아볼까요?

225. 01 CEP 소개
CEP의

226. 기술적

227. 이해

228.
1990년

229. 중반부터

230. 학계로

231. 부터

232. 연구가

233. 시작됨

234.
실시간

235. 이벤트

236. 처리

237. 기술

238.
수많은

239. Event

240. 에서

241. 의미있는

242. 이벤트

243. 찾아내고

244. 필터링

246. 01 CEP 소개
CEP의

247. 기술적

248. 이해

249. (계속)

250.
EDA(Event-driven

251. architecture)

252. 기반

253. 시스템

254.
Intelligence

255. System

256.
Loosely-coupled

257. 구조적

258. 특징

259.
Asynchronous

260. Style

261. 처리

262. 패러다임

265. 01 CEP 소개
Asynchronous

266. Style

267.
• Source: Event Processing in Action CEP Style

268. 01 CEP 소개
EDA

269. 소개

271.
Event

272. Driven

273. Architecture

274.
Event의

275. 생산,

276. 감지,

277. 소모,

278. 반응을

279. 위한

280. 아키텍처

281. 패턴

283. 01 CEP 소개
EDA

284. 소개

285. (계속)

286.
사람의

287. 감각

288. 기관

289. 및

290. 반응

291. 구조와

292. 유사

293.
눈, 귀 등의 감각 기관 생각, 판단 손, 발의 반응

294. 01 CEP 소개
웹

295. 애플리케이션

296. Architecture

297.
Synchronous

298. interactions

299.
Request

300. 에

301. 대한

302. Response

303. 구조

304.
선저장

305. 후처리

306. 패러다임

308. 01 CEP 소개
EDA

309. 이벤트

310. 처리

311. 패러다임

313.
선처리

314. 후저장

315. 패러다임

316.
Asynchronous

317. Style

318. Processing

319.
Response

320. 가

321. 아닌

322. Reaction

323. 하는

324. 시스템

325.
CEP가

326. 이러한

327. 스타일을

328. 그대로

329. 물려

330. 받음

332. 01 CEP 소개
EDA의

333. Event

334. 처리

335. 스타일

336. 3가지

337.
SEP

338. -

339. Simple

340. Event

341. Processing

342.
JMS(Java

343. Message

344. Service)가

345. 대표적인

346. 예

348.
Message를

349. 전달하는

350. Event

351. 처리

352.
ESP

353. -

354. Event

355. Stream

356. Processing

357.
CEP

358. -

359. Complex

360. Event

361. Processing

363. 01 CEP 소개
ESP

364. vs.

365. CEP

366.
ESP

367. -

368. 일반적인

369. 모든

370. Event

371. 스트림

372. 계산

373. 기능

375. Filtering,

376. Aggregation,

377. Join

379. “지난

380. 30분간의

381. 구글

382. 주식

383. 평균값

384. 계산”

385.
CEP

386. -

387. ESP

389. 패턴

390. 감지

391. 기능

393. 01 CEP 소개
Complex

394. Event

395. Processing

396.
Detect

397. patterns

398. among

399. events

400.
Define

401. event

402. correlation:

403. 이벤트간의

404. 인과관계

411.
“야후!

412. 주식이

413. 10%이상

414. 떨어진

415. 이후,

428. 구글

429. 주식이

430. 5%이상

431. 2번

432. 연속으로

433. 오른다면…⋯”

435. 01 CEP 소개
Complex

436. Event

437. Processing

438.
대표적인

439. 오픈

440. 소스

441. 프로젝트

442. 2

443. 가지

444. 존재

445.
ü EsperTech

446. Esper

447.
SQL-like

448. Script

449. 언어

450. 제공

451.
ü JBoss

452. Drools

453. Fusion

454.
Rule

455. Script

456. 언어

457. 제공

459. 01

460. CEP

461. 소개

462.
§ Concept

463. of

464. CEP

465.
§ CEP

466. 적용

467. 사례

468.
§ CEP

469. 기술적

470. 이해

471.
§ EDA

472. 소개

473.
§ EDA

474. 처리

475. 스타일

476. 3

477. 가지

478.
§ ESP

479. vs.

480. CEP

481.
§ CEP

482. Language

483. Style

485. 02

486. Event의

487. 정의

488.
§ Event의

489. 정의

490.
§ Event

491. Examples

492.
§ Event

493. Stream의

494. 개념

496. 02 Event의 정의
What

497. is

498. Event?

499.
Event란

500. 무엇인가?

501.
무엇을

502. Event로

503. 정의

504. 할

505. 수

506. 있는가?

508. 02 Event의 정의
Event의

509. 정의

510.
Something

511. that

512. happens

513.
실제로

514. 발생한

515. 사건,

516. 일,

517. 메세지

519. 02 Event의 정의
Event의

520. 정의

521. (계속)

522.
Event란

523. 어떤

524. 것의

525. 변화이다!

527. 02 Event의 정의
Event의

528. 정의

529. (계속)

530.
변화한다는

531. 것은

532. 어떠한

533. 상태를

534. 가지고

535. 있다는

536. 의미

537.
상태를

538. 가지고

539. 변화하는

540. 모든

541. 것이

542. Event로

543. 정의될

544. 수

545. 있다.

546.
이

547. 세상의

548. 모든

549. 것은

550. 변화한다.

552. 02 Event의 정의
Event

553. Examples

554. (계속)

555.
Stock

556. tick

557.
비밀번호

558. 변경

559.
10초마다

560. 실내

561. 온도

562. 측정

563.
위치

564. 이동

565. 이벤트

567. 02 Event의 정의
Event

568. Stream의

569. 개념

570.
정해진

571. Channel을

572. 통해

574.
시간의

575. 순서대로

576. 연속되는

577. Event의

578. 흐름

579.
시작과

580. 끝이

581. 없는

582. Event의

583. 연속된

584. 흐름

585.
Examples:

586. 수도관의

587. 물의

588. 흐름

593. 차도의

594. 자동차의

595. 흐름

597. 02

598. Event의

599. 정의

600.
§ Event의

601. 정의

602.
§ Event

603. Examples

604.
§ Event

605. Stream의

606. 개념

608. 03

609. Real-time

610. 이란?

611.
§ Real-time

612. 시스템의

613. 정의

614.
§ Real-time

615. 3

616. Class

618. 03 Real-time 이란?
Real-time

619. 시스템의

620. 정의

621.
낮은

622. 수준의

623. 지연

624. 시간:

625. Low

626. latency

627.
일정한

628. 응답

629. 속도의

630. 보장:

631. Regularities

632. in

633. Response

634. time

635.
예측

636. 가능한

637. 성능

638. 제공:

639. Providing

640. predictable

641. performance

642.
결국 낮은 지연 시간을 일정하게 최대한 오래 유지 시켜주는 것이 핵심

643. 03 Real-time 이란?
Real-time

644. 3

645. Class

646.
Near Real-time
Real-time
Real Real-time
구체적인 범위 정의는 비즈니스 SLA 요구 수준에 따라 결정됨

647. 03 Real-time 이란?
Real-time

648. 3

649. Class

650.
Near Real-time
ü Seconds

651. 수준의

652. 지연

653. 시간

654. 보장

655.
Real-time
ü Milliseconds

656. 수준

657. 보장

658.
Real Real-time
ü Microseconds

659. 수준

660. 보장

662. 03

663. Real-time

664. 이란?

665.
§ Real-time

666. 시스템의

667. 정의

668.
§ Real-time

669. 3

670. Class

672. 04

673. CEP

674. 적용

675. 분야와

676. 상용

677. 제품

678.
§ CEP

679. 적용

680. 분야

681.
§ CEP

682. 상용

683. 제품

685. 04 CEP 적용 분야와 상용 제품
CEP

686. 적용

687. 분야

688.
기존의

689. 영역에

690. 첨가됨으로써

691. 보다

692. 인텔리전트한

693. 시스템으로

694. 발전

695.
분야 설명
Finance Algorithmic Stock-Trading 금융 관리, fraud detection
OI Operational Intelligence 장비 고장 예측
SLA 모니터링, 침입 탐지
Analytics Real-time analytics 데이터 분석
Predictive analytics 예측 분석
EBPM Event-driven business process management BPM 자동화
BAM Business Activity Monitoring 프로세스 모니터링
Computing Stream computing 스트림 컴퓨팅
ETL Extract, Transform, Load 데이터 전처리 작업

696. 04 CEP 적용 분야와 상용 제품
CEP

697. 상용

698. 제품

699.
대부분의

700. 메이저

701. 벤더

702. CEP

703. 제품

704. 보유

705.
CEP

706. 제품은

707. 모두

708. 단순한

709. 동일한

710. 구조를

711. 가짐

712.
벤더 제품명 설명
TIBCO TIBCO BusinessEvents 업계 최고 제품
StreamBase Systems StreamBase CEP 정교한 CEP 제품
SAP Sybase Event Stream Processor Sybase 제품 인수
Oracle Oracle CEP Esper 기반
IBM InfoSphere Streams 테러 방지 목적으로 시작
멀티미디어 스트림 프로세싱 가능
WebSphere Business Events -
Microsoft StreamInsight -
Informatica RulePoint -

714. CEP
이제,

715. 실제

716. 구현의

717. 비밀에

719.
좀

720. 더

721. 가까이

722. 다가가

723. 볼까요?

725. 05

726. 오픈

727. 소스

728. Esper

729. 활용하기

730.
§ Esper

731. 소개

732.
§ 오픈

733. 소스

734. Esper

735.
§ Esper

736. Architecture

737.
§ Input

738. /

739. Output

740. Adapters

741.
§ Esper

742. Runtime

743. 선택

744.
§ Virgo

745. OSGi

746. Server

747. 추천

749. 05 오픈 소스 Esper 활용하기
Esper

750. 소개

751.
가장

752. 유명한

753. CEP

754. 오픈

755. 소스

756. 프로젝트

757.
2004년

758. 토마스

759. 버나드(Thomas

760. Bernhardt)가

761. 시작

762.
Quick

763. Start

764. Project

765. 테스트

766. 추천

767.
ü https://github.com/tedwon/cep-esper-quick-start

769. 05 오픈 소스 Esper 활용하기
Esper

770. Quick

771. Start

772. Project

774. 05 오픈 소스 Esper 활용하기
Esper

775. Quick

776. Start

777. Project

779. 05 오픈 소스 Esper 활용하기
EsperTech

780. Esper

782. 05 오픈 소스 Esper 활용하기
오픈

783. 소스

784. Esper

785.
ESP/CEP

786. Engine

787. 제공

788.
EPL(Event

789. Processing

790. Language)

791. 제공

792.
잘

793. 정리된

794. Reference

795. Documentation

797. 05 오픈 소스 Esper 활용하기
오픈

798. 소스

799. Esper

800. (계속)

801.
In-memory

802. 기반

803. 시스템

804.
우리의 공수가 필요한 부분
Lightweight

806. Embeddable

807.
No

808. Runtime

809. Support

810. !!

812. 05 오픈 소스 Esper 활용하기
Esper

813. Architecture

815. 05 오픈 소스 Esper 활용하기
Esper

816. Architecture

817. (계속)

818.
CEP

819. 애플리케이션

820. 아키텍처

821. 심플

822. 뷰

824. 05 오픈 소스 Esper 활용하기
Esper

825. Architecture

826. (계속)

827.
CEP

828. 애플리케이션

829. 아키텍처

830. 심플

831. 뷰

833. 05 오픈 소스 Esper 활용하기
Esper

834. Architecture

835. (계속)

836.
CEP

837. 애플리케이션

838. 아키텍처

839. 심플

840. 뷰

842. 05 오픈 소스 Esper 활용하기
Input

843. /

844. Output

845. Adapters

846.
CSV File Reader Input CSV File Writer Output
Socket Reader Input Socket Writer Output
HTTP Reader Input HTTP Reader Output
JDBC Jabber Output Adapter
Email (IMAP) Reader Input Email Sender
Hadoop HDFS Input Adapter Hadoop HDFS Output Adapter
Twitter JMS Publish/Subscribe
XML File Writer Output XML over HTTP Writer Output

847. 05 오픈 소스 Esper 활용하기
Esper

848. Architecture

849.
대용량

850. 로그

851. 실시간

852. 처리

853. CEP

854. 애플리케이션

855. 아키텍처

856. 사례

857.
ü 실시간

858. ETL

859. 처리

860. 후

861. HDFS

862. 저장

863.
Thrift Server 구현 Hadoop FileSystem API 구현
ETL EPL 작성
(Extract, Transform, Load)

864. 05 오픈 소스 Esper 활용하기
Esper

865. Architecture

866.
UpdateListener

867. 인터페이스를

868. 구현하여

869. Output

870. Adapter

871. 구현

872.
1
N

873. 05 오픈 소스 Esper 활용하기
UpdateListener

874. API

875.
UpdateListener

876. 인터페이스를

877. 구현하여

878. Output

879. Adapter

880. 구현

882. 05 오픈 소스 Esper 활용하기
Esper

883. Runtime

884. 선택

885.
임베디드

886. 모드

887. or

888. 스탠드

889. 얼론

890. 모드

891. 선택

892. 필요

893.
1. Esper

894. +

895. Java

896. EE

897. Platform

898.
2. Java

899. Standalone

900. Instance

901.
3. Esper

902. +

903. OSGi

904. Server

906. 05 오픈 소스 Esper 활용하기
Esper

907. Runtime

908. 선택

909.
Esper + Java EE Platform
도입

910. 및

911. 유지보수

912. 용이

914. 성능

915. 최적화

916. 어려움

917.
Java Standalone Instance
가장

918. 가볍고

919. 최적화된

920. 구조로

921. 적용

922. 가능

924. 복잡한

925. CEP

926. 서비스

927. 구현에서

928. 한계

929.
Esper + OSGi Server
Esper와

930. 최적의

931. 궁합:

932. Life

933. cycle

934. 일치

936. 라이브러리

937. OSGi

938. 번들링

939. 이슈

940. 해결이

941. 관건

943. 05 오픈 소스 Esper 활용하기
Runtime:

944. Esper

945. +

946. OSGi

947. Server

948.
Zero-downtime

949. 구현

950. 가능

952. 05 오픈 소스 Esper 활용하기
Virgo

953. OSGi

954. Server

955. 추천

956.
가장

957. 완성도

958. 높은

959. 오픈

960. 소스

961. Enterprise

962. OSGi

963. Server

964.
Spring

965. F/W

966. 와

967. 통합

968. 용이

969.
Kernel,

970. Tomcat,

971. Jetty

972. OSGi

973. 서버

974. 버전

975. 제공

976.
SpringSource

977. 유료

978. 기술

979. 지원

981. 05 오픈 소스 Esper 활용하기
Virgo

982. OSGi

983. Server

984. 추천

986. 05

987. 오픈

988. 소스

989. Esper

990. 활용하기

991.
§ Esper

992. 소개

993.
§ Esper

994. Architecture

995.
§ Input

996. /

997. Output

998. Adapters

999.
§ Esper

1000. Runtime

1001. 선택

1002.
§ Virgo

1003. OSGi

1004. Server

1005. 추천

1007. 06

1008. EPL과

1009. Adapter

1010. 개발

1011.
§ EPL

1012. 소개

1013.
§ EPL

1014. 기능

1015.
§ EPL의

1016. 외부

1017. 리소스

1018. 참조

1019. 기능

1020.
§ RFID

1021. 도메인

1022. 예제

1023.
§ EPL

1024. 등록

1025. 및

1026. Output

1027. Adapter

1028. 구현하기

1029.
§ Input

1030. Adapter

1031. 구현하기

1033. 06 EPL과 Adapter 개발
EPL

1034. 소개

1035.
SQL

1036. 형식의

1037. Event

1038. 처리

1039. 스크립트

1040. 언어

1041.
Data

1042. windows

1043. 제공

1044.
Pattern

1045. matching