2014년 4월 넥스트 보안스터디 공유자료

1. NHN

2. NEXT

3. 보안스터디

4. /

5. 정윤성
Security From Internet Crawling Robot
이미지출처 : http://www.dailygalaxy.com/my_weblog/internet/

6. 그전에..
검색

7. web

8. Crawler의

9. 동작원리
Web Crawler가 주기적으로 수집하는 결과를 (내용, xml, html 등)
내부적으로 저장, 사용자에게 빠르게 제공
@Chache

10. 검색

11. Web

12. Crawler의

13. 동작원리
Robot.txt

14. 파일을

15. 참조
접근권한, 접근가능한 경로 등을 분석해서 수집해도 되는 컨텐트만을 수집
http://www.HomePage.com/robot.txt.

16. 검색

17. Web

18. Crawler의

19. 동작원리
robots.txt
this is called The

20.
Robots

21. Exclusion

22. Protocol
Web site owners use the /robots.txt file
to give instructions about their site to web robots;

23. 로봇

24. 배제

25. 표준
의미
출처 : http://ko.wikipedia.org/wiki/로봇_배제_표준
로봇 배제 표준은 웹 사이트에 로봇이 접근하는 것을 방지하기 위한 규약
이 규약은 1994년 6월에 처음 만들어졌고, 아직 이 규약에 대한 RFC는 없다.
이 규약은 권고안이며, 로봇이 robots.txt 파일을 읽고 접근을 중지하는 것을 목적으로 한다.
따라서, 접근 방지 설정을 하였다고 해도, 다른 사람들이 그 파일에 접근할 수 있다.

26. robots.txt
서술방법
http://www.robotstxt.org/ 을 통해 자세한 내용을 확인해할 수 있다
1. 웹사이트의 최상위 Root에 robot.txt 파일이 존재해야 한다.
2. 파일이름은 공백이 없는 소문자로 작성해야 한다.
3. User-agent는 bot을 명시한다.
.
.
.

27. robots.txt
예시

28. 1
모든로봇에 대해
모든페이지 허용안함
User-agent: *
Disallow: /
User-agent: *
Disallow:
모든로봇에 대해
모든페이지 허용

29. robots.txt
예시

30. 2
User-agent: *
Disallow: /a/
Disallow: /b/
Disallow: /c/
모든로봇에 대해
a패키지 허용안함
b패키지 허용안함
c패키지 허용안함

31. robots.txt
예시

32. 3
User-agent: BadBot
Disallow: /
BadBot에 대해
모든패키지 허용안함
User-agent: Google
Disallow:
User-agent: *
Disallow: /
Google에 대해
모든패키지 허용
나머지 Bot에 대해
모든패키지 허용안함

33. robots.txt

34. Generator
http://www.mcanerin.com/en/search-engine/robots-txt.asp

35. M패키지

36. 단위로

37. 관리

38.
(HTML

39. Meta

40. Element)
파일별로 Crawler에게
공개 여부를 알려줄 수 없을까?
package

41. Seperation
Path,

42. Directory별로

43. 접근을

44. 막기에는

45. 힘들다

46. Meta

47. Tag

48.
(HTML

49. Meta

50. Element)

51. Meta

52. Tag?
웹페이지에

53. 대한

54. 구조적인

55. 메타데이터를

56. 제공하기

57. 위한

59.
HTML,

60. XHTML의

61. meta

62. ...

63. 형태의

64. 태그
이미지출처 : http://www.dzineblog360.com/2012/02/7-steps-of-on-page-of-seo/
meta name=keywords content=”검색되고자 하는 TAG /
meta name=description content=”설명에 대해서 여기다 쓰면 됩니다. /
예시)

65. Robot과

66. Meta

67. Tag?
검색엔진

68. 등록과,

69. 거부
예시) meta name=robots content=noindex, nofollow /
meta name=“robots”

70. 작성규칙
Header에

71. 위치
meta 속성=“값” content=“내용물” /

72. 작성규칙
예시

73. 1
meta name=“title” content=“robots.txt” /
meta name=“author” content=“정윤성” /
meta http-equiv=“refresh” content=“5;url=http://new.nhnnext.org”/

74. 작성규칙
예시

75. 2
meta name=“keyword” content=“ec2, robots.txt, meta tag” /
meta name=“description” content=“인터넷 보안에 대한 글” /

76. Robots

77. Meta

78. Tag

80.
본론으로..
meta name=“robots”

81. Page

82. allow,

83. Link

85. allow
Content에

86. 2가지

87. 항목을

88. 작성
meta name=“robots” contents=“index,

93. follow”/
noindex,

94. nofollow

95. Page

96. allow,

97. Link

99. allow
Content에

100. 2가지

101. 항목을

102. 작성
index

104. noindex
follow

105. nofollow

106.
해당 페이지의 Crawling 여부
페이지에 존재하는 링크 Crawling 여부

107. Page

108. allow,

109. Link

111. allow
예시
: 이 문서내용을 가져가고, 링크된 문서도 내용을 가져간다.
meta name=“robots” contents=“index, follow”/
: 이 문서내용을 가져가고 않고, 링크된 문서는 내용을 가져간다.
meta name=“robots” contents=“noindex, follow”/
: 이 문서내용을 가져가고, 링크된 문서는 무시한다.
meta name=“robots” contents=“index, nofollow”/
: 이 문서내용을 가져가지 않고, 링크된 문서도 무시한다.
meta name=“robots” contents=“noindex, nofollow”/

112. Q.

113. 얼마나

114. 실용적인가
-

115. robots.txt는

116. 권고사항

117. (잘

118. 제작된

119. 모든

120. 로봇은

121. 파일의

122. 지시를

123. 존중)

124.
-

125. 대부분의

126. 거의모든

127. 유해

128. bot은

129. robots.txt를

130. 무시한다

131.
-

132. 오히려

133. 취약점을

134. 드려내는

135. 꼴이

136. 되기도

137. 한다.
Conclusion
Is

138. Practical?

139. Q.

140. robots.txt,

141. 법적

142. 효력이

143. 있는가
-

144. no
Conclusion
Is

145. Practical?

146. Conclusion
Is

147. Practical?
Q.

148. robots.txt를

149. 기반으로

150. 아이피

151. 차단?
-

152. Lots

153. of

154. Different

155. IP??

156. Conclusion
Is

157. Practical?
A.

158. 결국

159. FireWall

160. Reference
http://cqcounter.com/whois/
http://www.projecthoneypot.org/search_ip.php
Useful

161. HomPage
Ip valification :
http://www.robotstxt.org/
user-agent list check : http://www.botsvsbrowsers.com/
robots.txt generator : http://www.mcanerin.com/en/search-engine/robots-txt.asp
robots.txt public homepage :