요즘 인터넷 포털에서 보여주는 재미난(!) 이야기를 해볼까 합니다.
한국은 우리끼리 IT강국인데요..
아무도 알아주지 않는 IT강국..

그런 IT강국을 이끌어가는 한국의 기둥(!)인..
'포털'과 '검색'에 관한 첫번째 이야기.. 시작합니다 *^^*

---------------------------------------------

우선 지금하려고 하는 이야기의 핵심 사항인..
한국의 '검색'과 '포털'시장은..
지금에 와서 생각해보면.. 우리의 생활에 아주 깊이 관여해서..
생활과 빼고 생각하기 조차 힘들정도지만..

사실 포털이 본격적인 서비스를 한건 5년정도 밖에 안됐고..
그나마 우리에게 가까워진건 3년정도 밖에 안된 일이라는걸..
먼저 생각해야 할 것이다.

그건 짦은 시간에.. 많은 성장이 있었지만..
우리의 인식, 문제를 보는 시각, 네티켓, 문화의 발전등은..
아직 기술을 못따라가고 있는 것이다.

기술은 쉽게, 빠르게 변화하지만..
우리의 생각, 문화의 성숙은 그보다 더디고..
그게 모든 사람에게 전파되는데에는 조금 더 시간이 필요하다.


우리의 사회에서는 옳고 그름이 분명하게 선을 나눠져 있찌만..
IT업계에서는 아직 옳다 / 그르다는 그 자체 가지고도..
논쟁이 될 정도로 아직 그 경계가 명확하지 못하다..


그럼 2005년 6월에서 본격 시작된..
포털의 논쟁에 대해서 짤막히 알아보기러 하자.


문제의 시작은 열린검색 "엠파스"에서 나왔다.

엠파스는 초기에 [자연어 검색]이라는 기술을 가지고 나와서..
한때 한국어 검색에 새바람을 불러일으킨 주역이였다.

*註) '자연어 검색'이란 특정단어를 입력하는 방식이 아닌..
문장을 입력했을때 검색엔진이 알아서 결과를 보여주는 방식이다.
가장 큰 장점은.. 누구나 쓸 정도로 쉽다..


그런 엠파스는 처음 나왔을때는 아주 앞서나가는 듯 했지만..
곧 [지식검색]을 앞세운 네이버에 뒤지기 시작했다..

*註) 2005년 12월을 기준으로 네이버의 시장점유율은 68.72%
다음12.17% , 야후 6.73% , 엠파스 5.55% , 네이트 1.89%이다.
엠파스의 자연어검색이 나온 즈음..
엠파스의 점유율은 20%가 훌쩍 넘어 있었다.
그때만해도 네이버보다는 엠파스의 인지도가 훨씬 높았던 시절이였다.


이런 상황에서 엠파스는 인터넷에 있는 모든 자료를 "검색" 해야한다는 목표 아래..
"열린검색"이라는 서비스를 만들어서 서비스하기 시작했다.

열린검색은 한국 포털이 가지고 있는 정보에 대한 폐쇄성에 대해서 지적하고,
각기 포털마다 제공하는 사이트에 대한 포괄적인 검색을 목표로 삼았다.
(물론 가장 큰 목표는 누구나 알듯이 '네이버'였다)

이를테면 네이버의 지식 검색에 올라오는 글도 모두 다른 검색엔진에서
검색할 수 있어야 한다는 것이다.

네이버의 반응은.. 좀 날카롭고도 신경질 적이였다..
네이버 입장에서는 엠파스가 자기가 모아놓은 정보를 훔쳐간다고 생각하는 것이다.

*註 사실 이건 몇가지 검색철학/법/기업윤리 등의 몇가지..
부분에서 아주 포괄적으로 생각해야 하는 문제이다.
그래서 이 부분은 간략히만 알아보겠다.


하지만 그럼에도 엠파스를 대놓고 비난할 수 없었던건..
[폐쇄성]으로 운영되는 것이 오히려 쟁점화 될수도 있는 탓이였을 것이다.


사실 그게 문제가 좀 있어 보이긴 하다..


생각해보자..
내가 네이버에서 블로그를 만들어서 정보를 제공한다고 치자.
웹은 미국이든 아프리카든 인터넷에 연결되어 있다면..
내 블로그에 자유롭게 와 볼수 있다는 점에서..
너무너무 매력적인 방식이다..

*註 :: 개방성은 웹이 발전하게된 가장 기본적인 철학이다.
이점에는 누구도 다른 견해가 없을꺼라고 본다.


그런데.. 네이버에 만든 블로그에 사람이 오게 하려면..
어떤 식으로든 알려야 하고..
불특정 다수가 알릴 있는 방법은 역시 '검색엔진'이다.

그런데.. 네이버에 만든 블로그는 '구글'에서도 '네이트'에서도..
'엠파스'에서도 검색할 수 없다.
오로지 네이버에서만 가능하다..

언뜻보기에 네이버에서 만들었으니까..
'다른곳에서 검색하지 못하는거 아닐까...??' 하는 의문이 들수도 있지만..

기술이 없어서 그런게 아니라....
네이버가 그걸 하지 못하게 막아 놓았다는게 정확한 표현이다.

이건 블로그에 국한되는 문제는 아니고..
각 포털이 제공하는 몇몇 많은 서비스에 적용되고 있다..

*註 :: 현재 엠파스는 '게시판'까지 열린 검색을 지원하고 있다


어쨌든 네이버는 엠파스가 자사가 쌓아놓은 정보를 불법적으로
가져간다고 이의를 제기했다.

과연 여기에 엠파스의 반응은?


엠파스는 왜 그런 정보가 네이버꺼냐고 되물었다.
결국 정보를 축적한건 일반 네티즌들이였으니까..
그건 네이버의 지식이나 자산이 아닌..
질문을 하고 / 답변을 달아준 네티즌의 소유물이고..
엠파스가 그걸 검색하도록 하는데.. 문제가 없다고 했다.


그리고 냉정히 봤을때..
지식검색에 질문을 하는 입장에서는.. 많은 사람들이 질문을 보고..
빨리 답을 해주기 바랬을 것이고..
답변을 하는 입장에서는.. 자기의 지식이 널리 많은 사람이..
알 수 있었으면 더욱 뿌듯해 할 것이다.
거기에 답을 달면서.. '네이버를 들어오는 사람만 이걸 봐야돼~'
이런 생각을 가진 사람이 한명이라도 있었을까?



자.. 여기서 한가지 짚고 넘어가야 하는 문제가 있다.


관심이 있는 분은 다들 아시겠지만..
이 분쟁을 이해하려면.. 그 전에..
웹사이트에서 적용되는 "robots.txt"라는 텍스트파일에 대해서
이해를 해야한다.

이 파일은 웹사이트의 제일 상위 폴더에 존재하면서..
검색서비스에 대해 자신의 웹사이트 정보를
어느정도까지의 접근을 허용할것인지를 결정한다..
즉, 검색이 되지 않을지.. 되게 할지를 결정하는 부분이다..

자신이 올린 웹사이트를 검색엔진에서는 로봇을 이용해서 검색한다..
(무슨 움직이는 로봇은 아니고.. 검색을 하는 소프트웨어이다~)

내 웹사이트에 [secret]라는 나만 알아야 하는 중요폴더가 있다고 하고..
다른 부분은 공개하고 싶지만..
로봇이 검색을 할때 [secret]라는 폴더를 알리고 싶지 않다면..
"robots.txt"라는 폴더에 disallow항목에 secret를 넣으면 된다.

만약 내 웹사이트가 절대 검색엔진에서 결과에 나오지 않게..
비공개로 운영하고 싶다면..
아래와 같이 하면 된다..

---------- robots.txt -----------

User-agent: *
Disallow: /

-------------------------------


물론 이 파일을 반드시 만들어야 하는 파일은 아니다.
없어도 잘 굴러간다...
다만 검색이 안됐으면 하는 부분이 있다면.. 지정하는게 좋은 것이다.
그리고 아이러니 하게도.. 검색을 하는 업체에게 있어서도..
이건 반드시 지켜야 하는 표준은 아니다..
안지켜도 사실 별다른 문제가 없는 것이다.





위 이미지는 네이버의 지식검색에 대한 robots정책을 보여준다.
내용을 파악해보면.. 네이버 지식검색에 대한..
모든 검색로봇의 접근을 차단한다는 것이다.

*註 User-agent: * ::: 모든 검색엔진에 대해서..
Disallow: / ::: 검색을 허용하지 않는다는 뜻이다..


'지식검색' 말고도, '블로그' '카페'모두 같이 적용하고 있다.

왜 네이버는 지식검색이 외부에서 검색되지 않게 한 것일까??


물론 가장 큰 이유는 메인화면에서 뿌려주는 광고의 수익을 위해서든..
사람의 습관적으로 네이버로 계속 향하게 하기 위해서든..
사람을 네이버안으로 모으고 싶어서이다..

결국 이말은..
국내 최고의 포털이 자사의 대표서비스는
외부에서 검색이 불가능하게 만들어서.. 폐쇄적으로 운영을 해나가고..
이것으로 경쟁력을 확보하고 있는 것이다.

가장 많은 사람이 찾는 곳에.. 가장 많은 정보가 모이는 건 당연하고..
정보가 가장 많지만.. 그 포털에 직접 와야 검색을 할수 있게 하겠다는것..
이게 지금 한국 포털이 문제가 되고 있다는 부분이다..

근데.. 아이러니 하게도..
그렇게 외부의 검색을 차단하는 네이버는 검색전문업체이다.

즉, 다른 사이트들의 정보를 캐서. 모으고, 그걸 다시 제공해서..
돈을 벌어들이는 업체이다.

우리는 검색해서 돈을 벌지만.. 다른 회사는 우리 정보를 검색 하지마라...
참.. 모순된 표현이라는 생각이든다..

*그런데.. 사실 막상 엠파스가 열린검색을 가지고 나와도..
이미 네이버의 관성에 익숙해져서 습관이 되어버린 사람은..
그대로 습관을 유지하고 있고..
엠파스의 파장은 그다지 크지 않고 있다.


암튼 이래저래 싸움은 2라운드로 넘어간다..

다음 강력한 주자는 "구글"이다.

우선 많은 블로거에서 제기된 문제를 하나 짚고 넘어가면..

구글은 세계적으로 가장 거대한 검색업체이다.
2005년 1분기 통계로.. 구글의 세계시장 점유율은..
"51%"로 절반이 넘는다..

그런 통계를 싹 무시하는 나라가 딱 하나있다..
바로 대한민국..!!
대한민국에서 구글의 점유율은 1.6%(코리안클릭/2005년 12월)이다.
반면 네이버는 한국에서 68.72%다..

왜 전세계의 절반을 차지하는 구글이 한국에서 이렇게 낮은 수치를 지닐까?

그 이면에는 위에서 살펴본 한국의 포털업체들이
폐쇄적인 robots.txt정책을 가지고 있다는데 큰 원인이 있다..
(* 물론 문화적 환경이나 인터넷 인프라의 차이점도 존재한다.)

하지만 만약 구글에서 네이버의 지식검색 서비스를 검색할 수 있다면..
지금보다 훨씬 많은 사람이 구글을 사용할 것이고..

네이버 블로그를 검색할 수 있다면?
물론 더 많은 사람이 구글을 이용할 것이다.


하지만.. 현재로썬 한국의 포털들은 대부분 그것을 막아버렸다.
즉 "구글"은 자사의 '악해지지 말자'라는 규칙을 준수하느라..
robots.txt정책을 완벽하게 존중하는 정책을 가지고 있다..


(네이버측이 말하기로는 robots.txt는 검색서비스를 하면서..
지켜야하는 암묵적인 약속이라고 한다..
그말은? 이게 꼭 지켜야 하는 강제규약은 아니라는 뜻도 된다)

그런탓에 구글은 한국의 대부분의 포털에서 제공하는..
지식검색/블로그 모두를 검색할수가 없다..

세계에서 가장 검색결과를 잘 찾아주기로 소문난 구글이지만..
한국에서만은 그럴수 있는 조건이 안된다는 뜻이다.


이렇게해서.. 정당한 게임이 되는 걸까?



문제가 되는건 [개방성]을 중요시해서 발전하는 웹이..
한국에선 점점 폐쇄성을 지니고 있다는 것이며..
그 이면에는 대형 포털의 정책이 있다.


그런 상황에서 엠파스는 robots.txt를 무시하고..
네이버와 다음 등의 글을 모두 검색 가능하게 한것이다.


이게 분쟁의 원인이며, 이 글을 적는 원인이기도 하다.
싸움은 아직도 진행중이다.


물론 네이버의 입장은 따로 있다.
네이버는 단순히 정보를 검색해서 결과를 제공하는 검색업체가 아니라..
그 정보를 재가공해서 보기쉽게 이용자에게 제공한다.

그런 탓에 자사가 힘들여 제공하는 정보를 얻는 이용자를..
더 네이버 안에 묶어 두고 싶은 것이다.

(지식 검색이라는 아이디어는 처음 한겨레신문의 홈페이지에서..
나왔고.. 적용되었지만.. 결국 이걸 성공시킨건 네이버의 능력이긴 하다.)



그런 중에.. 구글의 한국에 정식으로 지사를 설립할꺼란 얘기도 흘러나왔다.
거기에는 R&D(연구 개발센터)를 설립할꺼라는 루머도 포함된다.


네이버와 엠파스는.. 구글이 들어오면.. 서로 상대방이 피해를 볼꺼라면서..
자기들은 괜찮을꺼라고 말다툼을 하고 있다..
내 생각은 둘다.. 그다지 괜찮을꺼 같진 않다..



근데.. 이런와중에 좀 이상한 사건이 여기서 터졌다.
(물론 맥략에서는 연관이 없으나..
이름을 한참 높이고 있는 '구글'과의 사건이라 코멘트를 단다.)

바로 "웃대 vs 구글"사건..

간략한 개요를 설명하면 이렇다.
유머를 제공하는 "웃긴대학(웃대)"는 구글AdSense라는
광고서비스를 자사의 웹에 제공했는데..
구글이 원래 제공해야 하는 "돈"을 주지 않는다고 폭로(!)한 것이다.

이 서비스는 구글AdSense에 가입한 사용자가 자신의 웹에..
"AdSense"측에서 제공한 광고를 노출시키고..
그걸 다른 유저가 클릭할 경우..
일정 수수료를 웹서비스를 하는 사람에게 지급하는 서비스이며..
구글의 대표적인 수익원중에 하나이다.

(* 요즘 다음 카페에도 등장한 특정 단어에 매칭되는
광고를 보여주는 서비스이다)


구글측은 웃대측이.. "부정클릭"을 했다는 증거가 있다고 하면서..
지급을 거부했는데.. 증거는 자사의 기밀이라고 하며, 공개를 거부했다.
(물론 그 이유는 증거를 제공할 경우..
다른 사용들이 그걸 이용해서 악용할 우려가 있다는 것이다.
이 모든 조항은 약관에 정확하게 명시되어 있다)

웃대측은 초기에 클릭을 유도한 글을 올렸지만..
3일만에 지웠다고 하면서 (물론 클릭을 유도하는건 명백한 약관위반이다)..

이후에 발생한 부정클릭의 증거를 내놓든지..
아니면 쌓인돈은 지급하라고 하면서..
그렇지 않으면 소송을 걸겠다고 하고 있고..

위의 모든 사건은 현재 진행중이다.


[네이버 사전의 robots.txt정책]



이제 정리해보자..
포털도 돈을 벌기 위한 기업이고..
회사의 이익을 극대화하기 위한 자사의 정책은 충분히 존중받아야 한다.


[구글의 robots.txt정책]


이건 누가 옳거나.. 잘못됐다고만 생각할 문제는 아니다.
네이버는 자사가 힘들게 쌓아올린 인프라라고 말한다.
그걸 쌓아올린건 결국 네티즌이긴 하지만.
그런 틀을 만든건 역시 네이버이다.

하지만 말이다..
네이버는 다소 아이러니한 상황에 직면한건 사실이고..
이게 네이버가 도덕적이지 못하다는 반증이 되는것도 사실이다.

왜 국내 최고의 포털이.. 정당하지 못한 느낌을 가지게 하는걸까?
대기업도 아닌.. IT기업이 말이다.


앞으로 구글이 한국에 정식으로 들어오게 되면..
어떤 서비스를 시작할지는 많은 사람에게 중요 관심사이다.

'웃대'사건만해도.. 구글의 대응이 좀 한심스럽지만..
한편으로는 유명세를 치르고 있는 중이란 생각도 든다.

네이버에게 이런 질문을 던저본다.

만약 내가 네이버의 블로그를 쓰고 있고..
난 내 블로그를 모든 검색엔진에서 검색가능하게 하고 싶다면..
그런 사람이 나혼자 뿐이 아니라.. 숫자가 아주 많다면..
그게 가능한지??
애초에 검색불가를 하게 하는 것이 아니라..
개별 사용자에게 [설정할 수 있는] 권한을 줬아야 옳은게 아닐까?


------------------------
엠파스의 열린검색에 관한 블로그는 아래를 따라가면 된다.
:: http://blog.empas.com/empas/list.html

구글의 robots.txt에 관한 정보
:: http://www.google.com/intl/ko/faq.html#robots

김중태문화원의 [구글이 한국에서 성공할 수 없는 이유]
:: http://www.dal.co.kr/blog/2006/01/20060108_spotnews20060106.html

네이버&다음의 robots.txt정책에 대해서 구글에서 살펴보려면..
검색어는 :: [robots.txt site:naver.com]이다.
물론 다음은 :: [robots.txt site:daum.net]이다.

robots.txt에 대한 자세한 정보를 알고 싶으면 이 링크를 따라가면 된다.
:: http://www.robotstxt.org/wc/robots.html

웃대 vs 구글 관련기사
:: http://www.hani.co.kr/arti/science/internet/96451.html