Difference between r1.16 and the current
=== Search Engine, Portals, and what, ===
[[Attachment(Jerry_Yang_and_David_Filo.jpg,width=250,align=right,caption="Yang and Filo",selflink)]]
이와 같은 성공은 뛰어난 머리와 가슴을 가진 젊은이들과 Internet이라는 기술에 놀라면서 그 상업적인 잠재력을 믿게 된 벤처기업 투자가들로 하여금 잇따른 회사의 설립을 시도하도록 한다. 이 과정에서 대표적으로 관심을 끈 분야는 search engine 기술이었는데, Yahoo의 수작업 분류에 비해서 특별하게 고안한 프로그램 (흔히 이를 bot이라고 한다)을 통해, 세상의 웹사이트들을 검색하여 분류를 하고, 이를 사용자들의 검색어와 연관지어 소개해 줌으로써 Yahoo가 불렀던 백만 사용자의 힛트를 노린것이다. 테크놀로지를 구현하는데 있어서 약간의 차이는 있을 수 있지만, 이런 과정에서 생긴 Search engin들로는 !Aliweb; !WebCrawler; !Lycos, !Excite, Infoseek, inktomi, !AltaVista 등등이 있다[[FootNote(서치엔진 자체를 놓고 볼 때에는 FTP서버들의 파일 list들을 검색해 주는 Archie, Gopher의 콘텐츠를 검색해 주는 Veronica 등이 먼저 있었으나, 이들은 WWW의 검색엔진은 아니었다. 현재 서치엔진의 리스트는 WikiPedia:List_of_search_engines 를 참조.)]]. 이 회사들은 곧 서치엔지과 함께, 이메일, 뉴스 등의 서비스를 포괄적으로 모아서 서비스하는 것이 사용자들을 모으는데 도움이 되겠다고 판단하여, portal 서비스로 변화하거나 포털서비스를 병행한다.
왜 서치엔진이 발전하였는가,에 대한 질문에는 사용자가 가장 많이 몰리기 때문이라는 답이 적당할 듯 하다. 사용자가 많이 몰리게 되면 위에서 언급한 광고수익을 내기 좋은 환경이 되고, 이 사용자를 잃지만 않도록 하면, 지속적인 경영이익을 낼 수 있는 수익모델을 가진 사이트를 운영할 수 있다. 따라서 서치엔진 기술의 개발은 90년대 말에 굉장히 중요한 사업분야가 되었고, 현재에도 그러하다. 그러나, 이 대답은 서치엔진 사업에 뛰어드는 사람에게는 정답이 될 수 있어도 사용자에게는 좀 다른 답을 필요로 한다.
위에서 언급한 ''개방성''은 매우 중요한 의미를 갖기 때문에 조금 더 언급하려고 한다.
1.1. Search Engine, Portals, and what, ¶
1993-4년 쯤이 되면서부터, 그리고 본격적으로 Mosaic을 지나 Netscape가 PC를 사용하는 사람들로부터 인스톨 되면서부터, 이 기술이 상업적으로 대단한 가치를 낼 것이라는 기대를 하기 시작하였다. 모든 것이 그렇듯이 시대의 흐름에 반대하는 소리가 있기는 하였지만 (reference 필요), 이와 같은 흐름은 막을 수 없는 것이었다. 대표적으로 yahoo.com이 탄생하였다. Stanford 대학에서 박사과정을 하고 있던 Jerry Yang과 David Filo는 "Jerry's Guide to the World Wide Web" 라는 사이트를 세워 사람들이 사용하도록 하였다. 이 사이트는 다른 사이트들에 대한 간략한 정보와 사이트들을 목적에 따라서 분류해 놓은 웹페이지였는데, 이들은 USENET의 newsgroup 등을 통해 싸이트 정보의 집적소가 필요함을 들어 자신들에게 이메일로 URL과 사이트의 내용을 알려주면 분류작업을 하겠다고 하였다. yahoo로 이름을 바꾼 이 사이트는 곧 불길과 같은 반향으로 일년이 지나지 않아 백만 히트를 기록하게 된다. 이 사이트의 상업적인 잠재력을 알게 된 두 사람은 곧 벤처 기업의 투자로 회사를 설립하고, 약 일년 후 (1996) 주식회사로 상장하게 된다. Yahoo는 90년대 말로 가면서 Portal 서비스를 하게 된다.
1.2. Google의 등장 ¶
구글이 성공하게 된 요인으로 먼저 꼽히는 것은 간단한 인터페이스와 사용방법, 그리고 광고의 자제에 있었다. 현재 알려져 있는 회사의 모토 중의 하나인, "You can make money without doing evil", "You can be serious without a suit," 그리고 "Work should be challenging and the challenge should be fun."의 구절은 바로 이 정신을 말하는 것으로, 회사수익을 위해서 도전적으로 일을 하되, 그것이 궁극적으로 돈만을 위한 일이어서는 안된다는 것을 표방하는 듯 하다. 사실, 구글이 그렇게까지 성공하기 전에는 마지막 순간에는 "광고를 해야하나"라는 생각을 하고 있었다고 한다[4]. 이와 같은 정신은 아마도 ARPANET으로 시작되고 나서부터 전해져 온 사용자를 존중해 주는 분위기를 반영한 것으로, 이것이 많은 사람들을 어필한 것으로 생각된다.
- Netscape.com (America Online)
- Go.com (Walt Disney)
- Excite.com
- @Home (AT,T)
- Lycos (CBS)
1.3. 한국의 서비스 ¶
한국의 서치엔진은 1996년 무렵부터 개인이 개발품을 발표하면서부터 시작되었다. 까치네, 와카노, 모찬니 등등의 검색엔진 등은 이 시기에 등장했던 서치엔진들이었다. 이 직후, 외국의 서치엔진 회사들이 한국에 들어오기 시작하면서, Yahoo, Korea; Lycos, Korea; Altavista, Korea 등이 등장하면서 점차 검색엔진 회사들이 본격적으로 생겨나기 시작하였다. Empas.com은 이 시기에 생겨난 검색엔진으로 빠른 검색속도로 주목을 받았지만 곧 naver.com이 선두에 서게 된다.
2. 포털 서비스: 인터넷의 Open architecture에 대해서 ¶
The success of the World Wide Web, itself built on the open Internet, has depended on three critical factors: 1) unlimited links from any part of the Web to any other; 2) open technical standards as the basis for continued growth of innovation applications; and 3) separation of network layers, enabling independent innovation for network transport, routing and information applications. Today these characteristics of the Web are easily overlooked as obvious, selfmaintaining, or just unimportant. All who use the Web to publish or access information take it for granted that any Web page on the planet will be accessible to anyone who has an Internet connection, regardless whether it is over a dialup modem or a high speed multi-megabit per second digital access line.
- Berners-Lee, in http://dig.csail.mit.edu/2007/03/01-ushouse-future-of-the-web
이 때 사용된 원칙은:
- 각각의 지역 네트워크는 인터넷에 합류하기 위해서 부가적인 작업을 하는데신 지역 네트워크 고유의 어플리케이션을 개발하도록 디자인한다.
- 각 네트워크는 gateway를 세워(설치하여) 네트워크 외부와 연결될 수 있도록 한다. gateway는 TCP/IP 규격에 의해서 보내지는 패킷들을 전송할 수 있는 소프트웨어가 설치된 큰 규모의 컴퓨터이다.
- gateway의 소프트웨어는 패킷의 흐름만을 전송/수신할 뿐 그 내용에 대해서는 중립적이도록 한다. 이 정책은 많은 량의 정보를 주고 받을 수 있도록 하기 위한 것이었지만, 다른 한편으로는 규제, 검열 등이 gateway의 기능이 되지 않도록 하였다.
- gateway 사이를 (망) 다니는 패킷들은 특정 회선을 사용하는 것이 아닌, 가장 빠른 회선이 사용되어 전송될 수 있도록 한다. 따라서, 물리적으로 가까운 컴퓨터 간의 통신도 최단의 회선에 부하가 걸리면, 보다 빠른 회선을 대체하여 사용되도록 하고, 이 정보들이 궁극적으로 목적지인 컴퓨터에 도달하도록 한다. 정보가 패킷이라고 불리는 이유는 이렇게 다중화된 회선으로 정보를 보내기 위해서 원래의 정보를 작게 쪼개기 때문이다. 쪼개진 정보가 가장 효과적인 회선을 통해서 목표의 컴퓨터에 도달하면, 패킷들이 다시 결합되어 보내기 전의 정보가 된다.
- gateway로 지정된 컴퓨터들 간의 통신은 언제나 열려 있게 되며, 어떤 종류의 정보라도 차별없이 유통되도록 한다.
http://youtube.com/watch?v=cWt0XUocViE
Vint Cerf 인터뷰:
http://youtube.com/watch?v=-QMEf3FfuoI
"That's not what we call Internet at all," says Sir Tim. "That's what we call cable TV." -- Cohen, A. New York Times
- portal 서비스의 이면
- 앞서 말한 것처럼 Search engine은 인터넷의 개방성을 토대로 만들어지는 수 많은 웹페이지들을 사용자의 요구와 상황에 맞게 골라서 적절하게 찾아주는 역할을 하는 것이다. 네이버를 이용해서 "망중립성" 서치를 해보면 블로그, 카페, 전문자료, 지식인, 책, 이미지, 뉴스, 웹문서 분야의 순서로 서치결과가 나타난다. 이 중에서 블로그, 카페, 전문자료, 지식인의 정보 내용은 모두 Naver라는 회사 내의 서버에 위치한 정보들일 뿐이다. 따라서, 사용자가 서치한 내용은 인터넷이 아닌 -- 어느 한 회사에 귀속된 정보일 뿐인것이다. 물론 그 정보가 유용하다면 그 가치가 있겠으나 인터넷이 개방성에 기초해서 누구나 참여하여 만들어지는 보이지 않는 공동체라고 한다면, naver의 사용자는 그 공동체에서 지식, 정보를 추구하는 것이 아닌 어느 한 회사가 집적한 (사용자가 집적한 . . .) 정보만을 사용하고 있는 셈이 된다. 이렇게 생각하면, 사용자는 어느새 광고의 단가 측정에 단위로서의 역할 밖에 기여하는 바가 없는 "손님(customer)"이 되어 버린다.
- naver.com은 또한 언론으로 취급되어 (hkim blog 참조) 종종 국회나 뉴미디어 비판자들의 "포털들이 언론으로서의 역할을 다 해야 한다"는 성토를 받는다. 그런데, 이와 같은 상황을 바라보는 시각에 문제점이 있다.
- 이 블로그의 글은 바로 이와 같은 현상을 단적으로 나타내 준다. 이 글의 내용은 블로그 주인이 다움의 블로그에서 사용불가 판정을 받은 것, 심지어 댓글 또한 불가해진 것에 관한 것이다. 그 이유는 다움의 블로그 사용에 대한 비판이 심했다는 것 (블로그 주인에 의하면) 이다. 이는 하나의 에피소드이므로 다움에 국한되는 현상이라고 말하기 어렵다. 즉, 다움이건 네이버이건 블로그의 글은 바로 블로그 주인 자신의 것이 아니라 타자화되어 버리고 만다. 즉, Your work = Their properties 라는 셈이다. 애초에 블로그 주인은 자신의 글이 상품화 되는 가치보다는 아마도 생활에서의 활력소, 취미생활의 연장 등에 가치를 두고 블로그를 기록하였다고 본다면, 자본이 인터넷을 대치하여 생겨난 이 에피소드 또한 스톨만의 경우와 다르지 않다고 하겠다. 그렇다면 다시 한번 이야기 해 볼 것은 다움이나 네이버 등 한국의 포털이 인터넷의 발전에 기여하는가이다. 인터넷이 무엇인가에 따라서 의미가 달라지겠지만, 적어도 필자가 보기에는 인터넷 = 말할 자유의 공간, 통제 무의 공간, 상호협조하여 지식을 쌓아가는 공간 등등을 무색하게 만드는 상황들인 것이다. 따라서, 인터넷 본연의 "open architecture" 혹은 "openness"는 우리나라 포털에서는 통용되지 않는 개념이다. 이와 같은 개념이 오직 사용되는 예는 바로 포털을 사용하라는 광고에서의 "니가 주인이다"라는 문구에서나 나타나지만, 이는 허위에 가까운 내용이라고 해도 문제 없다.
- 또 다른 하나의 예: google이나 그 외의 서치엔진을 사용하면 naver.com의 생활에 도움이 되는 정보는 검색이 안된다. 따라서, google의 서비스는 한국에서는 잘 먹히질 않는다. 구글 등과 같은 서치엔진은 "정보의 바다"에서 검색을 한다는 것을 가정하고 돌아가도록 디자인되어 있다. 서치엔진이라고 할 수 있는 소위 "bot"들이 하는 것은 바로 이 "정보의 바다"를 돌아다니며 자동으로 정보를 수집, 인덱스하는 것이다. 수집, 인덱스의 알고리듬이 서로 다를 지라도 모든 bot들은 기본적으로 이를 행한다. 이와 같은 작업은 bot들이 방문하는 웹페이지의 트래픽을 유발시키게 된다. "원치 않는 웹 페이지에 대한 색인"을 막기 위해서 인터넷 커뮤니티는 "robots.txt"라는 테크놀로지를 사용한다. 가령, 내가 public_html 디렉토리 내의 personal 디렉토리에 수록되어 있는 문서들을 보호하고 싶다면, robot.txt를 이용하여
User-agent: * Disallow: /personal/
와 같이 기록하여 두면 된다. bot들은 이제 personal 페이지에 대한 privacy선언을 존중하여 (아무런 강제가 없다), 검색, 인덱스에서 생략하게 된다. 구글의 서치 결과에서 네이버의 지식인 내용이 나타나지 않는 것은 바로 네이버가 지식인 서버에 disallow를 걸어 두었기 때문이다. 네이버의 주장은 "These are my properties. Don't touch it"이다. 어떻게 생각하면 당연한 것일 수도 있다. 그러나, 필자가 위해서 언급한 "openness"의 관점에서 보면, 이와 같은 행위는 부당한 것이다. 네이버는 인터넷을 자사의 property로 만들고 있는 것이고, 이렇게 된 상황은 사용자에 의해서 만들어진 정보가 결국은 타자화되고 인터넷이라는 매체를 통해서 원활하게 공급되지 않는 것을 의미한다.
- Naver의 주장은 이렇게 보면, "leave me alone, I don't want to be any part of the internet. I am the internet!"이라고 주장하는 측면이 있다. 그리고 이런 측면에서 보면, naver는 naver서비스를 이용해서 publish를 하지 않고 있는 콘텐츠들에 대한 차별을 함으로써 인터넷의 neutrality 혹은 개방성에 동참하지 않는다고 할 수 있다. 따라서, 아주 좋은 내용이라도 naver blog가 아닌 다른 블로그를 사용하면 naver의 검색에 나타나고 사용될 확율이 떨어지게 된다. 더 큰 문제로는 혹자가 naver의 서비스를 이용해서 좋은 콘텐츠를 만든다고 하더라도 naver 내의 사용자들끼리만 검색되고 사용되는 서비스가 되어버리고 만다 (google.com과 같은 서치엔진으로 "웹2.0"을 검색해 보면, blog.naver.com의 글은 전혀 나타나지 않는 것을 알게 된다).
- 따라서 위와 같은 입장의 포탈서비스 제공회사가 망중립을 ISP에게 요구하는 것은 약간은 이중적인 것이다.
- 앞서 말한 것처럼 Search engine은 인터넷의 개방성을 토대로 만들어지는 수 많은 웹페이지들을 사용자의 요구와 상황에 맞게 골라서 적절하게 찾아주는 역할을 하는 것이다. 네이버를 이용해서 "망중립성" 서치를 해보면 블로그, 카페, 전문자료, 지식인, 책, 이미지, 뉴스, 웹문서 분야의 순서로 서치결과가 나타난다. 이 중에서 블로그, 카페, 전문자료, 지식인의 정보 내용은 모두 Naver라는 회사 내의 서버에 위치한 정보들일 뿐이다. 따라서, 사용자가 서치한 내용은 인터넷이 아닌 -- 어느 한 회사에 귀속된 정보일 뿐인것이다. 물론 그 정보가 유용하다면 그 가치가 있겠으나 인터넷이 개방성에 기초해서 누구나 참여하여 만들어지는 보이지 않는 공동체라고 한다면, naver의 사용자는 그 공동체에서 지식, 정보를 추구하는 것이 아닌 어느 한 회사가 집적한 (사용자가 집적한 . . .) 정보만을 사용하고 있는 셈이 된다. 이렇게 생각하면, 사용자는 어느새 광고의 단가 측정에 단위로서의 역할 밖에 기여하는 바가 없는 "손님(customer)"이 되어 버린다.
to be updated:
- 열린검색? Where did it go?
- robots.txt 기술과 (다시) 인터넷의 개방성 . . .
- 포털 서비스의 변화와 web2.0 트렌드 . . .
- web2.0 포털 서비스 이용하기 . . .
- thick-tail marketing?
이 문제는 우리나라 소프트웨어 산업의 장래가 걸려 있는 것입니다. 윈도즈를 사용 안하는 이용자의 씨를 말려 놓으면, 소프트웨어 개발의 수요가 오로지 윈도즈 용으로만 쏠리게 되고, 이 상황에서는 우리 업계가 아무리 발버둥 쳐본들 MS의 “하청업체” 수준 을 넘어설 수 없습니다. 지금 크게 부상하고 있는 모바일 디바이스, TV 와 인터넷을 연계하려는 통합융방(BCN) 산업, iptv, T-commerce, triple play 등 정보통신의 거의 모든 첨단 산업에서 그 열쇠를 쥐고 있는 것이 “웹 브라우저”입니다. 지금 같은 인터넷 환경이 계속되면 이 모든 분야가 MS 잔치판으로 되는 것입니다.
- [1] 서치엔진 자체를 놓고 볼 때에는 FTP서버들의 파일 list들을 검색해 주는 Archie, Gopher의 콘텐츠를 검색해 주는 Veronica 등이 먼저 있었으나, 이들은 WWW의 검색엔진은 아니었다. 현재 서치엔진의 리스트는 List_of_search_engines를 참조.
- [2] 텔레비전에 광고를 내서 수익을 얻는 모델은 어디서 시작되었는가, 라디오에서였다. 라디오 방송국이 생긴 이유는 바로 이와 같은 비지니스 플랜이 있었기 때문이다. 그렇지 않았다면, 대규모 자금을 들여서 방송국을 세우지는 않았을테고, 지금과 같은 방송의 번영도 조금은 늦춰졌을지 모른다. 따라서 초기의 TV 방송국은 대개 라디오 방송국이 건립을 하였고, 라디오 방송의 비지니스 모델을 차용하였다.
- [3] bibliometrics라는 학문분야에서 시도하는 network 분석법이 적용되었다고 알려져 있다. 관련논문은 다음의 URL에서 볼 수 있다. The Anatomy of a Large-Scale Hypertextual Web Search Engine
- [4] Vise, D. A., , Malseed, M. (2005). The Google Story: Delacorte Press.
- [5] http://www.sec.gov/Archives/edgar/data/1288776/000119312507044494/d10k.htm#toc70021_11 참조.
- [6] 그림은 AdSense를 이용하여 사용자가 Google로 부터 받은 수표이다.
- [7] 위에서 언급한 애플이나 마이크로소프트 등의 네트워크는 이해를 돕기 위해서 사용된 예일 뿐 현실은 그렇지 않았다. 당시는 아직도 슈퍼컴퓨터로 알려진 컴퓨터들이 소수 주변의 컴퓨터와 연결 (대개는 해커, 프로그래머들이 개발한 소프트웨어로) 되어 있었고, 이 슈퍼컴퓨터들이 서로 통신을 한다는 것이 쉽지는 않았다. 따라서 당시의 ARPNET 연구자들은 이를 해결하기 위해서 ''open architecture'' 방식의 기술을 도입하게 된것이다.
- [8] 혹은 그가 자주 명시하지 않았을 수 있다. 참고자료:Upload new Attachment "01-ushouse-future-of-the-web.pdf" 혹은 http://dig.csail.mit.edu/2007/03/01-ushouse-future-of-the-web 참조.
- [9] http://www.nytimes.com/2006/05/28/opinion/28sun3.html 기사 참조
Vise, D. A., , Malseed, M. (2005). The Google Story: Delacorte Press.
Battelle, J. (2005). The Search: How Google and Its Rivals Rewrote the Rules of Business and Transformed Our Culture: Portfolio.
Brin'e lecture at Berkley
Brin, S., , Page, L. (1998). The anatomy of a large-scale hypertextual Web search engine. Computer Networks and ISDN Systems, 30(1-7), 107-117.