Crawler und Suchtechnologien
Nun bin ich nicht wirklich der Typ der irgendwie alles kann. Eigentlich kann ich nichts richtig. Immer nur ein wenig von allem. Aber gestern hatte ich ein Gespräch mit einem Menschen, dessen Projekt ich an dieser Stelle nicht näher nennen darf und will. Es geht um Suchtechnologien und die berühmt berüchtigten SEO Tools.
Da muss ich dann hören, dass dabei gigantische Datenmengen anfallen werden – “Echt?” Diese Datenmengen müssen dann verwaltet werden. Google macht das mit einer speziellen Speichermethode {eigentlich ist es ein Filesystem} (war das jetzt richtig? ) Namens Big Table. Eine große Tabelle, “fatz!” alles rein und dann regelmäßig wieder alles ausgeben.
An sich nichts schlechtes. Aber wenn man während des Informatikstudiums etwas anderes im Bezug auf Datenbanken gelernt hat wird das schon schwierig. Relationales Datenbankdesign oder Normalisierung haben bisher meinen Lebensweg geprägt.
Alles weitere überlasse ich erstmal den Spekulanten, nur so viel die Technologe gibts bereits seit 1968.
PIG
Das Abfrage Schwein. Yahoo hat eine andere Technologie und setzt Hadoop ein. Ähnlich wie das GoogleFileSystem (GFS) ist Hadoop eine Möglichkeit verteilte Filesysteme abzubilden. Ehemalige Linuxkumpels (http://www.linuxcamp.de) möchten es mir verzeichen aber es scheint mir so wie ein LVM im Internet.
Hat Dir der Artikel gefallen, dann Abonniere den RSS FEED
Tweet This 
Twitter | 
Stumble this or 
Delicious this
