Mittwoch, 21. Dezember 2011

I/O Profiling

Hier einige Ideen, um das I/O - Verhalten einer Applikation zu analysieren. Die meisten Ansätze basieren auf der intelligenten Analyse von STRACE-Ausgaben:

http://www.linux-mag.com/id/7718/
http://www.thegeekstuff.com/2011/11/strace-examples/
http://sattia.blogspot.com/2010/03/intro-to-io-profiling-of-applications.html

Nützliche Optionen für STRACE sind:
  • -T: Show  the time spent in system calls.
  • -tt: A time stamp is printed that includes microseconds.
  • -e trace=file: Trace  all  system  calls  which  take  a  file  name  as  an  argument.
Ein Beispiel für den Einsatz sind diese Projekte:

http://code.google.com/p/ioapps/
http://www.linux-mag.com/id/7730/

Dienstag, 6. Dezember 2011

eMails aus dem FSOC-Cluster

Die RX600 unterstützt jetzt den Versand von eMails an HPI-Adressen, so dass sie sich über langlaufende Jobs selbst benachrichtigen können.

Bitte beachten sie die persönliche Haftung für Spamversand, welche in den Nutzungsbedingungen der FSOC-Umgebung aufgeführt ist.

Zwischenpräsentation

Laut Umfrage hat sich ein finaler Termin für die Zwischenpräsentation ergeben.
Sie wird also stattfinden am
Mittwoch 21.12. um 15:30h.


Weitere Information (Raum etc.) folgen später ...

[Update] Der Raum steht fest:

A 2.2.

Mittwoch, 30. November 2011

I/O Leistung

Da die ersten Gruppen mit der Betrachtung der I/O-Leistung im FutureSOC beginnen, hier einige Kennziffern für das LSP4MAT Share auf der RX600, welche via FibreChannel an das FSOC-SAN angeschlossen ist. Die Messergebnisse wurden uns freundlicherweise von Stephan Richter zur Verfügung gestellt, alle Angaben sind in Kilobyte.


Wie man sehen kann, ist die Leseleistung relativ konstant, so bald man eine ausreichende Blockgröße verwendet. Peak-Werte für das Lesen erreicht man nur ab einer Blockgröße von 1MB. Es gibt überraschend wenig Unterschiede zwischen sequentiellen und zufälligen Lesen. Die Schreibleistung ist konstant schlecht.

Achten sie bitte auf diesem Aspekt bei ihren Experimenten. Wer sich für die Semantik der Kennzahlen interessiert - alle Tests wurden mit iozone durchgeführt.


Montag, 28. November 2011

OpenCV 2.3.1 verfügbar

Aufgrund der Arbeit von Benjamin Karran ist OpenCV 2.3.1 jetzt in kompilierter Form als Bibliothek auf der RX600-Maschine verfügbar. Die Installation befindet sich unter /LSP4MAT/data/OpenCV-2.3.1.

Um ihre Applikation mit der Bibliothek zu linken, empfehlen sich folgende Einträge in der persönlichen .bashrc:


export PKG_CONFIG_PATH="$PKG_CONFIG_PATH:/LSP4MAT/data/OpenCV-2.3.1/lib/pkgconfig"
export OpenCV_DIR=/LSP4MAT/data/OpenCV-2.3.1
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/LSP4MAT/data/OpenCV-2.3.1/lib
export PATH=/LSP4MAT/data/OpenCV-2.3.1/lib:${PATH}


Terminfindung Zwischenpräsentation

Ich habe versehentlich falsche Zeiten angegeben.
Hier nun die korrigierte Umfrage:

http://www.doodle.com/ccc9xn8a4z2mrmxc

Donnerstag, 24. November 2011

Neue Software / OpenCV

Zusätzlich zu den bestehenden Paketen ist jetzt auch Valgrind installiert.

Ein aktuelles OpenCV 2.3 steht als Debian-Paket nicht zur Verfügung, daher kann sich jede Gruppe eine eigene Variante bauen. Die dafür notwendigen Pakete sind entsprechend der Build-Anleitung verfügbar:

Wir bitten darum, die Compile-Optionen zu dokumentieren, so das später eine einheitliche OpenCV für das Gesamtprojekt erstellt werden kann.

Mittwoch, 23. November 2011

Neue Software verfügbar

Es gibt auf der zentralen Maschine für das Seminar (RX600S5-256G.FSOC.HPI.UNI-POTSDAM.DE) auf Wunsch einiger Studenten nun folgende Software:

  • OpenCV (2.1.0) + OpenCV Python bindings
  • Subversion (1.6.12)
  • Git (1.7.2.5)
  • G++ (4.4.5)
  • Python (2.6.6)
  • CMake (2.8.5)
  • Boost library (1.42) und Boost Build (2.0)
Weitere Wünsche bitte direkt an mich per eMail.

Terminfindung Zwischenpräsentation

Hier die Doodle-Umfrage zur Terminfindung für die Zwischenpräsentation und anschließendem Grillen (bitte schön warm anziehen!).

http://www.doodle.com/ccc9xn8a4z2mrmxc

Bitte tragt euch bis spätestens 04.12. ein, damit wir entsprechend ein Raum finden und Vorbereitungen treffen können.

Mittwoch, 16. November 2011

FSOC wieder in Betrieb - Daten verfügbar

Wie sich bereits herumgesprochen haben dürfte, ist das FSOC-Labor wieder im Betrieb. Software-Wünsche sind bitte direkt an mich zu stellen. Die Testdaten befinden im Verzeichnis

/LSP4MAT


Hr. Rabe stellt die Infrastruktur nochmals um, womit dieses Verzeichnis momentan nur auf folgender Maschine verfügbar ist:

RX600S5-256G.FSOC.HPI.UNI-POTSDAM.DE

Das gleiche Verzeichnis wird in den nächsten Tagen ebenfalls auf dem Condor Submission Host zur Verfügung gestellt:

CONDORSH.FSOC.HPI.UNI-POTSDAM.DE

/Peter Tröger.

Anlegen von Konfigurationsdateien

Im Rahmen des Seminars wäre es für die Weiterverwendbarkeit der entwickelten Software praktisch, wenn jede Gruppe ihre Konfiguration der Software in einem einheitlichen Format anlegen würde.
Die Konfiguration sollte einem einfachen key=value Schema genügen. Jeder Parameter muss detailliert dokumentiert werden, sodass seine Wirkung und sein Definitionsbereich nachvollziehbar sind.
Es soll ein einfaches Textformat verwendet werden (angelehnt an die Java .properties Files), z.B:

# Konfiguration: software_standard.properties
#

#
# Parameter 'software.modul.key' bewirkt, dass ...
... ...
# Zulässig sind Float-Werte von 0.0 bis 1.0
# Wird der Parameter niedrig gewählt, so verhält sich die Software ...

# Die beste Einstellung für ... liegt bei ...
software.modul.key=0.75


Zum Testen und zur Berücksichtigung der Eigenschaften der Eingaben an die Software können mehrere Konfigurationen angelegt werden, sog. Profile. Die Dateinamen lauten dann entsprechend: 'Softwarename_Profilname.properties'. Also z.B. : 'ocr_overlay.properties', 'ocr_scene.properties', um zu unterscheiden, dass die eine Konfiguration für Overlay-Texterkennung und die andere für Szene-Texterkennnung optimiert ist. Optional kann zum Testen hinter dem Profilnamen auch noch eine Nummer oder ein Name für den entsprechenden 'Run' angegeben werden.

Die Konfigurationen sollen für die erste Gruppe (die u.a. Condor-Jobs erzeugen soll) verfügbar gemacht werden. Dafür richten wir noch ein oder Google-Doc, -Spreadsheet o. ä. ein.


Dienstag, 8. November 2011

Datensets

Solange das FutureSOC Storage System außer Gefecht ist haben wir eine Kopie der Inputdaten bei uns lokal abgelegt:

Testvideo:
http://www.yovisto.com/labs/testdata/mg33.mov (14GB)

Video Infos:
Video Codec: VC-3 (aka Avid DNxHD)

General
Complete name : mg33.mov
Format : MPEG-4
Format profile : QuickTime
Codec ID : qt
File size : 13.6 GiB
Duration : 16mn 2s
Overall bit rate : 121 Mbps
Encoded date : 2007
Writing application : Lavf53.4.0

Video
ID : 1
Format : AVdn
Codec ID : AVdn
Duration : 16mn 2s
Bit rate mode : Constant
Bit rate : 14.1 Mbps
Width : 1 920 pixels
Height : 1 080 pixels
Display aspect ratio : 16:9
Frame rate mode : Constant
Frame rate : 25.000 fps
Bits/(Pixel*Frame) : 0.273
Stream size : 1.58 GiB (12%)
Language : English

Audio
ID : 2
Format : AAC
Format/Info : Advanced Audio Codec
Format version : Version 4
Format profile : LC
Format settings, SBR : No
Codec ID : 40
Duration : 16mn 2s
Bit rate mode : Constant
Bit rate : 121 Kbps
Channel(s) : 2 channels
Channel positions : L R
Sampling rate : 48.0 KHz
Stream size : 13.8 MiB (0%)
Language : English


Bag-of-Words Imageset (PascalVOC2010)
http://www.yovisto.com/labs/testdata/VOCtrainval_03-May-2010.tar (1.3GB)

Bag-of-Words Raw Feature Data
http://www.yovisto.com/labs/testdata/rawImageDescriptors.tar (1.0GB)

ICDAR Text Recognition Data
TrailTrain (258 images, 43.3MB)
TrialTest (251 images, 69.6MB)

ARFF Testdata für Testclassifier
http://www.yovisto.com/labs/testdata/Mahout-Data.zip (39MB)

Freitag, 4. November 2011

Condor-Pool wächst

Als kleine Motivation hier der aktuelle Ausbauzustand des Condor-Pools im FSOC-Labor:


peter.troeger@condorsh:~$ condor_status


Name               OpSys      Arch   State     Activity LoadAv Mem   ActvtyTime


condorcm.fsoc.hpi. LINUX      X86_64 Unclaimed Idle     0.000   998  3+06:25:34
condorsh.fsoc.hpi. LINUX      X86_64 Owner     Idle     0.000   998 13+22:57:56
slot10@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:31
slot11@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:32
slot12@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:33
slot13@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:34
slot14@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:35
slot15@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:36
slot16@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:29
slot17@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:30
slot18@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:31
slot19@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:32
slot1@dl980-2.fsoc LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:09
slot20@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:33
slot21@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:34
slot22@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:35
slot23@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:36
slot24@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:29
slot25@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:30
slot26@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:31
slot27@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:32
slot28@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:33
slot29@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:34
slot2@dl980-2.fsoc LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:31
slot30@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:35
slot31@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:36
slot32@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:29
slot33@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:30
slot34@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:31
slot35@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:32
slot36@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:33
slot37@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:34
slot38@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:35
slot39@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:36
slot3@dl980-2.fsoc LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:32
slot40@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:29
slot41@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:30
slot42@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:31
slot43@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:32
slot44@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:33
slot45@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:34
slot46@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:35
slot47@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:36
slot48@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:29
slot49@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:30
slot4@dl980-2.fsoc LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:33
slot50@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:31
slot51@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:32
slot52@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:33
slot53@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:34
slot54@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:35
slot55@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:36
slot56@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:29
slot57@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:30
slot58@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:31
slot59@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:32
slot5@dl980-2.fsoc LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:34
slot60@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:33
slot61@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:34
slot62@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:35
slot63@dl980-2.fso LINUX      X86_64 Unclaimed Idle     0.620  2040  0+00:09:30
slot6@dl980-2.fsoc LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:35
slot7@dl980-2.fsoc LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:36
slot8@dl980-2.fsoc LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:29
slot9@dl980-2.fsoc LINUX      X86_64 Unclaimed Idle     0.000  2073  0+00:21:30
slot10@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:57
slot11@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:58
slot12@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:59
slot13@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:09:00
slot14@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:09:01
slot15@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:09:02
slot16@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:55
slot17@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:56
slot18@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:57
slot19@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:58
slot1@dl980-3.fsoc LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:46
slot20@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:59
slot21@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:09:00
slot22@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:09:01
slot23@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:09:02
slot24@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:55
slot25@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:56
slot26@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:57
slot27@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:58
slot28@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:59
slot29@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:09:00
slot2@dl980-3.fsoc LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:57
slot30@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:09:01
slot31@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:09:02
slot32@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:55
slot33@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:56
slot34@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:57
slot35@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:58
slot36@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:59
slot37@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:09:00
slot38@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:09:01
slot39@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:09:02
slot3@dl980-3.fsoc LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:58
slot40@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:55
slot41@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:56
slot42@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:57
slot43@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:58
slot44@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:59
slot45@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:09:00
slot46@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:09:01
slot47@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:09:02
slot48@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.080  1016  0+00:00:03
slot49@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1016  0+00:00:04
slot4@dl980-3.fsoc LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:59
slot50@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1016  0+00:00:05
slot51@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1016  0+00:00:06
slot52@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1016  0+00:00:07
slot53@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1016  0+00:00:08
slot54@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1016  0+00:00:09
slot55@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1016  0+00:00:10
slot56@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1016  0+00:00:03
slot57@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1016  0+00:00:04
slot58@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1016  0+00:00:05
slot59@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1016  0+00:00:06
slot5@dl980-3.fsoc LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:09:00
slot60@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1016  0+00:00:07
slot61@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1016  0+00:00:08
slot62@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1016  0+00:00:09
slot63@dl980-3.fso LINUX      X86_64 Unclaimed Idle     0.000  1016  0+00:00:10
slot6@dl980-3.fsoc LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:09:01
slot7@dl980-3.fsoc LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:09:02
slot8@dl980-3.fsoc LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:55
slot9@dl980-3.fsoc LINUX      X86_64 Unclaimed Idle     0.000  1362  0+00:08:56
slot10@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  15858  1+00:39:16
slot11@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  15858  1+00:39:17
slot12@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  15858  1+00:39:18
slot13@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  15858  1+00:39:19
slot14@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  15858  1+00:39:20
slot15@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  15858  1+00:39:21
slot16@rx600s5-256 LINUX      X86_64 Unclaimed Idle     1.000  5061  0+00:00:03
slot17@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.590  5061  0+00:00:25
slot18@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:26
slot19@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:27
slot1@rx600s5-256g LINUX      X86_64 Unclaimed Idle     0.000  15858  1+00:38:54
slot20@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:28
slot21@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:29
slot22@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:30
slot23@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:31
slot24@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:24
slot25@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:25
slot26@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:26
slot27@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:27
slot28@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:28
slot29@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:29
slot2@rx600s5-256g LINUX      X86_64 Unclaimed Idle     0.000  15858  1+00:39:16
slot30@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:30
slot31@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:31
slot32@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:24
slot33@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:25
slot34@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:26
slot35@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:27
slot36@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:28
slot37@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:29
slot38@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:30
slot39@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:31
slot3@rx600s5-256g LINUX      X86_64 Unclaimed Idle     0.000  15858  1+00:39:17
slot40@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:24
slot41@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:25
slot42@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:26
slot43@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:27
slot44@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:28
slot45@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:29
slot46@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:30
slot47@rx600s5-256 LINUX      X86_64 Unclaimed Idle     0.000  5061  0+00:00:31
slot4@rx600s5-256g LINUX      X86_64 Unclaimed Idle     0.000  15858  1+00:39:18
slot5@rx600s5-256g LINUX      X86_64 Unclaimed Idle     0.000  15858  1+00:39:19
slot6@rx600s5-256g LINUX      X86_64 Unclaimed Idle     0.000  15858  1+00:39:20
slot7@rx600s5-256g LINUX      X86_64 Unclaimed Idle     0.000  15858  1+00:39:21
slot8@rx600s5-256g LINUX      X86_64 Unclaimed Idle     0.000  15858  1+00:39:14
slot9@rx600s5-256g LINUX      X86_64 Unclaimed Idle     0.000  15858  1+00:39:15
                     Total Owner Claimed Unclaimed Matched Preempting Backfill


        X86_64/LINUX   175     1       0       174       0          0        0


               Total   175     1       0       174       0          0        0

Termine für Seminarbesprechung

Für die Treffen mit den einzelnen Gruppen, haben wir nun folgende Termine festgelegt:

Dienstags
* 09:30 Uhr Gruppe 1 (Basis Feature Extraction)
* 10:00 Uhr Gruppe 6 (Mahout)
* 10:30 Uhr Gruppe 5 (Visual Concept Detection)

Mittwochs
* 09:30 Uhr Gruppe 2 (Face Clustering)
* 10:00 Uhr Gruppe 3 (Text Detection)
* 15:00 Uhr Gruppe 4 (Scenecut-Detection)

Diese Termine gelten bis auf Weiteres, werden also nicht jede Woche neu verhandelt.

Dienstag, 1. November 2011

Terminfindung für Seminarbesprechung

Ab nächster Woche werden wir uns wöchentlich mit den einzelnen Seminargruppen treffen und den Fortschritt der Arbeiten bzw. das weiteres Vorgehen besprechen.
Um die Terminfindung zu erleichtern haben wir ein Doodle aufgesetzt.
Bitte tragt euch gruppenweise ein. Es stehen für Dienstag und Mittwoch jeweils am Vormittag Termine zur Verfügung.

Doodle

Dienstag, 18. Oktober 2011

Anmeldung zum Seminar bis Do., 20.10., 12Uhr!

Wer am Seminar teilnehmen möchte, möge sich bitte bis Donnerstag, 12Uhr in Gruppen zusammenfinden und pro Gruppe als Anmeldung bitte eine Mail mit den Mitgliedern (2-4) an:

harald.sack [at] hpi.uni-potsdam.de und
peter.troeger [at] hpi.uni-potsdam.de

schicken.

Das nächste Seminar findet am Dienstag, 25.10., 9.15 Uhr statt. Dort werden die Inhalte des Seminars präzisiert (abhängig von der Anzahl der schließlich übrig gebliebenen Gruppen) und vorgestellt. Ab dem 1.11., 9:15Uhr starten die einzelnen Gruppentermine.
Die Slides aus den Seminaren sind via slideshare abrufbar (s. rechtes Banner).

Donnerstag, 29. September 2011

Einführungsveranstaltung am 18.10.2011, 9.15 Uhr

Die Einführungsveranstaltung findet am 18.10.2011, 9.15 Uhr im Raum A-2.2 statt.
Wer an dem Seminar teilnehmen möchte, sollte zu diesem Termin bitte anwesend sein, da die Themen kurz vorgestellt werden und über die Organisation informiert wird.

Freitag, 23. September 2011

Large Scale Processing 4 Multimedia Analysis

Multimedia dominiert heute das Internet und ist verantwortlich für dessen enorme Popularität. Videoportale wie YouTube, sevenLoad, hulu oder auch yovisto.com stellen dies tagtäglich unter Beweis. Um Multimediadaten für die Suche im WWW zu erschließen, müssen ihre Inhalte analysiert werden. Zur automatischen inhaltlichen Erschliessung gehören Verfahren, wie z.B. die strukturelle Analyse über Shot Boundary Detection, Video-OCR, Text-Identifikation, Face und Genre Detection. Die dazu eingesetzten Verfahren sind meist sehr speicher- und rechenintensiv. Um jedoch die enormen Mengen an multimedialen Daten effizient verarbeiten zu können, müssen diese Prozesse parallelisiert werden, damit sie auf Hochleistungsrechnern, wie dem HPI Future Soc Lab, verarbeitet werden können.
Die Analysetechniken nutzen maschinelle Lernverfahren, um Inhalte zu erschliessen und Metadaten zu extrahieren. Mithilfe spezieller Frameworks, wie z.B. Apache Mahout, können solche Maschinen-Lernverfahren bereits skaliert und parallelisiert werden. Zur effizienten, ganzheitlichen Verarbeitung von Videodaten müssen aber auch Vorprozesse, wie die Frame- und Feature-Extraktion, skalier- und parallelisierbar implementiert werden.
Das Seminar „Large Scale Processing for Multimedia Analysis“ beschäftigt sich mit hochparallelen Algorithmen mit geeigneter Datenpartitionierung für automatische Analyse und Metadatenextraktion aus Video- und Bilddaten.


Seminarinhalte:

  • Konzeption und Implementierung effizienter Algorithmen zur parallelen Verarbeitung von Bild- und Videodaten:
    • Frameextraktion
    • Feature-Extraktion
  • verschiedene Analysen durch maschinelles Lernen
  • Synchronisation und Vereinigung der Daten
  • Effiziente Parallelisierung und Synchronisation einzelner Prozessmodule
Allgemeine Informationen und Termine:
  • Termine:
    • Dienstag, 9:15 – 10:45, A-2.2
    • Mittwoch, 15:15 – 16.45 Uhr, A-2.2
  • SWS / Belegungspunkte: 4 / 6.0 (benotet)
Leistungserfassung
  • Schriftliche Ausarbeitung zum Vortragsthema
  • Umsetzung einer vorgegebenen Implementierungsaufgabe
  • Präsentation der Ergebnisse