OpenData

Qu'est-ce que c'est ?

• (par la mairie de Nantes)  http://www.youtube.com/watch?v=aHxv_2BMJfw  

Twitts à ce sujet
https://twitter.com/#!/search?q=%23opendata

Différentes sources de données ouvertes
US : http://www.data.gov/
UK : http://data.gov.uk/
FR : http://www.data.gouv.fr/ 


Autres :
FR, SNCF : http://data.sncf.com/
FR, Région : http://datablog.loire-atlantique.fr/

INSEE sources...

Déjà eu envie de se refaire les stats de l'INSEE à la pogne ?
Non ? moi non plus, mais on trouve quand même leurs fichiers en ligne pour exploitation éventuelle :-P


Fichier INDIVIDU, MENAGE et KISH


Il y aurait surement des utilisations intéressantes à en faire.


Pour ce qui est de leur analyse, c'est du dBase, je cite ci dessous l'article de Bodman publié ici (lien).

Base de donnée de l’INSEE
janvier 24, 2010

Un peu de Datamining aujourd’hui, quelque chose de très court, mais qui sera sans doute utile à certain.

Cela concerne la lecture de fichier dBase, car sachons le l’INSEE met à disposition un certain nombre de données au format dBase.

Le premier réflexe face à ce genre de fichier serait de l’ouvrir avec un tableur et d’en sortir directement les valeurs nécessaires. Malheureusement, deux problèmes se posent, la lenteur du programme face à des fichiers de très grande taille, et la limite des tableurs en nombre de lignes.

Pourtant, il existe une méthode bien plus rapide (et bien plus fun !), l’utilisation d’un script, pour lire ces fichiers volumineux comme on l’entend.

Pour cela j’ai choisi le langage PHP. Cela faisait longtemps que je n’avais pas joué avec et puis en plus il dispose déjà de fonctions adaptées à la lecture de fichier dbase.

Voici donc un petit script qui va extraire les catégories socioprofessionnelles (niveau 1) pour un échantillon de 130 000 valeurs :

$CODE[1] = "Agriculteurs exploitants";
$CODE[2] = "Artisans, commerçants et chefs d'entreprise";
$CODE[3] = "Cadres et professions intellectuelles supérieures";
$CODE[4] = "Professions Intermédiaires";
$CODE[5] = "Employés";
$CODE[6] = "Ouvriers";
$CODE[7] = "Retraités";
$CODE[8] = "Autres personnes sans activité professionnelle";

function percent($v,$t) {
return round((( $v / $t ) * 100),2);
}


$db = dbase_open('epcvhf10_in109604.dbf', 0);
if ($db) {
echo("lecture des données possible\n");
$record_numbers = dbase_numrecords($db);
for ($i = 1; $i <= $record_numbers; $i++) {
$row = dbase_get_record_with_names($db, $i);
$cs = trim($row['CS']);
$occupation = trim($row['OCCUPA']);
$age = trim($row['AGE']);
if ( ($occupation == 5 ) or ( $occupation == 6 ) ) $cs = 7;
if ( $age > 14 )
if ($cs != 99 && $cs != '' )
{
$vn1 = substr($cs, 0 , 1 );
if (!isset($n1[$vn1])) $n1[$vn1] = 0;
$n1[$vn1[0]]++;
$population++;
}
}
dbase_close($db);
foreach ( $n1 as $clef => $nombre )
{
echo percent($nombre ,$population) . " : " . $CODE[$clef] . "\n";
}

Une autre fonction interessant dbase_get_header_info($db), permet de récupérer les champs disponibles dans la base.

live network trafic view ? iptraf, iftop

A explorer

http://www.commentcamarche.net/faq/sujet-848-linux-trafic-entrant-sortant-en-temps-reel


On trouvera ci dessous les extraits des deux manpages de iptraf et ethstatus.
Intéressant pour comptabiliser la quantité de données qui circulent sur les différentes interfaces, ainsi que pour monitorer quelles sont les connexions ouvertes.

Après un bref test, "ethstatus" m'a cependant l'air d'utiliser beaucoup de ressources CPU, et semble être surtout un reformatage des infos d'ifconfig. Peu intéressant donc.

Au contraire, "iptraf" était plus léger et apportait plus d'informations.

Egalement, iftop fourni plus d'informations et permet de lister les connextions courantes un peu comme "top" le ferait.

IPTRAF(8)                                                            IPTRAF(8)

NAME
       iptraf - Interactive Colorful IP LAN Monitor

SYNOPSIS
       iptraf { [ -f ] [ -q ] [ -u ] [ { -i iface | -g | -d iface | -s iface |
       -z iface | -l iface } [ -t timeout ] [ -B [ -L logfile ] ] ] | [ -h ] }

DESCRIPTION
       iptraf  is  an ncurses-based IP LAN monitor that generates various net‐
       work statistics including TCP info, UDP counts, ICMP and OSPF  informa‐
       tion, Ethernet load info, node stats, IP checksum errors, and others.

       If  the command is issued without any command-line options, the program
       comes up in interactive mode,  with  the  various  facilities  accessed
       through the main menu.

IFTOP(8)                                                              IFTOP(8)

NAME
       iftop - display bandwidth usage on an interface by host

SYNOPSIS
       iftop -h | [-nNpbBP] [-i interface] [-f filter code] [-F net/mask]

DESCRIPTION
       iftop  listens to network traffic on a named interface, or on the first
       interface it can find which looks like an external interface if none is
       specified,  and displays a table of current bandwidth usage by pairs of
       hosts.  iftop must be run with sufficient permissions  to  monitor  all
       network traffic on the interface; see pcap(3) for more information, but
       on most systems this means that it must be run as root.

       By default, iftop will look up the hostnames associated with  addresses
       it  finds in packets. This can cause substantial traffic of itself, and
       may result in a confusing display. You may wish to suppress display  of
       DNS  traffic by using filter code such as not port domain, or switch it
       off entirely, by using the -n option or by pressing R when the  program
       is running.

       By  default,  iftop counts all IP packets that pass through the filter,
       and the direction of the packet is determined according to  the  direc‐
       tion the packet is moving across the interface.  Using the -F option it
       is possible to get iftop to show packets entering and leaving  a  given
       network.  For example, iftop -F 10.0.0.0/255.0.0.0 will analyse packets
       flowing in and out of the 10.* network.

SLOCCount, compter le nombre de lignes de code

SLOCcount, permet de compter le nombre de ligne de code dans un répertoire
en déterminant automatiquement grace à différentes heuristiques de quel langage il s'agit.

Page web :
SLOCcount