parsing dates with dateutils

utils/log2pandas.py

@@ -1,15 +1,13 @@
-from datetime import datetime
-
 import pandas as pd
+from dateutil.parser import parse
 
 from config.log_definitions import log_definitions
 
 
 class LogParser:
     """
-    Une classe qui prend en argument le chemin d'un fichier log et une définition
-    de log (par exemple issue de log_definitions), puis parse le fichier et renvoie
-    un DataFrame pandas contenant les données extraites.
+    A class that takes a log file path and a log definition (for example from log_definitions),
+    then parses the file and returns a pandas DataFrame containing the extracted data.
     """
 
     def __init__(self, file_path, log_type):
@@ -17,11 +15,11 @@ class LogParser:
         self.log_definition = log_definitions[log_type]
 
     def parse_line(self, line):
-        """Parse une ligne du fichier log en utilisant la définition fournie."""
-        # Commencer par remplacer les [ et ] par des espaces
+        """Parse a line from the log file using the provided definition."""
+        # Start by replacing [ and ] with spaces
         line = line.replace("[", " ").replace("]", " ")
         tokens = line.strip().split()
-        # On ignore la ligne si elle ne contient pas assez de tokens
+        # Ignore the line if it does not contain enough tokens
         if len(tokens) < len(self.log_definition["fields"]):
             return None
 
@@ -29,7 +27,7 @@ class LogParser:
         for field in self.log_definition["fields"]:
             pos = field["pos"]
 
-            # Extraction de la valeur selon la position indiquée
+            # Extract the value according to the indicated position
             if isinstance(pos, slice):
                 value = " ".join(tokens[pos])
             else:
@@ -38,40 +36,15 @@ class LogParser:
                 except IndexError:
                     value = None
 
-            # Conversion du type
+            # Type conversion
             if "type" in field:
                 typ = field["type"]
                 if typ == "datetime":
-                    formats = [
-                        "%a %b %d %H:%M:%S %Y",  # Format typique
-                        "%Y-%m-%d %H:%M:%S",  # ISO-like format
-                        "%d/%m/%Y %H:%M:%S",  # European format
-                        "%m/%d/%Y %H:%M:%S",  # US format
-                        "%Y%m%d%H%M%S",  # Compact format
-                        "%Y-%m-%dT%H:%M:%S",  # ISO format
-                        "%Y-%m-%dT%H:%M:%S.%f",  # ISO with microseconds
-                        "%b %d %H:%M:%S",  # Jun 14 15:16:01
-                    ]
-
-                    for date_format in formats:
-                        try:
-                            # Si l'année n'est pas présente dans le format,
-                            # on l'ajoute en utilisant l'année actuelle
-                            if "%Y" not in date_format:
-                                # Add current year to the date string
-                                current_year = datetime.now().year
-                                value_with_year = f"{value} {current_year}"
-                                # Add year to format string
-                                format_with_year = f"{date_format} %Y"
-                                value = datetime.strptime(
-                                    value_with_year, format_with_year
-                                )
-                            else:
-                                value = datetime.strptime(value, date_format)
-                            break
-                        except ValueError:
-                            continue
-                    else:  # No formats matched
+                    # Try to parse the date with dateutil.parser
+                    try:
+                        value = parse(value)
+                    except ValueError:
+                        # If the date is not parsable, try several formats
                         value = None
                 elif typ == "direction":
                     value = "download" if value == "o" else "upload"
@@ -86,7 +59,7 @@ class LogParser:
         return entry
 
     def parse_file(self):
-        """Parcourt tout le fichier log et renvoie un DataFrame pandas contenant les entrées parse."""
+        """Iterate through the entire log file and return a pandas DataFrame containing the parsed entries."""
         data = []
         with open(self.file_path, "r") as f:
             for line in f: