Working with Data Mining Methods: Python

The Python language has a lot of additional units enabling programs development for various tasks. Consider the work with data mining methods at the example of logistic regression in Python function.

For Python language it is required to additionally install the Scikit-Learn library for machine learning (https://scikit-learn.org) and the NumPy library to work with multidimensional arrays (http://www.numpy.org/).

The execute_lr function calculates using logistic regression method. Training data arrays and test data array are sent as function input parameters. As a result, function returns object of the CData class which attributes will contain classification results at training and test sets, regression constant and mismatch matrix.

Executing the execute_lr function in Fore/Fore.NET requires the Python unit named LogisticRegression. The unit will be located in the D:\Work\Python\ folder.

Fore Fore.NET

Sub Main; Var     PyUtils: IPythonUtils;     PylistX1, PyListY1, PyListX1test: IPythonList;     PyClassObj: IPythonClassObject;     PyObj: IPythonObject;     Param1, Param2: Array Of Variant;     X, Y, Xt: Array;     i, j: Integer;     Intercept: Double;     RowCount, ColCount, RowCountTest: Integer;     vrnt: Variant;     str: String; Begin     PyUtils := New PythonUtils.Create;     PyUtils.AddFolderToPythonPath("D:\Work\Python\");     //Creating sets     RowCount := 12;     RowCountTest := 6;     ColCount := 4;     X := New Variant[RowCount, ColCount];     Y := New Variant[RowCount];     Xt := New Variant[RowCountTest, ColCount];     //Training set     X[0, 0] := 5.1; X[0, 1] := 3.5;     X[0, 2]:= 1.4;      X[0, 3]:= 0.2;      Y[0]:= 0;     X[1, 0] := 4.9; X[1, 1] := 3.0;     X[1, 2]:= 1.4;      X[1, 3]:= 0.2;      Y[1]:= 0;     X[2, 0] := 4.7; X[2, 1] := 3.2;     X[2, 2]:= 1.3;      X[2, 3]:= 0.2;      Y[2]:= 0;     X[3, 0] := 4.6; X[3, 1] := 3.1;     X[3, 2]:= 1.5;      X[3, 3]:= 0.2;      Y[3]:= 0;     X[4, 0] := 7.0; X[4, 1] := 3.2;     X[4, 2]:= 4.7;      X[4, 3]:= 1.4;      Y[4]:= 1;     X[5, 0] := 6.4; X[5, 1] := 3.2;     X[5, 2]:= 4.5;      X[5, 3]:= 1.5;      Y[5]:= 1;     X[6, 0] := 6.9; X[6, 1] := 3.1;     X[6, 2]:= 4.9;      X[6, 3]:= 1.5;      Y[6]:= 1;     X[7, 0] := 5.5; X[7, 1] := 2.3;     X[7, 2]:= 4.0;      X[7, 3]:= 1.3;      Y[7]:= 1;     X[8, 0] := 6.3; X[8, 1] := 3.3;     X[8, 2]:= 6.0;      X[8, 3]:= 2.5;      Y[8]:= 2;     X[9, 0] := 5.8; X[9, 1] := 2.7;     X[9, 2]:= 5.1;      X[9, 3]:= 1.9;      Y[9]:= 2;     X[10, 0] := 7.1; X[10, 1] := 3.0;   X[10, 2]:= 5.9;     X[10, 3]:= 2.1;     Y[10]:= 2;     X[11, 0] := 6.3; X[11, 1] := 2.9;   X[11, 2]:= 5.6;     X[11, 3]:= 1.8;     Y[11]:= 2;     //Test set         Xt[0, 0] := 5.0; Xt[0, 1] := 3.6;   Xt[0, 2]:= 1.4;     Xt[0, 3]:= 0.2;     Xt[1, 0] := 5.4; Xt[1, 1] := 3.9;   Xt[1, 2]:= 1.7;     Xt[1, 3]:= 0.4;     Xt[2, 0] := 6.5; Xt[2, 1] := 2.8;   Xt[2, 2]:= 4.6;     Xt[2, 3]:= 1.5;     Xt[3, 0] := 5.7; Xt[3, 1] := 2.8;   Xt[3, 2]:= 4.5;     Xt[3, 3]:= 1.3;     Xt[4, 0] := 6.5; Xt[4, 1] := 3.0;   Xt[4, 2]:= 5.8;     Xt[4, 3]:= 2.2;     Xt[5, 0] := 7.6; Xt[5, 1] := 3.0;   Xt[5, 2]:= 6.6;     Xt[5, 3]:= 2.1;     //Creating Python lists     PylistX1 := New PythonList.Create(X);     PylistY1 := New PythonList.Create(Y);     PyListX1test := New PythonList.Create(Xt);     //Executing Python function and getting results     vrnt := PyUtils.Invoke("LogisticRegression", "execute_lr", PyListX1, PyListY1, PyListX1test);     PyClassObj := vrnt As IPythonClassObject;     //Extract regression constant     vrnt := PyClassObj.GetAttr("Intercept");     Intercept := vrnt As Double;     Debug.WriteLine("Regression constant: " + Intercept.ToString);     //Extract classification result on training set     vrnt := PyClassObj.GetAttr("PredictY");     PyObj := vrnt As IPythonObject;     Param1 := (vrnt As IPythonList).ToArray;     Debug.WriteLine("Classification on training set:");     For i := 0 To Param1.Length - 1 Do         Debug.Write(i.ToString + ": " + Param1[i] + "; ");     End For;     Debug.WriteLine("");     //Extract classification result at test set     vrnt := PyClassObj.GetAttr("PredictTest");     PyObj := vrnt As IPythonObject;     Param1 := (vrnt As IPythonList).ToArray;     Debug.WriteLine("Classification at test set:");     For i := 0 To Param1.Length - 1 Do         Debug.Write(i.ToString + ": " + Param1[i] + "; ");     End For;     Debug.WriteLine("");     //Extract matrix     Debug.WriteLine("Mismatch matrix:");     vrnt := PyClassObj.GetAttr("ConfMatr");     Param2 := (vrnt As IPythonList).ToArray;     For i := 0 To Param2.Length - 1 Do         Param1 := (Param2[i] As IPythonList).ToArray;         str := "";         For j := 0 To Param1.Length - 1 Do             str := str + (Param1[j] As Double).ToString + ' ';         End For;         Debug.WriteLine(str);     End For; End Sub Main;

Imports Prognoz.Platform.Interop.Python;

Public Shared Sub Main(Params: StartParams); Var     PyUtils: IPythonUtils = New PythonUtilsClass();     PylistX1, PyListY1, PyListX1test: IPythonList = New PythonListClass();     PyClassObj: IPythonClassObject;     PyObj: IPythonObject;     Param1, Param2: Array;     X, Y, Xt: Array;     i, j: Integer;     Intercept: Double;     RowCount, ColCount, RowCountTest: Integer;     vrnt: Object;     str: String; Begin     PyUtils.AddFolderToPythonPath("D:\Work\Python\");     //Create sets     RowCount := 12;     RowCountTest := 6;     ColCount := 4;     X := New Object[ColCount, RowCount];     Y := New Object[RowCount];     Xt := New Object[ColCount, RowCountTest];     //Training set     X[0, 0] := 5.1; X[1, 0] := 3.5;     X[2, 0]:= 1.4;      X[3, 0]:= 0.2;      Y[0]:= 0;     X[0, 1] := 4.9; X[1, 1] := 3.0;     X[2, 1]:= 1.4;      X[3, 1]:= 0.2;      Y[1]:= 0;     X[0, 2] := 4.7; X[1, 2] := 3.2;     X[2, 2]:= 1.3;      X[3, 2]:= 0.2;      Y[2]:= 0;     X[0, 3] := 4.6; X[1, 3] := 3.1;     X[2, 3]:= 1.5;      X[3, 3]:= 0.2;      Y[3]:= 0;     X[0, 4] := 7.0; X[1, 4] := 3.2;     X[2, 4]:= 4.7;      X[3, 4]:= 1.4;      Y[4]:= 1;     X[0, 5] := 6.4; X[1, 5] := 3.2;     X[2, 5]:= 4.5;      X[3, 5]:= 1.5;      Y[5]:= 1;     X[0, 6] := 6.9; X[1, 6] := 3.1;     X[2, 6]:= 4.9;      X[3, 6]:= 1.5;      Y[6]:= 1;     X[0, 7] := 5.5; X[1, 7] := 2.3;     X[2, 7]:= 4.0;      X[3, 7]:= 1.3;      Y[7]:= 1;     X[0, 8] := 6.3; X[1, 8] := 3.3;     X[2, 8]:= 6.0;      X[3, 8]:= 2.5;      Y[8]:= 2;     X[0, 9] := 5.8; X[1, 9] := 2.7;     X[2, 9]:= 5.1;      X[3, 9]:= 1.9;      Y[9]:= 2;     X[0, 10] := 7.1; X[1, 10] := 3.0;   X[2, 10]:= 5.9;     X[3, 10]:= 2.1;     Y[10]:= 2;     X[0, 11] := 6.3; X[1, 11] := 2.9;   X[2, 11]:= 5.6;     X[3, 11]:= 1.8;     Y[11]:= 2;     //Test set         Xt[0, 0] := 5.0; Xt[1, 0] := 3.6;   Xt[2, 0]:= 1.4;     Xt[3, 0]:= 0.2;     Xt[0, 1] := 5.4; Xt[1, 1] := 3.9;   Xt[2, 1]:= 1.7;     Xt[3, 1]:= 0.4;     Xt[0, 2] := 6.5; Xt[1, 2] := 2.8;   Xt[2, 2]:= 4.6;     Xt[3, 2]:= 1.5;     Xt[0, 3] := 5.7; Xt[1, 3] := 2.8;   Xt[2, 3]:= 4.5;     Xt[3, 3]:= 1.3;     Xt[0, 4] := 6.5; Xt[1, 4] := 3.0;   Xt[2, 4]:= 5.8;     Xt[3, 4]:= 2.2;     Xt[0, 5] := 7.6; Xt[1, 5] := 3.0;   Xt[2, 5]:= 6.6;     Xt[3, 5]:= 2.1;     //Create lists Python     PylistX1.Create(X);     PylistY1.Create(Y);     PyListX1test.Create(Xt);     //Execute Python functions and get results     vrnt := PyUtils.Invoke("LogisticRegression", "execute_lr", PyListX1, PyListY1, PyListX1test);     PyClassObj := vrnt As IPythonClassObject;     //Excract regression constant     vrnt := PyClassObj.GetAttr("Intercept");     Intercept := vrnt As Double;     System.Diagnostics.Debug.WriteLine("Regression constant:" + Intercept.ToString());     //Extract result of classification on training set     vrnt := PyClassObj.GetAttr("PredictY");     PyObj := vrnt As IPythonObject;     Param1 := (vrnt As IPythonList).ToArray();     System.Diagnostics.Debug.WriteLine("Classification on training set:");     For i := 0 To Param1.Length - 1 Do         System.Diagnostics.Debug.Write(i.ToString() + ": " + Param1[i] + "; ");     End For;     System.Diagnostics.Debug.WriteLine("");     //Extract result of classification on test set     vrnt := PyClassObj.GetAttr("PredictTest");     PyObj := vrnt As IPythonObject;     Param1 := (vrnt As IPythonList).ToArray();     System.Diagnostics.Debug.WriteLine("Classification on test set:");     For i := 0 To Param1.Length - 1 Do         System.Diagnostics.Debug.Write(i.ToString() + ": " + Param1[i] + "; ");     End For;     System.Diagnostics.Debug.WriteLine("");     //Extract matrix     System.Diagnostics.Debug.WriteLine("Mismatch matrix:");     vrnt := PyClassObj.GetAttr("ConfMatr");     Param2 := (vrnt As IPythonList).ToArray();     For i := 0 To Param2.Length - 1 Do         Param1 := (Param2[i] As IPythonList).ToArray();         str := "";         For j := 0 To Param1.Length - 1 Do             str := str + Param1[j].ToString() + ' ';         End For;         System.Diagnostics.Debug.WriteLine(str);     End For; End Sub;

On executing the example, the execute_lr function written on the Python language will be executed. The source data will be sent to the function and the work result will be obtained. As a result, the CData class object will be received, the obtained data will be calculated from object attributes and displayed to the development environment console.