push
This commit is contained in:
@@ -0,0 +1,19 @@
|
|||||||
|
{
|
||||||
|
den.aspects.nix = {
|
||||||
|
nixos = {
|
||||||
|
services.displayManager.sddm.enable = true;
|
||||||
|
services.desktopManager.plasma6.enable = true;
|
||||||
|
|
||||||
|
programs.aeroshell = {
|
||||||
|
enable = true;
|
||||||
|
fonts.segoe.enable = true;
|
||||||
|
polkit.enable = true;
|
||||||
|
aerothemeplasma = {
|
||||||
|
enable = true;
|
||||||
|
sddm.enable = true;
|
||||||
|
plymouth.enable = true;
|
||||||
|
};
|
||||||
|
};
|
||||||
|
};
|
||||||
|
};
|
||||||
|
}
|
||||||
@@ -1,5 +1,5 @@
|
|||||||
let
|
let
|
||||||
uuid = "4118935e-359b-4dd2-95bd-eb27f7b0c5bb";
|
uuid = "d4c4a385-05c7-4dff-b6f1-9bd02693a80a";
|
||||||
domain = "bug.tools";
|
domain = "bug.tools";
|
||||||
creds = "/home/bug/.cloudflared/${uuid}.json";
|
creds = "/home/bug/.cloudflared/${uuid}.json";
|
||||||
in {
|
in {
|
||||||
|
|||||||
@@ -36,7 +36,7 @@
|
|||||||
"nix" = mkFolder "/home/bug/nix";
|
"nix" = mkFolder "/home/bug/nix";
|
||||||
"hytale" = mkFolder "/home/bug/.local/share/Hytale/UserData/Saves";
|
"hytale" = mkFolder "/home/bug/.local/share/Hytale/UserData/Saves";
|
||||||
"ssh" = mkFolder "/home/bug/.ssh";
|
"ssh" = mkFolder "/home/bug/.ssh";
|
||||||
"cloudflared" = mkFolder "/home/bug/.cloudflared";
|
#"cloudflared" = mkFolder "/home/bug/.cloudflared";
|
||||||
"copyparty" = mkFolder "/home/bug/copyparty";
|
"copyparty" = mkFolder "/home/bug/copyparty";
|
||||||
};
|
};
|
||||||
};
|
};
|
||||||
|
|||||||
@@ -17,7 +17,6 @@
|
|||||||
vscode-server
|
vscode-server
|
||||||
gitea
|
gitea
|
||||||
# omnisearch
|
# omnisearch
|
||||||
tailscale
|
|
||||||
|
|
||||||
catppuccin
|
catppuccin
|
||||||
|
|
||||||
|
|||||||
@@ -9,6 +9,7 @@
|
|||||||
dns
|
dns
|
||||||
openssh
|
openssh
|
||||||
syncthing
|
syncthing
|
||||||
|
tailscale
|
||||||
|
|
||||||
fish
|
fish
|
||||||
];
|
];
|
||||||
|
|||||||
@@ -11,11 +11,11 @@
|
|||||||
|
|
||||||
janitor
|
janitor
|
||||||
|
|
||||||
llama
|
|
||||||
|
|
||||||
alc897
|
alc897
|
||||||
|
|
||||||
#cad
|
#cad
|
||||||
|
|
||||||
|
llama
|
||||||
];
|
];
|
||||||
|
|
||||||
nixos = {
|
nixos = {
|
||||||
|
|||||||
@@ -14,6 +14,8 @@
|
|||||||
janitor
|
janitor
|
||||||
|
|
||||||
neu
|
neu
|
||||||
|
|
||||||
|
nix7
|
||||||
];
|
];
|
||||||
|
|
||||||
nixos = {
|
nixos = {
|
||||||
|
|||||||
@@ -18,6 +18,7 @@
|
|||||||
omnisearch = 8087;
|
omnisearch = 8087;
|
||||||
mail = 8088;
|
mail = 8088;
|
||||||
email = 8088;
|
email = 8088;
|
||||||
|
llama = 8080;
|
||||||
};
|
};
|
||||||
};
|
};
|
||||||
}
|
}
|
||||||
|
|||||||
+18
-10
@@ -1,20 +1,28 @@
|
|||||||
{
|
{
|
||||||
den.aspects.fish = {
|
den.aspects.fish = {
|
||||||
nixos = { pkgs, ...}: {
|
nixos = { pkgs, ...}: {
|
||||||
programs.fish.shellAliases = {
|
programs.fish = {
|
||||||
fetch = "fastfetch --file ~/nix/nix.ans";
|
shellAliases = {
|
||||||
|
fetch = "fastfetch --file ~/nix/nix.ans";
|
||||||
|
|
||||||
box = "ssh box.bug.tools";
|
box = "ssh box.bug.tools";
|
||||||
unbox = "sh -c 'ssh -N -L \"$1\":0.0.0.0:\"$1\" box.bug.tools &' --";
|
unbox = "sh -c 'ssh -N -L \"$1\":0.0.0.0:\"$1\" box.bug.tools &' --";
|
||||||
rebox = "sh -c 'fuser -k \"$1\"/tcp' --";
|
rebox = "sh -c 'fuser -k \"$1\"/tcp' --";
|
||||||
dock = "sh -c 'ssh -N -D \"$1\" box.bug.tools &' --";
|
dock = "sh -c 'ssh -N -D \"$1\" box.bug.tools &' --";
|
||||||
|
|
||||||
vpn = "sshuttle --dns --python python3 -r box.bug.tools 0/0";
|
vpn = "sshuttle --dns --python python3 -r box.bug.tools 0/0";
|
||||||
|
|
||||||
pico = "ssh pico.sh";
|
pico = "ssh pico.sh";
|
||||||
|
|
||||||
ns = "nh os switch ~/nix --impure -H (hostname)";
|
ns = "nh os switch ~/nix --impure -H (hostname)";
|
||||||
rebuild = "ns";
|
rebuild = "ns";
|
||||||
|
};
|
||||||
|
|
||||||
|
shellInit = ''
|
||||||
|
function tssh
|
||||||
|
ssh (tailscale status | awk -v host=$argv[1] '$2 == host {print $1}')
|
||||||
|
end
|
||||||
|
'';
|
||||||
};
|
};
|
||||||
|
|
||||||
environment.systemPackages = with pkgs.fishPlugins; [
|
environment.systemPackages = with pkgs.fishPlugins; [
|
||||||
|
|||||||
@@ -7,7 +7,7 @@
|
|||||||
polytoria
|
polytoria
|
||||||
game-tools
|
game-tools
|
||||||
emulators
|
emulators
|
||||||
star-citizen
|
#star-citizen
|
||||||
minecraft
|
minecraft
|
||||||
];
|
];
|
||||||
};
|
};
|
||||||
|
|||||||
+63
-14
@@ -1,26 +1,75 @@
|
|||||||
{ ... }: {
|
{ ... }: {
|
||||||
den.aspects.llama = {
|
den.aspects.llama = {
|
||||||
nixos = { pkgs, ... }: {
|
nixos = { pkgs, lib, ... }: {
|
||||||
services.llama-cpp = {
|
environment.systemPackages = [ pkgs.cloudflared ];
|
||||||
|
environment.etc."cloudflared/9c1a18f9-a2c4-41bd-9a64-86ebb3e3283d.json".source = "/home/bug/.cloudflared/9c1a18f9-a2c4-41bd-9a64-86ebb3e3283d.json";
|
||||||
|
|
||||||
|
services.cloudflared = {
|
||||||
|
enable = true;
|
||||||
|
tunnels = {
|
||||||
|
"9c1a18f9-a2c4-41bd-9a64-86ebb3e3283d" = {
|
||||||
|
credentialsFile = "/etc/cloudflared/9c1a18f9-a2c4-41bd-9a64-86ebb3e3283d.json";
|
||||||
|
|
||||||
|
ingress = {
|
||||||
|
"llama.bug.tools" = "http://127.0.0.1:8080";
|
||||||
|
};
|
||||||
|
|
||||||
|
default = "http_status:404";
|
||||||
|
};
|
||||||
|
};
|
||||||
|
};
|
||||||
|
|
||||||
|
systemd.services."cloudflared-tunnel-9c1a18f9-a2c4-41bd-9a64-86ebb3e3283d".environment = {
|
||||||
|
TUNNEL_TRANSPORT_PROTOCOL = pkgs.lib.mkForce "http2";
|
||||||
|
};
|
||||||
|
|
||||||
|
|
||||||
|
services.llama-cpp = let
|
||||||
|
# https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
|
||||||
|
modelsPreset = {
|
||||||
|
"*" = rec {
|
||||||
|
# keep-sorted start
|
||||||
|
agent = true;
|
||||||
|
cache-ram = 0; # unified memory
|
||||||
|
cache-type-k = "q8_0";
|
||||||
|
cache-type-v = "q8_0";
|
||||||
|
ctx-size = 256 * 256 * parallel;
|
||||||
|
fit = "off";
|
||||||
|
flash-attn = "on";
|
||||||
|
kv-unified = false;
|
||||||
|
mlock = true;
|
||||||
|
mmap = false;
|
||||||
|
n-gpu-layers = "all";
|
||||||
|
parallel = 1;
|
||||||
|
reasoning-preserve = true;
|
||||||
|
sleep-idle-seconds = -1;
|
||||||
|
spec-draft-type-k = "q8_0";
|
||||||
|
spec-draft-type-v = "q8_0";
|
||||||
|
# keep-sorted end
|
||||||
|
};
|
||||||
|
|
||||||
|
"qwen3.6-35b-a3b" = {
|
||||||
|
# keep-sorted start
|
||||||
|
hf-repo = "unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q4_K_XL";
|
||||||
|
min-p = 0.0;
|
||||||
|
temperature = 1.0;
|
||||||
|
top-k = 20;
|
||||||
|
top-p = 0.95;
|
||||||
|
# keep-sorted end
|
||||||
|
};
|
||||||
|
};
|
||||||
|
in {
|
||||||
enable = true;
|
enable = true;
|
||||||
package = pkgs.llama-cpp.override { cudaSupport = true; };
|
package = pkgs.llama-cpp.override { cudaSupport = true; };
|
||||||
|
|
||||||
settings = {
|
settings = {
|
||||||
host = "0.0.0.0";
|
host = "0.0.0.0";
|
||||||
port = 8080;
|
port = 8080;
|
||||||
ctx-size = 65536;
|
ctx-size = 65536;
|
||||||
|
|
||||||
models-preset = (pkgs.formats.ini { }).generate "llama-cpp-models-preset.ini" {
|
models-max = 1;
|
||||||
"Qwen3.6-35B-A3B" = {
|
models-preset = pkgs.writeText "llama-models.ini" (lib.generators.toINI { } modelsPreset);
|
||||||
hf-repo = "unsloth/Qwen3.6-35B-A3B-GGUF";
|
no-models-autoload = true;
|
||||||
hf-file = "Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf";
|
|
||||||
alias = "qwen3.6-35b-a3b";
|
|
||||||
temp = "1.0";
|
|
||||||
top-p = "0.95";
|
|
||||||
top-k = "20";
|
|
||||||
n-gpu-layers = 80;
|
|
||||||
ctx-size = 65536;
|
|
||||||
};
|
|
||||||
};
|
|
||||||
};
|
};
|
||||||
};
|
};
|
||||||
};
|
};
|
||||||
|
|||||||
Reference in New Issue
Block a user